Dijital İşaret Süreçlerinin Güçlendirilmesindeki Kritik Rolü
Artırılmış Gerçeklik (AR) oyun, endüstriyel bakım, sağlık ve perakendede kullanılan pratik bir araç için bir futurist konseptten taşındı. Fiziksel dünya ile dijital içerikin sorunsuz bir şekilde harmanlanması, gerçek zamanlı olarak CPU'lar ve sensör verileri çalmaya devam ederken, AR deneyimlerini ve duyarlı, enerji verimliliği sağlayan ağır kaldırmayı sessizce ele alır. DSP'ler, gerçek zamanlı olarak, ses, görüntüler ve sensör verileriyle ilgili olarak, gerçek zamanlı olarak, dijital sinyal işleme uzmanları için gerekli olan dijital içerikli.
Dijital Signal Processors
Dijital Signal Processor, özellikle yüksek hızlı matematiksel işlemleri sayısal olarak sayısallaştırılmış sinyaller üzerinde gerçekleştirmek için tasarlanmış bir mikroişlemci türüdür.Genel amaçlı CPU'lar aksine, DSP'lerin tek bir saat döngüsünde çoğaltılması ve karmaşık kontrol mantığı ile ilgili çeşitli görevler için optimize edilmesine izin verir - AR'nin altında bulunan kritik bir dönüşüm algoritmaları ve dönüşüm algoritmaları için kritik bir şekilde değiştirilebilir.
CPU'lardan ve GPU'lardan gelen temel mimari farklar
- DSPT:0)Instruction Setleri: [DFLT:1] DSPs, FFT için tek yönlü MAC talimatları, FFT için biraz uzak durma ve sıfır bölme için çok fazla döngü gerektirir. CPUs benzer operasyonlar için birden fazla döngü gerektirir.
- [FONT:0)Data Streaming:[DFLT:1] DSP'ler sürekli veri akışları için inşa edilmiştir (örneğin, video çerçeveleri, sensör okumaları) CPU'larda yaygın erişim kalıpları yerine rastgele erişim kalıpları.
- [FONT=0)Power Verimliliği: [DSPT:1] DSP'lerde bulunan özel donanım blokları genel amaçlı CPU'dan daha az enerji tüketiyor. Bu onları batarya destekli AR kafaları ve akıllı telefonlar için ideal kılar.
- DSPT:0)Deterministic Latency:) DSPs, birkaç milisaniyenin gecikmesinin veya hareket hastalığının kırılması için öngörülebilir bir uygulama sunuyor.
Genel amaçlı GPUs paralel olarak öne çıkıyor, ancak uygun olmayan, düşük seviyeli sensör füzyon ve DSP'lerin yerli olarak işlediği ses işleme işleri için daha az verimlidir. Modern AR sistemleri bir heterojen hesaplama yaklaşımı kullanır: CPUs 3D uygulama mantığı ve bağlantıyı yönetir ve DSP'ler sinyal işleme ve sensör veri hatları hızlandırır.
Tüketici Elektronikinde DSP'lerin Kısa Tarihi
DSP'ler 1980'lerden beri tüketici ürünlerine gömülüp, ses modemleri ve konuşma sentezleriyle başlayan DSP'ler, DSP'ler, CD oynatıcılarında, dijital cevap makinelerinde ve gürültü-kanık kulaklıklar için önemli hale geldi. 2000'ler onları mobil telefon taban bandı ve kamera imajı işlemci sinyal işlemcisi sinyal işlemcileri haline getirdiler (ISP'ler).
DSP'ler Nasıl Kullanılabilir Gerçeklik Fonksiyonlarları
AR sistemleri, kamera beslemelerinin eşzamanlı olarak işlenmesini gerektirir, sabit ölçüm birimleri (IMUs), derinlik sensörleri, mikrofonlar ve ekran çıktı. DSPs, son derece ve yük iş işlemcisinden azaltmak için stratejik olarak veri hattına yerleştirilir.
Gerçek Zamanlı Görüntü ve Video İşleme
Kamera beslemesi, AR deneyimlerinin en temelidir. DSPs birkaç kritik görüntü işleme aşamasını hızlandırıyor:
- [[Dönlendirme ve İzleme: [DDFT, ORB veya Aruco işaretli tespit, konvolutions, gradient hesaplamalar ve köşe algılama. DSPs bu piksel seviyesindeki işlemleri CPU'ya sokmadan hesaplamaya güvenir.
- [FONT:0)Plane Tespit:[Dönler veya masalarda sanal nesneler yerine yerleştirmek için sistem planlı yüzeyler tanımlamalıdır. Bu, derinlik tahminlerini ( stereo, ToF veya LiDAR) kenar algılamasını ve RANSAC'yi uygun kılar - tüm görevleri DSP boru hatlarına uygun olarak.
- [FONT:0)Image Rectification and Stabilization:) Lens deme düzeltme ve elektronik görüntü stabilizasyon, bu donanımda, düşük gecikmeli bir ARlay için bunları ele alır.
- [[0)Optical ve Visual Inersal Odometri (VIO): [Dönetici: 1) Cihazın 3D uzaydaki cihaz konumunu takip etmek için IMU verileri ile birlikte, sensör füzyonu yüksek frekansta gerektirir. DSPs ana işlemcide hesaplama yükünü azaltır ve hızlı bir şekilde takip edebilir.
DSP ivmesiyle, AR sistemleri tek bir watt altında tüketirken 60-120 fps kamera işleme elde edebilir - tek başına bir CPU için imkansız.
Sensör Data Integration ve Fusion
AR cihazları birden fazla sensör paketler: hız ölçer, gyroskop, magnetometre, barometre, çevre ışık sensörü ve genellikle özel bir derinlik sensörü (LiDAR veya ToF) her sensör çıktıları farklı gürültü özellikleri ile farklı olarak veri güncellemek için. DSPs sensör, füzyon algoritmaları, Kalman filtreler veya tamamlayıcı filtreler gibi, bu girdileri cihazın yönlendirme, pozisyon ve hareketle birleştirmek için.
Örneğin, Qualcomm'un Magnezyum platformu, ana CPU'yu uyandırmadan anında baş döndürebilmeli, önemli batarya hayatını kurtarmadan önce AR uygulamalarına anında cevap verir.
Immersive AR için Ses İşleme
Spasal ses, AR. DSP'lerin başa çıkma konusunda önemli bir bileşendir:
- [FONT:0)Beamform ve Gürültü Suppression: Birden fazla mikrofon kullanarak, DSP, kullanıcının seslerini arka gürültüden izole eder, AR uygulamaları için net ses komutlarını sağlar.
- [FONTNT=0) TAM (İsveç-Related Transfer Fonksiyonlu) Rendering: [D Uzayda sanal bir nesneden gelen ses, ses dalgalarının kullanıcı kulakları ve kafa ile nasıl etkileşim kurduğunu hesaba katmalıdır.
- [FONT:0]Echo Cancellation:[Dönetici:[Dönetici: 0: 1) İletişim AR senaryolarında (örneğin, uzaktan yardım), DSP konuşmacı-mikrofon geri bildirimlerini iptal eder, böylece her iki taraf da temiz ses duyar.
- DSPT:0)Contextual Audio Bilinç: [DFLT:1] DSPs, olayları tespit etmek için ses akışlarını analiz edebilir (örneğin, bir araba boynuzu veya konuşma cümlesi) ve AR cevaplarını tetiklerken, tüm CPU'yu uyurken.
Rendering ve Ekran Optimizasyonu
GPU birincil kullanım motoru olsa da, DSP'ler birkaç arka uç ekran görevinde yardımcı olur:
- [FONT:0]Foveated Rendering:[DDDD:0)[D)DSP, kullanıcının bakış açısını hesaplarken, DSP, yüksek çözünürlükte ve periferik alanlarda merkezi bir görünüm sağlamak için GPU'yu öğretir, tasarruf hesaplama ve güç algılama kalitesinde kaybı olmadan.
- [FONT:0]Time Warping ve Reprojeion:[Dönetici] Bir kafa hareketleri sırasında immersion korumak için, AR sistemleri yeniden projeksiyonu kullanabilir. A DSP, yeni yönelim ve savaş alanını, görünür judder olmadan bir sonraki çerçeveyi satın almak için kullanabilir.
- [FONT=0]Display Interface:[DFLT:1] DSPs, yüksek çözünürlüklü, yüksek çözünürlüklü ekranlara (örneğin, AR gözlüklerinde limitli mikro görüntüler) sürmeye ihtiyaç duyduğu zamanlama ve veri formatını yönetmektedir.
Enerji Verimliliği ve Termal Yönetim
AR kulaklıklar ve telefonlar bu güç bir kısmını katı tutuyorlar. Yüksek uç CPU, sürekli iş yüklerini (sensor füzyon, kamera işleme, uzaysal ses) DSP'lere zorlayan ısıyı, ana CPU ve GPU'nun tüm sensör ve görüntü işleme boru hattı için özel görevleri yerine getiriyor.Bu yüzden, ARC'nin DSP'lere uygun şekilde tasarlanmış ve iş yükleri gibi modern bir şekilde şarj etmek için modern bir şekilde tasarlanmış.
DSP'lerin Anahtar AR Uygulama Domainleri üzerindeki Etkisi
DSP'lerden gelen verimlilik kazanımları endüstriler boyunca AR'yi hızlandırdı. Aşağıda DSP-güçlü AR değeri nasıl yaratılır.
Oyun ve Eğlence
Mobile games like theFL:0)Pokémon GO) ve [[D:2|Harry Potter: Sihirbazlar Unite) DSP-akcelerated kamera işlemeye, oyuncuyu tespit etmek için hıza ve yere sanal karakterleri. Yüksek uç AR oyun, yanıt vermeleri için düşük gecikmeli bir şekilde gerektirir - DSPs 30-60 ms hareket-to-foto-foto-foto-foto-foto-foto-foto-foto-fotozumluluk, oyuncu memnuniyeti için kritik önem taşır.
Microsoft HoloLens 2 gibi karışık gerçeklik kafalarında, DSP'ler dış kontrolörler olmadan el izleme imkanı sağlar. Başın kameraları, el jestlerini gerçek zamanlı olarak yorumlayan bir DSP tabanlı işleme ünitesine derinlik veri akışı sağlar.
Sağlık ve Tıbbi Eğitim
AR, ileri düzey eşleştirme kullanarak canlı kamera beslemeye yardımcı olur. Tıbbi eğitimde AR anatomi uygulamaları, öğrencilerin bir masada "parça" sanal organlara, doğal el etkileşimleri sırasındaki düşük gecikmeli ve yüksek doğrulukla ulaşmalarını sağlamak için DSP'ler tarafından sağlanan yanlış anlamayı önler.
Endüstri ve Bakım
Alan servis teknisyenleri AR kafalarını şematik, okları ve adım adım adım talimatları makine üzerinde aşırı yüklemeyi kullanıyor. DSPs işlemi, kameranın belirli makine parçaları ve barkodları tanımasını sağlarken, IMU füzyon, teknisyenin hareket ettiği gibi fiziksel nesneye tam olarak kilitlenir.
Perakende ve E-Ticaret
Sanal gözlükler, makyaj ve mobilya yerleştirmesi için çözümler doğru yüz ve oda takip eder. DSPs, DSP'lerin yüz algılama algoritmalarının etrafında 468 dönüm noktası tespit eden, gerçek zamanlı olarak dudak ya da gözlüklerin kullanıcıyı sorunsuz bir şekilde takip etmesine olanak sağlar.
Eğitim ve Uzaktan İşbirliği
AR eğitim uygulamaları tarihsel eserler veya moleküler modeller sınıflara getiriyor. DSP-güçlü uzaysal ses aslında bir masanın arkasında duruyor. Uzak işbirliğinde, bir teknisyenin elleri ve araçları uzaktan uzman görüşüne aşırı derecede fazla, DSP gürültü baskısını garanti ediyor. Düşük hacimli ses sensörü füzyon aslında değişken ağ koşullarında bile aşırı tepki veriyor, DSP sunucu girişi olmadan yerel izlemeye devam edebilir.
Future: DSPs ve AR'nin Sonraki Nesili
AR tüm gün giyilebilir gözlüklere ve kontak lenslere doğru geliştikçe, işlemcilere olan talepler aşırı derecede düşük olacaktır. Form faktörler daha küçük, güç bütçeleri daha sıkı ve geç ölçek gereksinimleri daha sıkı bir şekilde gelişecektir. DSPs birkaç temel alanda gelişecektir.
AI ve Machine Learning
AR görevleri için neural ağ (bjek algılama, semantik segmentasyon, jim tanıma) giderek daha fazla GPU veya CPU'dan (NPUs) adanmış bir işlemciye taşınır, kendi özel DSP mimarileri arasında geçiş yapabilirler - aynı zamanda aynı hataların ilkelerini kullanırlar, veri akışı ve düşük seviyeli bir arayüzle doğal etkileşim sağlar.
Örneğin, Qualcomm'un Hexagon DSP zaten AI iş yükleri için özel bir onor hızlandırıcı içerir. Bir sonraki nesil sensör merkezi DSP, görüntü DSP ve AI motoru tek düşük güç alanına entegre edecektir.
Her zaman - On, Context-Aware AR
Kullanılabilir AR gözlükleri her zaman bir ürün barkodu olmalıdır. Future DSPs, uzun süre boyunca kamera çerçevelerini algılamak için düşük çözünürlükte sürekli olarak çalışır (örneğin, bilinen bir yüz veya bir ürün barkodu tanır).
Dağıtılmış ve Edge DSPs
Bazı AR işleme, kenar bulutuna veya yerel arkadaş cihazlarına (örneğin, bir akıllı telefon veya hafif bir merkez) geçiş yapar. DSPs kenardaki daha karmaşık AR deneyimlerine izin verirken, yüksek görevleri aynı anda yerelleştirme ve haritalama (SLAM) ilerleyebilir.
Gelişmiş Derinlik Sensing ve LIDAR Processing
Zaman ışığı ve LIDAR sensörleri, gerçek zamanlı olarak çevre yeniden inşa edilmesi için işlenmelidir. Özel DSP'ler, hesaplama derinliği haritaları, nesne segmentasyonu ve iletim için tam oda taramasını gerçekleştiriyor. Bu, AR iç tasarım için navigasyonu sağlar, görsel engelli kullanıcılar için navigasyon sağlar ve AR-klavuzlu robotlar için – tüm mobil cihazların güç kısıtlamaları içinde.
Meydanlar ve düşünceler
Avantajlarına rağmen, DSP'leri AR sistemlerine entegre etmek engel değildir. Programlama DSP'ler genellikle düşük seviyeli kodlar olmadan sabit noktanın özel bilgilerini gerektirir.Birçok geliştirici, DSP, CPU ve önbellek koherency şişeleri tanıtabilir.
DSP Donanımı'nın güvenliği de endişe vericidir. DSP'lerin hassas sensör verileri (cameras, mikrofonlar, biyometrikler), herhangi bir kırılgan kullanıcı gizliliğini tehlikeye atabilir.
Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç
Dijital Signal Processors, her çekici artırılmış gerçeklik deneyiminin arkasındaki boş iş arkadaşlarıdır.Şu andan itibaren bir kullanıcı, gerçek bir masada sanal bir yaratık görmek için kamera görüntüleme öngörüsü ile hareket eder, DSP'lerin gelişimi doğrudan kamera verilerini, ne kadar iyi ses yönünü ayarlar ve sahneyi stabilize edebilir - AR'nin bir kısmını eğitimde, navigasyonda ve günlük yaşamda, etkin bir şekilde çalıştırılabilir.
DSP mimarileri ve mobil hesaplamadaki rolleri hakkında daha fazla okuma için, AR'deki sensör sıkıştırma tekniklerine daha derin bir şekilde bakın).Google ARCore geliştirici belgesi ve [[QUygun x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x