Makine öğrenimi hızla bulut tabanlı dağıtımlardan kenarlara taşındı, gömülü sistemler sıkı güç ve geç bütçeleri altında gerçek zamanlı istihbarat teslim etmelidir.Bu dönüşüm kalbinde, DSP'ler, yüksek performanslı bir elektrik tüketimi için eşsiz bir kombinasyon sunuyor, ve sürekli olarak gömülü ortamlar için ideal bir şekilde uygun hale geliyor.

Ses devretme akıllı konuşmacılardan bağımsız drone ve endüstriyel IoT sensörlerine kadar DSP'ler bu cihazları uzaktan uzaklaştırma veya sürekli bulut bağlantı kurmadan yerel olarak uzaklaştırma olanağı sağlar. Karmaşık matematiksel işlemleri gerçekleştirme yeteneği - özellikle de çarpıtılmış sistemlerde - mühendisler ve teknoloji karar verici bir şekilde DSP'ler için vazgeçilmez bir araç haline getirir.

DSP Processors

Dijital sinyal işlemcileri, özellikle yüksek hızlı sayısal işlemleri işlemek için kullanılan mikroişlemciler sınıflarıdır. Gerçek zamanlı sinyal işleme için gerekli olan komut setleri ve hafıza mimarisine sahiptir.

Modern DSP tanımlayan anahtar mimari özellikleri şunlardır:

  • [FONT:0]Harvard mimarisi veya Harvard mimarisi) değiştirmiştir - ayrı program ve veri hafıza otobüsleri, aynı anda eğitim alma ve veri erişimine izin verir, dosya aracılığıyla dolaşır.
  • [FONT:0)Hardware, konvolutions ve matrix multiplikasyonlar için temel işlemi gerçekleştirebilir.
  • [FONT:0) Tek yapı, birden çok-data (CD) yetenekleri[DK:1) – DSPs tek bir talimatla birden fazla veri elementinde çalışır, vektör ve matris işlemleri ML'ye kadar merkezi hızlanabilir.
  • [FONT:0]Zero-overhead donanım döngüleri[Dönetici] - tekrarlanan işlemler (örneğin konvolution loops) şube talimatlarının cezası olmadan ele alınır, boru hattı tam olarak tutar.
  • [[Düzücük kesme işlemi[[Dönetici:0)DüzDÜDÜT:0) Düşük-latency kesme işlemi[[DÜye Olmayanlar 1 ) - Bir örneği eksik olan gerçek zamanlı uygulamalar için kritik çıktıyı bozabilir.

Bu tasarım seçimleri DSP'lerin sadece birkaç yüz miliwatt çizerken yüksek performans elde etmelerine izin verir, örneğin, 500 MHz'de çalışan tipik bir DSP, belirli bir sinyal işleme görevleri için 2 GHz CPU'yu oluşturabilir ve bu verimlilik, DSP'lerin onlarca yıldır milyarlarca cihazda gömülüp, işitme yardımlarından hücresel baz istasyonlara kadar.

DSP'lerin Makine Öğrenme İş Yüklerinde Rolü

Modern makine öğrenimi - özellikle derin sinir ağları - matematiksel olarak yoğundur.Inference sırasında en yaygın operasyonlar, konvolution, matrix multiplication, aktivasyon işlevleri (e.g., ReLU, sigmoid), havuzlama ve normalleştirme. Tüm bunlar, en az yüklenen işlemlere dayanır.

DSPs sabit nokta arithmetici olarak yönetebilir, bu tam anlamıyla ML. Quantized sinir ağları - tamsayı veya sabit nokta temsilleri kullanarak -muhtemelen, kabul edilebilir doğruluğu korumak için bellek genişliği ve güç tüketimini azaltır. Birçok modern DSPs, onsorFlow Hyper Lite gibi çerçevelerden çalışan modeller için ideal bir donanım desteği içeriyor.

Ayrıca, DSP'ler genellikle her katman için gerekli olan döngüleri ve yazılım optimizasyonu ile ilgili konvolutional filtreler gibi, temelsel olarak pratik yapan özel talimatlar içerir.Bu, yazılım optimizasyon yolu için gerekli olan döngüleri azaltır.

Edge'de ML için DSP'lerin Anahtar Avantajları

  • DSP'ler sürekli olarak daha yüksek TOPS /W'ler için her iki CPU ve GPU'lar için, batarya destekli cihazlar için birincil ölçümler, bu daha uzun operasyonel yaşam ve daha küçük termal bütçelere tercüme eder.
  • [FONT:0)Deterministic real-time behavior: Tahmin edilemez önbellekli özleme ve şube yanlış tahminlerle aksine, DSPs, sonlu uygulama süresiz uygulama için kritiktir.
  • [FONT:0]Efficient data hareketi: DSPs, hafıza ve arithmetic birimleri arasında verileri verimli bir şekilde taşımak için tasarlanmıştır. Multi-banked memory and direct memory access (DMA) motorları, sürekli sensör akışları için gerekli olan işlemeye izin verir.
  • DSPT:0) Düşük gecikme: [DFLT:1] Çünkü DSP'ler sensöre yakın çalışır, mikrosaniyelerde verileri işlemeli ve sonuçları üretebilirler. Bu alt-millisan geçkisi, drone'da çarpışmadan kaçınmaya ihtiyaç duyan otonom sistemler için gereklidir.
  • [FONT=0]Maturity ve ekosistem: [DSPT:1] DSP'ler yeni değil; on yıl boyunca araç zincir gelişimi olgun derleyiciler, debuggers ve optimize edilmiş kütüphaneler. Texas Instruments, Analog Cihazlar, NXP ve Cadence gibi şirketler, zaman pazarlama için geniş bir yazılım yığınları sağlıyor.

Mimari Yenilikler Özellikle Makine Öğrenmeleri için

Geleneksel DSP'ler zaten uygun ML iş yükleri olsa da, son nesiller derin öğrenme ivmesi için açıkça özellikler eklediler. Bu yenilikler bir DSP ve bir sinir işleme ünitesi (NPU) arasındaki hattı bulanıklaştırır.

Çok Uzun Öğretim Sözleri (VLIW) Mimarlıklar

TI'nin C6000 ailesinden veya CEVA's NeuPro serisinden gelenler gibi birçok modern DSP, VLIW tasarımlarını kullanarak, derlemenin MAC'ları, yük/çıplama işlemlerine izin verir.

Deep Learning Coprocessors

Bazı DSPler, konvolutional sinir ağları için sıkı bir şekilde çiftleştirilmiş donanım hızlandırıcılarını birleştirir. Örneğin, Cadence Tensilica Vision 5 DSP, matrix işlemleri için onor hesaplama dizisini içerir, a adanmış konvolution motoru ve aktivasyon işlevleri ve havuzlama desteği.

Sayısal ve Sparse Modellerine Destek

DSP'lerde verimli ML, 16-bit veya 32-bit işlemleri ile karşılaştırıldığında, sıfır giriş içeren işlemleri tamamen atlattırır - birçok aktivasyon veya dörtlü devrede sıfır hale gelir.Bu sparsity sömürüsü dramatik bir şekilde geç etkili olabilir.

Diğer ML Hızları ile Karşılaştırmalı DSPs

DSP'lerin uygun olduğunu anlamak için, onları gömülü ML için diğer popüler donanım seçenekleriyle karşılaştırmak yardımcı olur: CPUs, GPUs, FPGAs ve NPUs.

DSP vs. CPU

Genel amaçlı CPUlar esnektir, ancak tekrarlanan sinir ağları için verimlidir. A CPU, boru hatları tehlikelerinden dolayı MAC'da düzinelerce döngü oluşturabilir ve bellek şişeleri DSP'ler tek bir döngüde MAC gerçekleştirir ve genellikle birden çok MAC için SIMD talimatları içerir. Sürekli sinyal işleme işleri için, DSP 10-50 × daha az güç tüketmekle birlikte bir CPU'yu kullanabilir.

DSP vs. GPU

GPUs, yüzlerce çekirdekle büyük paralellikte öne çıkıyor, ancak birkaç watt güç bütçesiyle gömülü sistemler için on yüzler daha iyi performans hızı sunuyorlar, ancak büyük bir toplu işleme için hamputasyonla eşleşemezler.

DSP vs. FPGA

FPGAs, belirli bir model için çok yüksek verimlilik sunmak için özel veripaths oluşturmak için yeniden yapılandırılabilir. ancak, FPGA gelişimi donanım açıklaması dilleri ve daha az taşınabilir. DSPs, sabit işlevli işlemciler olmak, program için daha kolay (C/C++ veya grafiksel model tabanlı bir tasarım) ve mevcut donanımda ML'yi hızla dağıtmanız için, DSP'ler genellikle daha pratiktir.

DSP vs. NPU (Neural Processing Unit)

NPUs, sadece bir DSP'nin genel amaçlı sinyal işleme yeteneklerinin olmamasına yardımcı oluyor. Çoğu gömülü sistem sadece ML'yi işlememe, aynı zamanda BOM'yi basitleştirme ve doğrulamaya ihtiyaç duyuyor.

Gömülü Sistemlerde Uygulamaları

DSP'lerin malumlığı, endüstriler çapında geniş bir dizi gömülü ML uygulamaları için onları uygun hale getiriyor. Aşağıdaki kullanım vakaları, DSP'lerin pratikte makine öğrenme görevlerini nasıl hızlandırdığını gösteriyor.

Ses ve Ses İşleme

Akıllı konuşmacılar, işitme yardımları ve el içermeyen araba sistemleri anahtar kelime algılaması için DSP'lere güveniyor, ses komutları ve ses geliştirme. Tipik bir boru hattı, 10 mW'den daha az tüketen ses azaltma (aible filter filtreleme), özellik ekstraksiyon (MFCC55x serisi, uyandırma işlemi için küçük bir sinir ağı yaygın olarak kullanılıyor. DSPs, mikrosantrik hassaslığı ile tüm yolu ele alıyor, her zaman 10 mW. Örneğin, Texas Instruments' TMS320C55x serisi gerçek zamanlı gürültü ve dinamik bir şekilde sınıflandırmak için yaygın olarak kullanılıyor.

Edge'de Bilgisayar Vizyonu

DSP'ler nesne algılaması, yüz tanıma ve akıllı kameralarda jim kontrolü için kamera modüllerine entegre edilir. Vizyon DSP'ler Cadence ve CEVA, görüntü sinyal işleme için özel donanım içerir (ISP) - demo, beyaz bir denge, kumar düzeltmesi - derin bir öğrenme hızlandırıcısı ile bir araya gelir. Bu, 2 W'nin altındaki ham sensör verilerini işlemek için tek bir çip sağlar. Örneğin, Ambarella CV25 sistemi-on-çipişmanlık işlemine izin verir.

A Özerk Sistemlerde Sensör Füzyon

Özerk araçlar ve gelişmiş sürücü-assistance sistemleri (ADAS) kameralardan verileri, radardan, kapaklı ve uyumlu sensörlerden oluşan verileri dağıtır. Sensör füzyon ağır sinyal işleme (filtre, zamanlama ayarı, kalibrasyonu) ve ML tabanlı bir nesne algılama / izleme. DSP'ler gerçek zamanlı algılama ve yayasal algılama için gerekli olan en düşük çözünürlükte hesaplamayı içerir. NXP'nin S32V234 otomotiv vizyonu işlemcisi bir DSP ve bir görüntü işleme cihazı ile bir araya getirir.

Endüstriyel IoT'de Öngörücü Bakım

Üretimde, vibrasyon ve sıcaklık sensörleri makine sağlığını izler. DSPs, FFT'leri ve zaman serisi verileri hafif bir anomali algılama modellerini kullanarak anormallikler tespit etmek için analiz eder (örneğin, otomatik kod işleme ve ML inference üzerinde yerel olarak çalıştırma yeteneği, veri yüklemelerini azaltır ve anında uyarıları sağlar. Analog cihazlar ADSP-CM40x serisi, her iki sinyal işleme ve ML inference tek bir çip üzerinde entegre eder.

Canlı Tıbbi Cihazlar

ECG monitörleri, uygulanabilir fitness pistleri ve taşınabilir ultrason cihazları gerçek zamanlı biyosignal analiz için DSP'lerden yararlanabilir. ML modelleri, arrhythmias, detect apnea, or tahmin kalp hızı değişkenliği ile uyur - DSP'ler, sürekli inference performans gösteren bir hücre bataryası üzerinde haftalar çalıştırmaya olanak sağlar. Örneğin, Texas Instruments' MSP430 mikrokontroller bütünleşik DSP uzantıları ile birlikte kullanılabilir. Low power tüketimi ve küçük ayak izi kritiktir.

DSP'leri gömülü ML Borularına entegre etmek

DSP üzerinde bir makine öğrenme modeli çalışmak, inference motorunun ötesine geçen son bir boru hattını içerir: Tipik iş akışı şunları içerir:

  1. [FONT:0)Data Acquisition[[DÜDÜT:1) - Sensörler (mikrofonlar, kameralar, IMUs) ADC veya paralel arayüz yoluyla ham verileri beslemektedir. DSPs genellikle I2S gibi özel periferiler içerir.
  2. [FONT:0)Öyle işlem[[Dönetici] - Raw verileri şartlandı: FFT, normalleştirme veya özellik çıkarma (örneğin, mel spekizoskopları için, DSP’ler yerel sinyal işleme talimatları nedeniyle burada başarır.
  3. [FONT:0)Inference[[[Dönetici: 1)) - Önceden işlenmiş veriler, nöral ağa geçti. DSPs, konvolutions ve tamamen bağlantılı katmanlar için donanım hızlandırma kullanarak tabakayı çalıştırıyor.
  4. [FONT:0]Post-processing[[Dönetici: 1 ) – Çıktılar onors anlamlı sonuçlara dönüştürülür: sınıflandırma için yumuşakmax, nesne algılama için kutu silme, anomali tespit için eşleme.
  5. [FONT/İletişim][[Dönetici:0)))) - Sonuç bir eylemci (örneğin, bir ışıkla, bir uyarı gönder) veya kablosuz olarak iletilmektedir.

Birçok yarı iletken satıcı, bu boru hattının çoğunu otomatikleştirmiş yazılım araçları sağlar. Örneğin, CEVA'NIN CDNN (Deep Neural Network) aracıkit TensorFlow veya PyTorch'dan modeller alır, ölçümler yapar ve DSP çekirdeği için optimize edilmiş C kodu üretir. Benzer şekilde, Texas Instruments' Neural Network for Processors (NNP) kütüphanesi C6000 mimarisi için optimize edilmiş çekirdekler sunar.

Meydanlar ve düşünceler

Avantajlarına rağmen, DSP'ler her gömülü ML senaryosu için gümüş bir mermi değildir. Mühendisler birkaç zorlukla ilgilenmeli:

  • [FONT:0) Önlem vs. doğruluk ticaret-offs[[Dönetici: Agresif ölçümleme (örneğin, 4bit ağırlıklar), performansları korumak için önemli ölçüde düşük modeli doğrulukla elde edebilir. Quantization-aware eğitimi ve kalibrasyon verileri kümeleri önemlidir.
  • [FONT:0]Memory kısıtlamaları[[Dönetici: DSPs genellikle birkaç megabaytla sınırlıdır. tam bir sinir ağı modeli ve orta aktivasyonları zorlanabilir.
  • [FONT:0)Software karmaşıklığı[DFLT:1): DSP'ler FPGA'lardan daha kolay program için program için, hala uzman bir derleyici ve kütüphaneler gerektirir. DSP-opted kodu genellikle manuel ayarlayıcı veya kullanım içerir. Geliştiriciler sabit nokta arithmetic ve hafıza yönetimi ile aşinalığa ihtiyaç duyar.
  • [FONT:0) Belirli model türleri için Limited ekosistemi : Bazı gelişmiş katmanlar (örneğin, dikkat mekanizmaları, dönüştürücüler, dinamik dizilerle tekrarlayan ağlar) geleneksel DSP mimarilerine etkili bir şekilde haritalanamayabilir.
  • [FONT=0)Development and debugging[DÜT:1): DSP debug araçları CPU'lar için daha az olgundur. Gerçek zamanlı gömülü sistemler üzerinde profil seviyesi uygulama, donanım izlerini gerektiren donanım izlerini gerektirir.

Future Trendleri

Makine öğrenimi için DSP'lerin evrimi hızlanıyor. Birkaç trend, gömülü AI'nın bir sonraki nesli şekillendirecek:

  • DSP uzantıları ile DSP uzantıları ile 0 °T: ML açık kaynak RISC-V mimarisi şimdi P-exction (packed SIMD) ve vektör uzantıları DSP özelliklerine benzer şekilde genişletilir. Birçok çip tasarımcıları DSP benzeri MAC birimleri ve donanım döngüleri ile DSP benzeri özel RISC-V özellikleri ile birlikte, P-exxing ve maliyetle etkin bir alternatif sunuyor.
  • DSP, DSP, NPU ve GPU tek bir ölü üzerinde çalışır. NPU, daha ağır inferans yükleri ele alırken, NPU farklı iş yükleri arasında verimliliği daha da üstlenir.
  • [FONT=0) İleri sıkıştırma ve sparsity[Dönetici: DSPs, yapılandırılmış pruning, ağırlık paylaşımı ve sparse matrisi, optimize edilmiş sinir ağları büyüyen sparsity kullanmak gibi daha sofistike tekniklere sahip olacaktır.
  • [FONT:0]On-device öğrenme[[Dönetici: ): Şu anda inference tarafından hükmedilmiş olsa da, bazı DSPs, bulut bağlantı olmadan zaman içinde hafif bir eğitim veya iyileştirici donanım hızlandırma gibi özellikler geliştirmeyi amaçlamaktadır.
  • [FONT:0) Enerji hasat ve yakın güç ML[[Dönetici: 1) Araştırma, DSP'leri alt-milliwatt güç bütçeleri üzerinde çalıştırabilecek, ML'nin enerji harcama kaynaklarından kaynaklanabilmesine izin verebilir. Bu cihazlar tek bir hücrede veya hatta çevre ışıktan yıllarca bir teşhis edebilir.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Dijital sinyal işlemcileri, gömülü sistemlerdeki makine öğrenimi görevlerini hızlandıracak güçlü ve pratik bir çözüm olduğunu kanıtlamıştır. Mimari mirası - otomatik olarak çalışan yeni akıllı cihazlar için optimize edilmiştir - kenardaki modern sinir ağının talepleri ile mükemmel bir şekilde uyumludur.Süresel uygulama için yüksek performans sağlayarak, yerleşik bir araçchain, DSPs, otonom olarak çalışan yeni bir akıllı cihazlar için optimize eder ve verimli bir şekilde çalışır.

gömülü ML, tüketici elektroniklerinden sağlık ve otomotive kadar endüstrilerde yaşam boyu sürmeye devam ettikçe, DSP'nin sınırlarını doğrulayan ürünlere uygun olarak, homojen hesaplamalar ve sparsajlar da dahil olmak üzere, DSP'nin ilerlemeleri ile, sinyal işleme boru hatlarıyla entegrasyonu, uzun yıllar boyunca gömülü bir yapay zeka oluşturmak için iyi bir şekilde yapılandırılır.