On-device Makine Öğrenme için Azml Kullanımı
Table of Contents
Nesnelerin İnterneti'nin üstel büyümesi, milyarlarca bağlantılı sensörle dünyayı hafifçe ele geçirdi ve son birkaç yılda, küçük makine öğrenimi denilen yeni bir paradigma bunu değiştirmek için ortaya çıktı.
Birklop bandından, küçükML'nin temel özelliklerini, mevcut uygulamaları, karşılaştığı zorlukları ve yeraltı suyu öğrenmelerine dayanarak karar veren akıllı bir tarım sensörüne ihtiyaç duymadan algılar.
TinyML Nedir?
Tiny Machine Learning için kısa, bulut sunucularına güvenen birkaç megabaytlı bilgisayar öğrenme modellerini sıkıca kaynak-konstalı donanıma dağıtmaya odaklanır - genellikle mikro kontroller 256 KB ́den daha az RAM ve birkaç megabaytlı bellek depolama alanıdır.
Konsept on yıllardır gömülü sistemler üzerinde çalışır, ancak Google'ın onsorFlow Lite Micro'yu yayınladığında, özellikle mikro kontroller için bir runtime tasarlar.O zamandan beri, Edge Impulse, Arm's CMSIS-NN ve ONNX Runtime gibi çerçeveler, geliştiricilerin trene daha kolay hale getirdiğinde, küçük donanıma sahip olur.[0]
Daha yetenekli cihazlar üzerinde kenar AI'dan TinyML'yi ayırt eden şey (örneğin, Raspberry Pi gibi telefonlar veya tek kişilik bilgisayarlar) aşırı kaynak bütçesidir. Tipik bir TinyML cihazı, miliwatt veya mikrowattlar ile çalışır, işletim sistemi veya çok hafif bir RTOS yoktur ve sık sık sık her iki model mimarisi ve inferans hattı hakkında radikal olarak farklı düşünmek için çalışır.
KüçükML'nin gömülü cihazlarda temel avantajları
Düşük Latency ve Real-Time Responsiveness
Çünkü inference doğrudan cihazda gerçekleşir, TinyML, veri göndermenin bir bulut sunucusuna gönderilmesinin yuvarlak ayar gecikmesini ortadan kaldırır.Denem ki, milisaniye-dönüşümlü bir yanıt - ses-aktif kontroller, tahmin edilebilir bir bakım tetikleyicileri gibi - bu yerel işlem, 2 mikro kontrolcü üzerinde çalışırken - bu yerel işleme başarısız değildir.
Gizlilik ve Veri Egemenliği
Hassas sağlık ölçümleri, ses kayıtları ve video beslemeleri asla cihazı terk etmez. TinyML süreçleri ham sensör verileri yerel olarak ve sadece yüksek seviyeli uyarıları (örneğin “kesinlikle uyarı) ile ilgili olarak, bu tasarım GDPR ve HIPAA gibi katı veri koruma düzenlemeleri ile uyumludur ve güvenlik ihlalleri için yüzey alanını dramatik bir şekilde azaltır. Kullanıcılar şeffaflığı ve kontrol kazanırlar çünkü kişisel veriler üçüncü taraf sunuculara sevk edilmez.
Enerji Verimliliği ve Battery Life
Buluta bağlı cihazlar radyolarını verileri yüklemeye aktif tutmalıdır, bu da önemli bir güç tüketmektedir. Küçük ölçekli dağıtım modelleri tarımda, akıllı binalarda ve pillerin yerinin pratik olduğunu izlemek için optimize edilmiştir.
Maliyet Etkililiği ve Scalability
Maliyetli bulut bilişim altyapısı ve yüksek bant genişliği bağlantılarının her birine mal olan toplam malvarlığı azaltın ve tekrarlanan bulut ücretlerinin on binlerce cihaz dağıtması için gerekli değildir, tasarruflar büyük ölçüde yüksektir.
Offline Operasyon ve Güvenilirlik
Uzak veya sert ortamlarda - okyanus tomurcukları, çöl güneş çiftlikleri, yeraltı madenleri - güvenilir bulut bağlantı garanti edilmez. TinyML cihazlar tamamen çevrimdışı çalışır, onları görev-kırık uygulamalar için uygun hale getirir. Sistem ağ aşağı olsa bile işleve devam eder, bu zamana duyarlı kararlar (örneğin, bir operatör yaklaşımlar olduğunda) başarısız olduğunda vibrating makinesi kapatılır.
TinyML'nin Gerçek Dünya Uygulamaları
Sağlık ve Giyilebilir
TinyML kişisel sağlık izlemesi devrimdir. Ambiq Apollo4 tabanlı akıllıwatch gibi giyilebilir cihazlar sürekli olarak EKG sinyallerini bataryayı boşaltmadan algılamak için analiz edebilir.Kamp performansları ve sadece bir olay bayraklandığında kullanıcı veya doktor hakkında uyarılar. Benzer şekilde, küçük çaplı işitme cihazı ile donatılmış yardımlar, bataryayı boşaltmadan gerçek zamanlı olarak konuşmalarını sürekli olarak analiz edebilir.
Endüstriyel Öngörücü Bakım ve Kalite Kontrol
Faktörler, motorlara bağlı olarak küçükML'leri içeriyor, pompalar ve konveyör kemerleri. Mikrokontrolörler bir makine ve bayrakların normal titreşim imzasını, aşınma veya dengesizlikleri tespit ediyor. Çünkü inference yerel olarak, uyarılar, felaket başarısızlıktan önce hemen kapatılabilir.
Akıllı Evler ve Ses Asistanları
Ses kontrollü akıllı hoparlörler genellikle işlem için buluta ses klipleri gönderir, gizlilik endişelerini yükseltir. TinyML, "Hey Google" veya "Alexa" tespit etmek gibi, 10 KB RAM'ı tüketen bir model kullanarak.Bir zamanlar anahtar kelime tespit edilir, herhangi bir veri iletilen.Demokrat çevre sensörleri, akıllı termostatlar ve hareket dedektörleri de "küçük hesaplayıcıları paktılabilir" veya "Alexa" algılamayı kullanarak, cambreak algılamayı kullanarak, ve bir şekilde tanımayı sağlar.
Tarım ve Çevre İzleme
Tarımsal sensörler toprak nemi, pH, sıcaklık ve besin seviyelerini izleyebilirler. A TinyML modeli toprak koşullarını sınıflandırmak ve sulamanın gerekli olup olmadığını veya büyüyen sezon boyunca toplanan tarihi verilere dayanarak zararlı salgınları tahmin edebilir. Çevre uygulamalarında, güneş destekli buoylar su renkli ve turbalık okumalarını tanımlamak için TinyML kullanır, bu yaklaşım, cihazı birkaç ay içinde toplayarak yalnızca uyarıları iletir.
Akıllı Perakende ve Lojistik
Perakende mağazaları, küçük kamera modüllerine ağırlık değişiklikleri veya küçük kamera modülleri aracılığıyla envanteri takip etmek için küçükML'leri raf sensörleri kullanır. Bir öğe kaldırıldığında ve güncel borsalarda stok seviyelerini anında günceller.Süresel olarak, küçükML ile donatılmış el tarayıcıları ve paket boyutları, bir sunucuya yüksek bant genişliği bağlantısı olmadan tanıyabilir, depo operasyonlarına hız verir.Bu uygulamalar, ağ bağlantının geçici veya pahalı olduğu yerlerdeki küçük bir ağ bağlantının nasıl sağlanır.
Challenges Limiting Wider Impion
Onun sözüne rağmen, TinyML birkaç teknik ve pratik engelle karşı karşıyadır.
Sınırlı Model Kompleksi
Bellek ve hesaplama kısıtlamaları son derece küçük olmak için zor modeller - çoğu zaman 100.000'den daha az parametre. Birçok katmanla elde edilen Deep sinir ağları tipik bir mikro kontrolcülere sığmayacak. Mühendisler boyut için doğruluktan ticaret yapmalı, yüksek çözünürlüklü görüntü sınıflandırma veya karmaşık doğal dil anlayışı gibi görevler için yasaklanabilir.
Takım ve Geliştirme
TensorFlow Lite Micro ve Edge Impulse gibi çerçeveler, iş akışını geliştirdi, dağıtım boru hattı Keras veya PisaTorch'da optimize edilmiş bir C++ serisine dönüştürülen bir modele dönüştürüldü, ancak henüz bulut için bir model olarak sorunsuz değildir.
Donanım Heterojenliği
Sadece bir model bir ARM Cortex-M4 üzerinde çalışır, gelişim maliyetini artıran ve düşük güç Xtensa DSP.U Donanım hız özelliklerini azaltır - SIMD talimatları veya donanım gibi - yaygın olarak geliştiricilerin çoğu zaman düşük seviyeli kod yazması gerekir.
Data Scarcity ve Labelling
Bir TinyML modeli, hedef ortamdan etiketli sensör verileri etiketlemek gerektirir. Birçok kenar senaryosu için (örneğin, belirli bir makine titreşimini tespit etmek), yeterli etiketli örnekler elde etmek pahalıdır. Ayrıca, model sensör yerleştirme, sıcaklık sürükleme ve yaşlanma bileşeni için sağlam olmalıdır.
Güvenlik ve Aşırı Hava Güncellemeleri
Alan cihazlarında ML modellerini işletmek yeni saldırı yüzeyleri yaratır. Bir reklam, hafızayı hayal ederek veya birçok takımın yanlış sınıflamasına neden olmak için geri girişleri kullanarak modeli alabilir. Güvenli boot, şifreli model depolama, ve imzalanmış güncelleştirmeler, ancak havadaki model güncellemelerini milyonlarca küçük cihaza ekleyebilir - onları tuğla yapmadan - birçok takım hafife almak için bir lojistik ve mühendislik meydan okumasıdır.
Future Yol ve Gelişen Trendler
TinyML'nin geleceği, hem donanım ilerlemeleri hem de algoritmaik inovasyon tarafından yönlendirilir. Birkaç trend izlemeye değer.
Özelleştirilmiş AI Hızlandırıcıları
Chipmakers, mikrodüşünlü devrelerin mikrokontrolörlerine gömülür. Örneğin, Arm's Ethos-U55 ve daha yeni Ethos-U65, mikrowattların bir güç zarfında, küçük bir inferans için özel donanım sunar.
Küçük cihazlar için Federated Learning
Bulutta tüm eğitim verilerini merkezileştirmek yerine, besleyici öğrenme modelleri her cihazda kalan verileri kullanarak güncellenmelerini sağlar. MinikML sensörlerinin filosu, ham sensör okumalarını yüklemeden ortak bir model geliştirebiliyor. Erken prototipler akıllı klavyelerde ve giyilebilir cihazlarda gösterildi ve milyonlarca cihaz için pratik hale gelebilir.
Nöromorfik Hesaplama
Intel'in Loihi 2 veya SynSense'in Speck mimik biyolojik sinir ağları sürekli aktivasyon yerine fikre sahip olan aksaklıklar kullanılarak, sadece alt-milliwatt güçle algılanabilir.
Tiny Cihazları için Otomatik Makine Öğrenmesi
En iyi model mimarileri (NAS) için arama araçları, belirli bir mikro kontrol için uygun hale getirilir. Edge Impulse ve Google'ın Model Araması gibi platformlar, belirli bir mikro kontrol için doğru kombinasyonu otomatik olarak seçilir.
In-Device Learning and Adaptation
Şu anda, çoğu TinyML modeli statik - bulutta eğitilmiş ve sonra cihazda donmuşlardır. Bir sonraki sınır online öğrenmedir, model mikro kontroller gibi tekniklere bağlı olarak, temelleştirilmiş bir öğrenme gibi, ve hafif Bayesian yöntemleri araştırılır. Örneğin, bir titreşim sensörü, kurulumdan sonra belirli bir motorun eşsiz titreşim modelini öğrenebilir, genel bir ön eğitim öncesi modeline güvenmek yerine, temel bir modele güvenmekten ziyade.
TinyML ile başlayın
Mühendisler ve hobiler, TinyML'e atmayı arıyorlar, ekosistem giderek daha erişilebilir. Önerilen yol, bir Arduino Nano 33 BLE Sense veya ESP32 tabanlı bir yönetim kurulu ile başlamaktır.Instry Impulse'nin web tabanlı platformu[Döneticileri, 8,8|Döneticileri, bir web tabanlı platformda)[değiştir | kaynağı değiştir]
Donanım daha ucuz hale gelir ve araçlar daha olgun hale gelir, TinyML kaçınılmaz olarak, kenardaki algılama ve karar verme sistemi içeren standart bir bina bloğu haline gelecektir. ultra-düşük-enerji silikon, verimli sinir ağ mimarisi ve kullanıcı dostu dağıtım hatları, bir sonraki akıllı cihazların akıllı cihazların akıllı olması için telefon evine ihtiyaç duymaması anlamına gelir.
TinyML sadece bir trend değil - bu, istihbaratı fiziksel dünyaya nasıl gömdüğümüz temel bir değişimdir. Yerel, özel ve neredeyse enerji açısından özgür tutmak, sadece on yıl önce bilim kurgulanan ürünleri inşa etmek için geliştiriciler güçlendiriyor. Kalan soru, küçükML'nin ne kadar çabuk kazanılacağı değil, ama bunu nasıl hızla nasıl başarabiliriz.