Table of Contents

Die Integration von Machine-Learning-Modellen in eingebettete Systeme stellt eine der transformativsten Entwicklungen im modernen Computing dar und ermöglicht intelligente Entscheidungsfindungsmöglichkeiten in ressourcenbeschränkten Umgebungen, die von industriellen Sensoren bis hin zu tragbaren Geräten reichen. Dieser Integrationsprozess erfordert eine sorgfältige Berücksichtigung von Hardwarebeschränkungen, algorithmischer Effizienz und Leistungsoptimierung, um sicherzustellen, dass anspruchsvolle KI-Fähigkeiten effektiv innerhalb der strengen Beschränkungen von eingebetteten Plattformen arbeiten können.

Embedded Machine Learning und TinyML verstehen

Tiny Machine Learning (TinyML) erweitert Edge AI-Fähigkeiten auf ressourcenbeschränkte Geräte und bietet eine vielversprechende Lösung für Echtzeit-, Low-Power-Intelligence-Anwendungen in verschiedenen Anwendungsdomänen. TinyML wird typischerweise als die Bereitstellung von Machine Learning-Inferenzaufgaben auf Geräten mit einer Leistung von unter 1 mW definiert, oft mit nur 32 bis 512 kB statischem Random-Access-Speicher (SRAM), was es grundlegend von der traditionellen Cloud-basierten KI-Verarbeitung unterscheidet.

TinyML kombiniert maschinelles Lernen, eingebettete Systeme und IoT, um Echtzeit-, latenzarme, datenschutzbewahrende Informationen auf Edge-Geräten zu liefern. Diese Konvergenz hat neue Möglichkeiten für den Einsatz von KI in Umgebungen geschaffen, in denen die Cloud-Konnektivität unzuverlässig ist, Latenzanforderungen streng sind oder Datenschutzbedenken die externe Datenübertragung verbieten. Ein stetiger Anstieg der TinyML-bezogenen Forschung wird beobachtet, mit einem signifikanten Wachstum, das 2021 beginnt und 2024 seinen Höhepunkt erreicht, was die schnelle Einführung von TinyML-Technologien in mehreren Branchen widerspiegelt.

Der grundlegende Workflow für die TinyML-Bereitstellung umfasst mehrere kritische Phasen. TinyML arbeitet, indem es maschinelle Lernmodelle auf leistungsstarken Maschinen trainiert, sie dann komprimiert und auf Edge-Geräten mit begrenzter Speicher- und Verarbeitungsleistung durch Techniken wie Quantisierung, Beschneiden und Wissensdestillation einsetzt. Dieser Prozess verwandelt Modelle, die typischerweise Gigabyte Speicher und leistungsstarke GPUs erfordern, in kompakte Versionen, die auf Mikrocontrollern mit nur Kilobyte verfügbaren Ressourcen laufen können.

Kritische Designüberlegungen für eingebettete maschinelle Lernsysteme

Bei der Entwicklung eingebetteter Systeme mit maschinellem Lernen müssen Ingenieure eine komplexe Landschaft konkurrierender Einschränkungen und Anforderungen navigieren. Der Entwurfsprozess erfordert das Abwägen mehrerer Faktoren, die sich direkt auf die Lebensfähigkeit und Leistung des Systems auswirken.

Hardware-Ressourcenbeschränkungen

Moderne Edge-Geräte, einschließlich ARM Cortex-A-Prozessoren und Kfz-elektronische Steuergeräte, arbeiten unter strengen Einschränkungen der Speicherkapazität, des Rechendurchsatzes und der Leistungsbudgets, die den direkten Einsatz von Standard-Fließkomma-Neuralnetzwerken ausschließen.

Geräte haben typischerweise weniger als 256 KB RAM, was eine Modelloptimierung unerlässlich macht. Diese Speicherbeschränkung betrifft nicht nur die Speicherung von Modellparametern, sondern auch die während der Inferenz erzeugten Zwischenaktivierungen. Ingenieure müssen den gesamten Speicherabdruck berücksichtigen, einschließlich Eingangspuffer, Aktivierungskarten und Ausgangstensoren, die alle in den verfügbaren SRAM passen müssen, während ausreichend Platz für Anwendungscode und Systemoperationen bleibt.

Rechenleistung stellt eine weitere kritische Einschränkung dar. Mikrocontroller können komplexe Modelle wie große CNNs oder Transformer nicht handhaben, was eine sorgfältige Modellauswahl und Architekturgestaltung erfordert. Die Taktgeschwindigkeiten eingebetteter Prozessoren reichen typischerweise von zehn bis hundert Megahertz, Größenordnungen langsamer als Desktop- oder Server-Klassenprozessoren. Diese Einschränkung wirkt sich direkt auf die Inferenzlatenz und den Durchsatz aus, was Optimierungsstrategien erfordert, die die Rechenkomplexität reduzieren und gleichzeitig akzeptable Genauigkeitsgrade beibehalten.

Der Energieverbrauch stellt sich als vielleicht wichtigste Einschränkung für batteriebetriebene und energieverbrauchende Geräte heraus. TinyML-Modelle laufen auf Mikrocontrollern oft unter 1 Milliwatt Leistung, so dass Geräte monatelang oder sogar jahrelang mit kleinen Batterien betrieben werden können. Diese extreme Energieeffizienzanforderung beeinflusst jeden Aspekt des Systemdesigns, von der Modellarchitekturauswahl bis hin zur Hardwareplattformauswahl und Optimierungsstrategieimplementierung.

Hardware-Plattformauswahl

Die Auswahl der geeigneten Hardwareplattform stellt eine grundlegende Designentscheidung dar, die sich auf alle nachfolgenden Optimierungsbemühungen auswirkt. TensorFlow Lite für Mikrocontroller ist die speziell für Mikrocontroller ohne Betriebssystemunterstützung entwickelte Lösung von Google, die Modelle von nur 2 KB erstellt und für ARM Cortex-M-Prozessoren optimiert ist, wodurch sie sich ideal für benutzerdefinierte eingebettete Systeme und Arduino-Projekte eignet, bei denen maximale Optimierung und Kontrolle erforderlich sind.

Bei der Hardwareauswahl sind mehrere Faktoren zu berücksichtigen, darunter die Verarbeitungsarchitektur, der verfügbare Speicher, die Stromverbrauchseigenschaften und die Anforderungen an die Konnektivität. Energieeffizienz bezieht sich darauf, wie viel Energie der Mikrocontroller während des Betriebs verbraucht, und bei batteriebetriebenen Geräten verlängert der geringere Stromverbrauch die Batterielebensdauer, was für entfernte oder mobile Anwendungen unerlässlich ist. Verschiedene Mikrocontrollerfamilien bieten unterschiedliche Ausgewogenheiten dieser Eigenschaften, die eine sorgfältige Bewertung im Hinblick auf spezifische Anwendungsanforderungen erfordern.

Jedes eingebettete System (Arduino, STM32, ESP32) erfordert eine maßgeschneiderte Bereitstellung, was bedeutet, dass Optimierungsstrategien an die spezifischen Fähigkeiten und Einschränkungen der Zielhardware angepasst werden müssen. Einige Plattformen enthalten dedizierte Hardwarebeschleuniger für neuronale Netzwerkoperationen, wie DSP-Co-Prozessoren oder spezialisierte Matrixmultiplikationseinheiten, die die Inferenzleistung bei richtiger Nutzung dramatisch verbessern können.

Software Framework und Toolchain Überlegungen

Das Software-Ökosystem rund um das eingebettete maschinelle Lernen ist erheblich ausgereift und bietet mehrere Frameworks und Tools für die Modellentwicklung und -bereitstellung. PyTorch Mobile bringt PyTorch-Modelle zu Edge-Geräten mit wachsender Mikrocontroller-Unterstützung, bietet bessere Debugging-Tools und eine vertraute Entwicklungsumgebung für Teams, die PyTorch bereits verwenden, wodurch es besonders für Entwickler mit vorhandener PyTorch-Erfahrung geeignet ist.

Edge Impulse ist eine webbasierte Plattform, die die Entwicklung von TinyML durch einen No-Code-Ansatz vereinfacht und den Zugang zum eingebetteten maschinellen Lernen durch die Verringerung der technischen Eintrittsbarrieren demokratisiert. Dieser plattformbasierte Ansatz kann Entwicklungszyklen beschleunigen und das für die Bereitstellung erforderliche Fachwissen reduzieren, obwohl er möglicherweise weniger Flexibilität bietet als Frameworks auf niedrigerer Ebene für hochgradig angepasste Anwendungen.

Fortschritte bei Hardware-Beschleunigern und Edge-KI-Frameworks (wie TinyMLPerf, Edge Impulse und TensorFlow Lite Micro) gehen schnell auf die Herausforderungen des Embedded Deployments ein. Diese Tools bieten standardisierte Benchmarks, Optimierungspipelines und Deployment-Workflows, die den Entwicklungsprozess rationalisieren und gleichzeitig die Kompatibilität zwischen verschiedenen Hardwareplattformen gewährleisten.

Umfassende Modelloptimierungstechniken

Modelloptimierung stellt den Eckpfeiler einer erfolgreichen Implementierung von Embedded Machine Learning dar und umfasst eine Reihe von Techniken, die die Modellkomplexität reduzieren und gleichzeitig die funktionale Genauigkeit beibehalten. Die Modellkomprimierung ist unerlässlich geworden, um leistungsstarke KI-Fähigkeiten innerhalb von Einschränkungen anzupassen, wobei Beschneiden und Quantisierung die am weitesten verbreiteten Strategien sind, die Echtzeit-Inferenz ermöglichen und gleichzeitig die Energiebudgets unter Kontrolle halten.

Quantisierung: Reduzierung der numerischen Präzision

Quantisierung stellt eine der effektivsten Techniken zur Reduzierung der Modellgröße und der Rechenanforderungen dar, indem die Quantisierung die Präzision von Modellparametern reduziert, indem Gewichte und Aktivierungen mit reduzierten Präzisionsformaten wie 8-Bit, 4-Bit oder 1-Bit (binär) anstelle des Standard 32-Bit-Fließkommaformats mit einer einzigen Präzision dargestellt werden.

Quantisierungstechniken reduzieren systematisch die numerische Präzision von 32-Bit-Fließkomma- auf 8-Bit- oder binäre Ganzzahldarstellungen, wodurch Kompressionsverhältnisse von mehr als 50-facher erreicht werden, während die Genauigkeit innerhalb akzeptabler Degradationsschwellen beibehalten wird.

Es gibt zwei primäre Quantisierungsansätze, die jeweils deutliche Vorteile und Anwendungsfälle haben. Die Post-Training-Quantisierung (PTQ) bietet den am besten zugänglichen Weg für die Modellkompression, indem vortrainierte FP32-Modelle in INT8-Darstellung umgewandelt werden, ohne dass zusätzliche Trainingsverfahren erforderlich sind. Dieser Ansatz ermöglicht eine schnelle Bereitstellung bestehender Modelle mit minimalem Aufwand, obwohl er im Vergleich zu quantisierungsbewusstem Training zu einer etwas höheren Genauigkeitsdegradation führen kann.

Quantisierungsbewusstes Training (QAT) stellt einen ausgeklügelteren Ansatz dar, der Quantisierungseffekte während des Trainingsprozesses selbst beinhaltet. 8-Bit-Training von neuronalen Netzwerken kann die volle Präzisionsgenauigkeit erreichen und gleichzeitig eine erhebliche Rechenbeschleunigung ermöglichen, wobei ResNet-50 auf ImageNet eine Top-1-Genauigkeit von 76,6% erreicht, was der FP32-Leistung von 76,8% entspricht und gleichzeitig den Speicherbedarf um 75% reduziert. Diese Technik verwendet eine Bereichsbatch-Normalisierung, die die Aktivierungsstatistiken während des Trainings verfolgt, um optimale Quantisierungsbereiche zu bestimmen.

Die auf ResNet-50 angewandte INT8-Quantisierung erreicht nur 0,7 % Genauigkeitsverlust bei der ImageNet-Klassifizierung, sinkt von 76,1 % Top-1-Genauigkeit im FP32 auf 75,4 % in INT8, während die Modellgröße von 102 MB auf 25,5 MB reduziert wird, was einem 4-fachen Kompressionsverhältnis entspricht.

Die Mixed-Präzisions-Quantisierung weist Schichten je nach ihrer Empfindlichkeit unterschiedliche Bitbreiten zu, wobei kritische Merkmalsextraktionsschichten bei 16 Bit bleiben, während vollständig verbundene Schichten zu 8 Bit quantisiert werden, wobei der selektive Ansatz erkennt, dass verschiedene Netzwerkschichten eine unterschiedliche Empfindlichkeit gegenüber Quantisierung aufweisen, so dass Ingenieure den Kompromiss zwischen Genauigkeit und Effizienz pro Schicht optimieren können.

Beschneiden: Eliminieren von redundanten Parametern

Durch Beschneiden werden unnötige Parameter oder Verbindungen aus neuronalen Netzen systematisch entfernt, wodurch die Modellkomplexität verringert wird, ohne die Genauigkeit wesentlich zu beeinträchtigen; durch Beschneiden werden redundante Parameter oder Neuronen entfernt, die nicht wesentlich zur Genauigkeit beitragen, was auftreten kann, wenn die Gewichtskoeffizienten Null oder nahe Null sind oder repliziert werden, wodurch die Rechenkomplexität verringert wird.

Es gibt mehrere Beschneidungsstrategien, die jeweils unterschiedliche Kompromisse zwischen Implementierungskomplexität und Leistungsvorteilen bieten. Unstrukturiertes Beschneiden entfernt individuelle Gewichte basierend auf Größen- oder Wichtigkeitskriterien, wodurch hohe Kompressionsverhältnisse erreicht werden, die Hardwareimplementierung jedoch aufgrund unregelmäßiger Sparsity-Muster möglicherweise erschwert wird. Strukturiertes Beschneiden entfernt ganze Kanäle, Filter oder Schichten, wodurch Modelle erzeugt werden, die effizienter auf Standard-Hardwarearchitekturen abbilden, während typischerweise niedrigere Kompressionsverhältnisse erreicht werden als unstrukturierte Ansätze.

Ein beschnittenes, konvolutionales neuronales Netzwerk kann reibungslos auf einem eingebetteten SoC laufen, verbraucht weniger Energie und liefert schnellere Ergebnisse, wobei sich das dynamische Beschneiden zur Laufzeit anpasst und Berechnungen auf der Grundlage von Eingangsdaten überspringt. Dieser adaptive Ansatz ermöglicht Effizienzgewinne, die auf die tatsächlichen Arbeitslasteigenschaften reagieren, anstatt Worst-Case-Szenarien für alle Eingaben anzunehmen.

Reale Einsatzergebnisse zeigen die praktischen Vorteile von Beschneidungstechniken. Ein industrielles Vibrationsüberwachungsgerät mit strukturiertem Beschneidungsverfahren erzielte eine 40% schnellere Inferenz mit nur 2% Genauigkeitsverlust, was eine Anomalieerkennung auf dem Gerät ohne Wolkenabhängigkeit ermöglicht. In ähnlicher Weise half dynamisches Beschneiden bei autonomen Drohnen, die Lebensdauer der Batterie zu verlängern, indem selektiv Vision-Berechnungen unter klaren Bedingungen übersprungen wurden, was zeigt, wie sich Beschneidung an unterschiedliche Betriebskontexte anpassen kann.

Wenn beschnittene Netzwerke umgeschult werden, bietet es die Möglichkeit, einem vorherigen lokalen Minima zu entkommen und die Genauigkeit weiter zu verbessern, was darauf hindeutet, dass Beschneiden manchmal die Modellleistung über die einfache Parameterreduktion hinaus verbessern kann.

Wissensdestillation: Übertragung von Fähigkeiten auf kompakte Modelle

Wissensdestillation stellt einen komplementären Optimierungsansatz dar, der die erlernten Fähigkeiten großer, komplexer Modelle auf kleinere, effizientere Architekturen überträgt. Diese Technik trainiert ein kompaktes "Schüler"-Modell, um das Verhalten eines größeren "Lehrer"-Modells nachzuahmen, was oft eine bessere Leistung erzielt als das Training des kleinen Modells direkt auf dem ursprünglichen Datensatz.

Der Destillationsprozess beinhaltet typischerweise das Training des Schülermodells unter Verwendung einer Kombination aus den ursprünglichen Trainingsetiketten und den vom Lehrermodell erzeugten weichen Wahrscheinlichkeitsverteilungen, wobei diese weichen Ziele reichere Informationen über Klassenbeziehungen und Entscheidungsgrenzen enthalten als harte Etiketten allein, so dass das Schülermodell effektiver aus dem Wissen des Lehrers lernen kann.

Wissensdestillation erweist sich als besonders wertvoll, wenn Modelle in stark ressourcenbeschränkten Umgebungen eingesetzt werden, in denen selbst optimierte Versionen der ursprünglichen Architektur die verfügbaren Ressourcen übersteigen. Durch die Gestaltung von studentischen Architekturen speziell für die Ziel-Hardwareplattform können Ingenieure innerhalb der gegebenen Einschränkungen eine optimale Leistung erzielen und gleichzeitig die überlegene Genauigkeit größerer Modelle während der Trainingsphase nutzen.

Hybride Optimierungsstrategien

Während Beschneiden und Quantisierung einzeln leistungsstark sind, bietet die Kombination von ihnen eine höhere Effizienz, wobei der Trend im Jahr 2025 Hybrid-Pipelines zeigt: zuerst Beschneiden, um die Modellgröße zu verkleinern, dann Quantisieren, um die Laufzeiteffizienz zu optimieren. Dieser sequentielle Ansatz nutzt die komplementären Stärken verschiedener Optimierungstechniken, um Kompressionsverhältnisse und Effizienzgewinne zu erzielen, die über das hinausgehen, was beide Techniken alleine erreichen könnten.

Pruning- und Quantisierungstechniken wurden weit verbreitet, um die Komplexität tiefer Modelle zu reduzieren, wobei beide Techniken gemeinsam zur Realisierung signifikant höherer Kompressionsverhältnisse verwendet werden.Die Kombination befasst sich mit verschiedenen Aspekten der Modelleffizienz: Pruning reduziert die Anzahl der erforderlichen Operationen, während Quantisierung die Rechenkosten und den Speicherbedarf jeder Operation reduziert.

Die Single-Shot-Beschneidung und Quantisierungsmethode kann das Modell in einem Trainingsprozess quantisieren und beschneiden, was die Berücksichtigung von Quantisierungsfehlern und Beschneidungsfehlern während des Deep Learning-Netzwerktrainings und die Aktualisierung der Gewichte unter diesen Fehlern ermöglicht.

In Bezug auf die Trainingszeit erreichte der Single-Shot-Ansatz eine bemerkenswerte Reduktion der Trainingszeit um 20% bis 25% im Vergleich zur sequentiellen Anwendung von Beschneidung und Quantisierung. Dieser Effizienzgewinn zeigt in Kombination mit einem Modell, das 69,4% kleiner ist und mit geringem Genauigkeitsverlust 6-8-mal schneller auf NVIDIA Xavier NX Hardware läuft, die praktischen Vorteile integrierter Optimierungsstrategien.

Leistungsmetriken und Berechnungsmethoden

Die genaue Messung und Berechnung von Leistungskennzahlen stellt einen kritischen Aspekt des Embedded Machine Learning Systemdesigns dar, der es Ingenieuren ermöglicht, Kompromisse zu bewerten, die Effektivität der Optimierung zu validieren und sicherzustellen, dass eingesetzte Systeme die Anwendungsanforderungen erfüllen. Ein Benchmarking-Framework zur Bewertung von TinyDL-Systemen umfasst Metriken wie Inferenzlatenz, Speichernutzung, Modellgröße und Energieeffizienz.

Latenzmessung der Schlussfolgerung

Die Latenzzeit misst die Zeit, die benötigt wird, um eine einzelne Eingabe über das Modell zu verarbeiten und eine Ausgabe zu erzeugen. Diese Metrik wirkt sich direkt auf die Benutzererfahrung in interaktiven Anwendungen aus und bestimmt, ob das System die Echtzeit-Verarbeitungsanforderungen erfüllen kann. Latenzmessungen müssen alle Verarbeitungsstufen berücksichtigen, einschließlich Eingabevorverarbeitung, Modellinferenz und Ausgabenachverarbeitung.

Genaue Latenzmessungen erfordern eine sorgfältige Prüfung der Messmethodik. Einzelaufnahmen können aufgrund von Cache-Effekten, dynamischer Frequenzskalierung und anderen Variationen auf Systemebene irreführend sein. Zu den bewährten Verfahren zählen das Aufwärmen des Systems mit mehreren Inferenzdurchläufen vor der Messung, das Sammeln von Statistiken über mehrere Iterationen und das Melden sowohl der Durchschnitts- als auch der Worst-Case-Latenzwerte zur Erfassung der Leistungsvariabilität.

TinyML führt lokal Inferenz durch, so dass es keine Notwendigkeit gibt, Daten an entfernte Server zu senden, was bedeutet, dass sofortige Reaktionen wichtig für Anwendungen wie Gestenerkennung oder Anomalieerkennung in Maschinen sind. Diese lokale Verarbeitung eliminiert Netzwerkübertragungsverzögerungen und ermöglicht Latenzleistung, die mit Cloud-basierten Inferenzansätzen unmöglich wäre.

Memory Footprint Analyse

Der Speicher-Fußabdruck umfasst sowohl den statischen Speicher, der zum Speichern von Modellparametern erforderlich ist, als auch den dynamischen Speicher, der für Zwischenaktivierungen während der Inferenz erforderlich ist. In eingebetteten Systemen mit begrenztem RAM stellt die Spitzenspeichernutzung oft die Bindungsbedingung dar, die bestimmt, ob ein Modell auf einer bestimmten Plattform bereitgestellt werden kann.

Die Quantisierung reduziert diese Anforderungen direkt, indem sie Parameter mit weniger Bits darstellt. Die Anforderungen an den dynamischen Speicher hängen von der Netzwerkarchitektur, den Eingabedimensionen und der Implementierungsstrategie ab, wobei Techniken wie In-Place-Operationen und Aktivierungswiederverwendung dazu beitragen, den Spitzenspeicherverbrauch zu minimieren.

Speicherprofilierungstools ermöglichen es Ingenieuren, Speicherengpässe zu identifizieren und Zuweisungsstrategien zu optimieren. Die schichtweise Analyse zeigt, welche Operationen den größten Speicher verbrauchen, führt Architekturmodifikationen oder Optimierungsbemühungen. Das Verständnis des gesamten Speicherlebenszyklus, vom Laden des Modells bis zur Inferenzausführung, stellt sicher, dass bereitgestellte Systeme zuverlässig innerhalb der verfügbaren Ressourcen arbeiten.

Berechnung des Energieverbrauchs

Der Energieverbrauch stellt möglicherweise die wichtigste Metrik für batteriebetriebene eingebettete Systeme dar, die direkt die Betriebslebensdauer und die Einsatzfähigkeit bestimmt.

Genaue Energiemessung erfordert spezielle Ausrüstung wie Leistungsanalysatoren oder Strommessungs-Shunts, die den dynamischen Stromverbrauch mit hoher zeitlicher Auflösung erfassen können. Softwarebasierte Stromschätzungsmodelle liefern Näherungswerte, können jedoch wichtige Beiträge zum Gesamtenergieverbrauch verfehlen, insbesondere in komplexen Systemen mit mehreren Leistungsbereichen.

Ein intelligentes Verkehrskamerasystem, das quantisierungsbewusstes Training mit INT8 durchführt, reduziert den Energieverbrauch um das Dreifache, ohne die Erkennungsgenauigkeit zu verlieren, und ermöglicht den kontinuierlichen Betrieb mit Solarenergie an Orten, an denen keine kabelgebundene Infrastruktur verfügbar war. Dieses Beispiel zeigt, wie Optimierungstechniken neue Einsatzszenarien direkt ermöglichen, indem der Energiebedarf auf ein Niveau reduziert wird, das mit alternativen Energiequellen kompatibel ist.

Energieeffizienzberechnungen normalisieren den Stromverbrauch typischerweise durch Durchsatz- oder Genauigkeitsmetriken, was faire Vergleiche zwischen verschiedenen Modellen und Hardwareplattformen ermöglicht. Energy-per-Inference und Energy-Delay-Produkt stellen gemeinsame zusammengesetzte Metriken dar, die den Kompromiss zwischen Leistung und Stromverbrauch erfassen.

Modellgenauigkeitsbewertung

Die Modellgenauigkeit bleibt die grundlegende Metrik, die darüber entscheidet, ob ein optimiertes Modell eine ausreichende Leistung für die vorgesehene Anwendung bietet. Optimierungstechniken führen zwangsläufig zu einer gewissen Verschlechterung der Genauigkeit, die eine sorgfältige Bewertung erfordert, um sicherzustellen, dass komprimierte Modelle die Anwendungsanforderungen erfüllen.

Die Genauigkeitsbewertung muss repräsentative Testdatensätze verwenden, die die Verteilung der Eingaben widerspiegeln, auf die das bereitgestellte System stoßen wird. Domänenverschiebungen zwischen Schulungs- und Bereitstellungsumgebungen können sich erheblich auf die reale Leistung auswirken, so dass die Validierung auf Bereitstellungsrepräsentative Daten unerlässlich ist.

Die Netzwerkkomprimierung kann oft mit geringem Genauigkeitsverlust realisiert werden, und in einigen Fällen kann die Genauigkeit sogar verbessert werden. Dieses kontraintuitive Ergebnis tritt auf, wenn die Komprimierung als eine Form der Regularisierung wirkt, die eine Überanpassung verhindert und das Modell dazu ermutigt, verallgemeinerbarere Darstellungen zu lernen.

Real-World-Anwendungen und Anwendungsfälle

Embedded Machine Learning hat transformative Anwendungen in verschiedenen Bereichen ermöglicht und intelligente Fähigkeiten in Umgebungen bereitgestellt, in denen sich traditionelle Cloud-basierte Ansätze als unpraktisch oder unmöglich erweisen.

Industrie- und Fertigungsanwendungen

Sensoren, die an Maschinen angebracht sind, können Anomalien (wie Vibrationen oder Schalländerungen) in Echtzeit erkennen und so kostspielige Ausfälle durch vorausschauende Wartungssysteme verhindern. Diese Anwendungen erfordern eine kontinuierliche Überwachung mit minimalem Stromverbrauch, wodurch eingebettetes maschinelles Lernen ideal für den Einsatz auf batteriebetriebenen oder energieerhaltenden Sensorknoten ist, die in Fertigungsanlagen verteilt sind.

Qualitätskontrolle stellt eine weitere wichtige Fertigungsanwendung dar, bei der Bildverarbeitungssysteme Produkte auf Defekte bei Produktionsliniengeschwindigkeiten untersuchen. Ein eingebetteter Einsatz ermöglicht verteilte Inspektionssysteme, die wirtschaftlich über mehrere Produktionslinien hinweg skalieren und gleichzeitig eine geringe Latenz und einen hohen Durchsatz beibehalten. Die Fähigkeit, Daten lokal zu verarbeiten, geht auch auf Bedenken hinsichtlich des geistigen Eigentums ein, indem proprietäre Produktdesigns in der Anlage beibehalten werden.

Gesundheitsfürsorge und tragbare Geräte

TinyML ermöglicht die Überwachung von EKG, Herzfrequenz und Schlafmustern, ohne Daten in die Cloud zu übertragen, wodurch sowohl die Privatsphäre als auch die Effizienz von Wearables im Gesundheitswesen gewährleistet werden. Diese lokale Verarbeitungsfunktion geht auf kritische Datenschutzbedenken ein und ermöglicht eine kontinuierliche Überwachung, die bei cloudabhängigen Ansätzen aufgrund des Stromverbrauchs und der Konnektivitätsanforderungen unpraktisch wäre.

Medizinprodukteanwendungen erfordern eine hohe Zuverlässigkeit und Genauigkeit, die oft eine Validierung anhand klinischer Standards und behördlicher Zulassungen erfordern. Das deterministische Verhalten von eingebetteten Inferenzen in Kombination mit der Fähigkeit, unabhängig von Netzwerkverbindungen zu arbeiten, macht TinyML besonders geeignet für medizinische Anwendungen, bei denen die Patientensicherheit von einem konsistenten, zuverlässigen Betrieb abhängt.

Umweltüberwachung und intelligente Landwirtschaft

Edge-basierte KI kann Bodenfeuchtigkeit, Erntegesundheit oder Viehbestandsaktivitäten mit Mikrocontrollern überwachen und die Abhängigkeit von Internet-Konnektivität in intelligenten Landwirtschaftsanwendungen reduzieren. Diese Systeme arbeiten oft an abgelegenen Orten, an denen die Mobilfunkabdeckung unzuverlässig ist und die Strominfrastruktur nicht verfügbar ist, was den stromarmen, autonomen Betrieb von eingebettetem maschinellem Lernen unerlässlich macht.

Mit Sensoren mit geringem Energieverbrauch können Luftqualitätsniveaus ermittelt, Waldbrände erkannt oder Bewegungen von Wildtieren in Umweltüberwachungsanwendungen autonom überwacht werden. Die Fähigkeit, große Netzwerke intelligenter Sensoren einzusetzen, ermöglicht eine umfassende Umweltüberwachung in Größenordnungen, die mit herkömmlichen Ansätzen wirtschaftlich und logistisch unpraktisch wären.

Smart Cities und urbane Infrastruktur

TinyML-Anwendungen umfassen urbane Mobilität, Umweltüberwachung, öffentliche Sicherheit, Abfallwirtschaft und Infrastrukturgesundheit in Smart City-Einsätzen. Diese vielfältigen Anwendungen teilen gemeinsame Anforderungen an verteilte Intelligenz, geringen Stromverbrauch und autonomen Betrieb, die eingebettetes maschinelles Lernen zu einer grundlegenden Technologie machen.

Industrieräume und öffentliche Bereiche sind auf eine Echtzeitüberwachung angewiesen, um Sicherheit zu gewährleisten, mit Orten wie Transitstationen, Fertigungsstätten und großen Außenanlagen, die Vision-KI-Systeme benötigen, die Menschen oder Fahrzeuge schnell und genau erkennen können, oft mit begrenzten Konnektivitäts- und Hardwarebeschränkungen.

Fortgeschrittene Themen im Embedded Machine Learning

Hardware-Software Co-Design

Mit diesem integrierten Ansatz wird untersucht, wie sich algorithmische Entscheidungen auf die Hardwareauslastung auswirken und wie Hardwarefähigkeiten genutzt werden können, um die algorithmische Effizienz zu verbessern.

Die Nutzung spezialisierter MCU-Beschleuniger wie DSP-Co-Prozessoren oder energiebewusster neuronaler Ausführungsmaschinen stellt einen vielversprechenden Weg dar, um die Inferenzlatenz und den Energieverbrauch weiter zu reduzieren. Diese Hardware-Beschleuniger bieten Verbesserungen der Effizienz um Größenordnungen für bestimmte Operationen, erfordern jedoch ein sorgfältiges Softwaredesign, um ihre Fähigkeiten vollständig auszuschöpfen.

Neural Architecture Search (NAS) stellt einen fortschrittlichen Co-Design-Ansatz dar, der automatisch Modellarchitekturen entdeckt, die für bestimmte Hardwareplattformen optimiert sind. Modernste Methoden in Quantisierung, Beschneiden und neuronaler Architektursuche (NAS) untersuchen Hardwaretrends von MCUs bis hin zu dedizierten neuronalen Beschleunigern, was eine automatisierte Optimierung ermöglicht, die durch manuelle Design-Iteration unpraktisch wäre.

Federated Learning und On-Device Training

Die Synergie zwischen Federated Learning (FL) und Tiny Machine Learning (TinyML) stellt einen transformativen Ansatz dar, der ein Paradigma bietet, das sowohl effizient als auch datenschutzorientiert ist, wobei das dezentrale Modelltraining von FL die Aggregation von Erkenntnissen aus zahlreichen Geräten ermöglicht, ohne große Mengen an Rohdaten an zentrale Server zu übertragen, was perfekt mit TinyMLs Einbettung von leichtgewichtigen KI-Algorithmen in kleine, energieeffiziente Geräte übereinstimmt.

Diese Kombination ermöglicht kontinuierliche Modellverbesserung durch verteiltes Lernen unter Beibehaltung der Datenschutz- und Effizienzvorteile der Edge-Bereitstellung. Embedded-Federated-Learning auf Mikrocontroller-Boards, die die Kommunikation über LoRa-Mesh-Netzwerk nutzen, kombiniert TTGO LORA32-Board für FL-Netzwerke mit Arduino Portenta H7-Board für maschinelles Lernen und beweist die Systemtabilität für verteilte, umschulbare Anwendungen, die am kleinen Rand laufen.

Das On-Device-Training geht über das Verbundlernen hinaus und ermöglicht eine vollständige Modellanpassung ohne externe Kommunikation. Diese Fähigkeit erweist sich als nützlich für Anwendungen, die eine Personalisierung an einzelne Benutzer oder eine Anpassung an sich ändernde Umgebungsbedingungen erfordern. Die Rechen- und Speicheranforderungen des Trainings übersteigen jedoch typischerweise die der Inferenz und stellen zusätzliche Optimierungsherausforderungen für ressourcenbeschränkte Plattformen dar.

Sicherheits- und Datenschutzbedenken

Sensible Daten verlassen das Gerät nie, da ein tragbares Gesundheitswesen biometrische Daten analysieren kann, ohne sie auf externe Server hochzuladen, was durch lokale Verarbeitung einen inhärenten Datenschutz bietet. Diese Architektur eliminiert ganze Klassen von Sicherheitslücken im Zusammenhang mit der Datenübertragung und Cloud-Speicherung, obwohl sie neue Sicherheitsüberlegungen bezüglich Gerätemanipulation und Modellextraktion einführt.

TinyML bietet eine Latenz von nahezu Null für ML-Dienste, da es die Abhängigkeit von externer Kommunikation verringert, was ein entscheidender Vorteil in sicherheitskritischen Systemen ist, während es gleichzeitig Bedenken hinsichtlich Datenschutz und Sicherheit anspricht, da Rückschlüsse aus dem Gerät und nicht von Cloud-Servern aus erfolgen.

Modellsicherheit stellt ein wachsendes Problem dar, da eingebettete maschinelle Lernsysteme immer häufiger auftreten. Kontradiktorische Angriffe, Modellextraktion und Backdoor-Einfügung stellen potenzielle Bedrohungen dar, die durch sichere Bootprozesse, verschlüsselte Modellspeicherung und Überprüfung der Laufzeitintegrität angegangen werden müssen. Die Ressourcenbeschränkungen eingebetteter Plattformen erschweren die Umsetzung von Sicherheitsmaßnahmen, die ein sorgfältiges Design erfordern, um Sicherheit und Leistung auszugleichen.

Best Practices und Leitlinien für die Umsetzung

Development Workflow und Toolchain Selection

Die Etablierung eines effizienten Entwicklungs-Workflows stellt einen entscheidenden Erfolgsfaktor für Embedded Machine Learning-Projekte dar. Der Workflow sollte eine schnelle Iteration zwischen Modellentwicklung, Optimierung und Hardwarevalidierung unterstützen und gleichzeitig die Reproduzierbarkeit und Versionskontrolle während des gesamten Entwicklungsprozesses beibehalten.

Die Auswahl der Toolchain sollte die Ziel-Hardwareplattform, das Team-Know-how und die Projektanforderungen berücksichtigen. Software-Bereitstellungs-Frameworks, Compiler und AutoML-Tools ermöglichen praktisches Lernen vor Ort, was unterschiedliche Abstraktions- und Automatisierungsstufen ermöglicht. Hochrangige Tools beschleunigen die Entwicklung, können jedoch Optimierungsmöglichkeiten opfern, während Ansätze auf niedrigerer Ebene maximale Kontrolle auf Kosten einer erhöhten Entwicklungskomplexität bieten.

Kontinuierliche Integrations- und Testverfahren erweisen sich als besonders nützlich für eingebettete Machine-Learning-Projekte, bei denen Änderungen an Modellarchitektur, Optimierungsparametern oder Bereitstellungskonfiguration geringfügige Auswirkungen auf Genauigkeit und Leistung haben können. Automatisierte Tests über repräsentative Hardwareplattformen hinweg stellen sicher, dass Optimierungen eine akzeptable Genauigkeit beibehalten und gleichzeitig Zielleistungsmetriken erreichen.

Optimierungsstrategie Auswahl

Pruning befasst sich in erster Linie mit der Modelldarstellung, beeinflusst aber auch die architektonische Effizienz durch die Reduzierung von Inferenzoperationen, während die Quantisierung sich auf numerische Präzision konzentriert, sich jedoch auf den Speicherfußabdruck und die Ausführungseffizienz auswirkt.

Die Optimierungsstrategie sollte von den Bindungsbeschränkungen der Zielplattform bestimmt werden. Speicherbeschränkte Systeme profitieren am meisten von aggressiver Quantisierung und Beschneidung, um die Modellgröße zu reduzieren, während computerbeschränkte Systeme Techniken priorisieren können, die die Rechenkomplexität reduzieren, selbst wenn der Speicherbedarf relativ groß bleibt.

Zu den Vorteilen gehören eine Reduzierung der Modellgröße um bis zu 75 %, eine schnellere Inferenz und ein geringerer Stromverbrauch, eine geringere Cloud-Abhängigkeit und eine verbesserte Skalierbarkeit über Milliarden von IoT-Knoten hinweg. Zu den Herausforderungen gehören jedoch der Genauigkeitsverlust bei zu aggressiver Komprimierung, fragmentierte Hardwareunterstützung, Umschulung und Verifizierungskomplexität sowie potenzielle Schwachstellen in komprimierten Modellen, die eine sorgfältige Bewertung von Kompromissen erfordern.

Validierungs- und Teststrategien

Die umfassende Validierung stellt sicher, dass optimierte Modelle die Anforderungen an Genauigkeit, Leistung und Zuverlässigkeit erfüllen, bevor sie bereitgestellt werden.

Die Validierung der Genauigkeit muss repräsentative Testdatensätze verwenden, die die Einsatzbedingungen widerspiegeln, einschließlich Edge Cases und herausfordernden Szenarien, die eine optimierungsbedingte Verschlechterung offenlegen können. Die Leistungsprüfung sollte alle relevanten Metriken messen, einschließlich Latenz, Durchsatz, Speicherauslastung und Energieverbrauch unter realistischen Arbeitslasten. Die Robustheitsprüfung bewertet das Modellverhalten unter Eingabestörungen, Umweltschwankungen und Hardwarevariabilität.

Hardware-in-the-Loop-Tests bieten die genaueste Validierung, indem sie Modelle auf tatsächlicher Zielhardware unter realistischen Bedingungen ausführen. Dieser Ansatz erfasst plattformspezifische Verhaltensweisen, Compileroptimierungen und Hardwareeigenschaften, die in Simulations- oder Emulationsumgebungen möglicherweise nicht genau dargestellt werden. Eine frühzeitige und häufige Hardwarevalidierung hilft, Probleme zu identifizieren, bevor sie kostspielig werden.

Neuromorphes Computing und ereignisbasierte Verarbeitung

Neuromorphes Computing stellt einen grundlegend anderen Ansatz für eingebettetes maschinelles Lernen dar, bei dem ereignisgesteuerte Verarbeitung und das Überspringen neuronaler Netze verwendet werden, die biologische neuronale Systeme genauer nachahmen. Diese Architekturen bieten potenzielle Vorteile in Bezug auf Energieeffizienz und zeitliche Verarbeitungsfähigkeiten, obwohl sie im Vergleich zu herkömmlichen neuronalen Netzen andere Programmiermodelle und Optimierungstechniken erfordern.

Event-basierte Sensoren und Prozessoren eliminieren die kontinuierliche Abtastung und Verarbeitung herkömmlicher Systeme und aktivieren nur dann, wenn sinnvolle Änderungen in der Eingabe auftreten. Dieser asynchrone Vorgang kann den Stromverbrauch für Anwendungen mit geringer zeitlicher Aktivität, wie Keyword Spotting oder Bewegungserkennung, drastisch reduzieren. Die spezialisierten Hard- und Software-Ökosysteme für neuromorphes Computing sind jedoch weniger ausgereift als herkömmliche Ansätze.

Automatisierte Optimierung und Suche nach neuronaler Architektur

Automatisierte Optimierungstechniken versprechen, das eingebettete maschinelle Lernen zu demokratisieren, indem sie das für eine erfolgreiche Bereitstellung erforderliche Fachwissen reduzieren. Neuronale Architektursuche, automatisierte Quantisierung und erlernte Kompressionstechniken können Optimierungsstrategien entdecken, die über das manuelle Design hinausgehen, insbesondere für komplexe Modelle und neuartige Hardwareplattformen.

In den 2020er Jahren sind Hybridansätze aufgestiegen, die Beschneiden, Quantisierung und Destillation kombinieren, um LLMs weiter zu optimieren, wobei die Wirksamkeit von ALBERT gezeigt wurde, indem wettbewerbsfähige Ergebnisse mit weniger Ressourcen durch faktorisierte Einbettungen und Parameterfreigabe erzielt wurden, während Hybridkompressionsstrategien die stromarme KI für mobile, Edge- und Großanwendungen vorantreiben.

Die Suche nach einer Hardware-basierten neuronalen Architektur stellt eine besonders vielversprechende Richtung dar, indem automatisch Modellarchitekturen entdeckt werden, die für bestimmte Hardwareplattformen und Einschränkungen optimiert sind. Diese Techniken können Designräume erkunden, die weitaus größer sind als die manuelle Iteration es erlaubt, und möglicherweise neuartige Architekturen entdecken, die überlegene Kompromisse bei Genauigkeit und Effizienz erzielen.

Standardisierung und Benchmarking

Zu den kritischen Lücken in der aktuellen Forschung gehören die mangelnde Unterstützung für föderiertes Lernen, die Sicherheit von Over-the-Air-Updates und das Fehlen robuster Benchmarks für TinyDL-Systeme, wobei Bereiche hervorgehoben werden, die Aufmerksamkeit der Gemeinschaft und Standardisierungsbemühungen erfordern.

Standardisierungsbemühungen rund um Modellformate, Bereitstellungs-APIs und Hardware-Schnittstellen können die Fragmentierung reduzieren und die Interoperabilität im gesamten Embedded Machine Learning-Ökosystem verbessern. Industriekonsortien und Open-Source-Initiativen spielen eine wichtige Rolle bei der Entwicklung und Förderung dieser Standards, obwohl die Balance zwischen Standardisierung und Innovation eine ständige Herausforderung bleibt.

Zusammenfassung der wesentlichen Leistungskennzahlen

Das Verständnis und Messen der richtigen Leistungskennzahlen stellt sicher, dass eingebettete maschinelle Lernsysteme ihre Designziele erfüllen und zuverlässig im Einsatz arbeiten. Die folgenden Kennzahlen stellen die wichtigsten Überlegungen für das Embedded-ML-Systemdesign dar:

  • Inferenzzeit: Die Zeit, die benötigt wird, um eine einzelne Eingabe über das Modell zu verarbeiten, ist für Echtzeitanwendungen und die Benutzererfahrung entscheidend. Messungen sollten sowohl die durchschnittliche als auch die Worst-Case-Latenz erfassen, um eine konsistente Leistung zu gewährleisten.
  • Memory Footprint: Der gesamte RAM, der für Modellparameter und Zwischenaktivierungen während der Inferenz benötigt wird. Peak Memory Usage stellt oft die verbindliche Einschränkung für die Bereitstellung auf ressourcenbegrenzten Plattformen dar.
  • Modellgröße: Der Speicherplatz, der für Modellparameter benötigt wird, beeinflusst sowohl die Flash-Speicheranforderungen als auch die Ladezeit des Modells. Komprimierungstechniken können eine 50-fache oder größere Größenreduzierung erreichen, während sie eine akzeptable Genauigkeit beibehalten.
  • Energieverbrauch: Die gesamte benötigte Energie pro Rückschluss, die direkt die Batterielebensdauer für tragbare Geräte bestimmt. Optimierungstechniken können den Energieverbrauch durch Quantisierung und Beschneiden um das Dreifache oder mehr reduzieren.
  • Modellgenauigkeit: Das grundlegende Maß für die Modellleistung bei der Zielaufgabe, das während der Optimierung innerhalb akzeptabler Grenzen erhalten bleiben muss.
  • Durchsatz: Die Anzahl der Rückschlüsse, die pro Zeiteinheit verarbeitet werden können, ist wichtig für Batchverarbeitungsanwendungen und die Planung der Systemkapazität.
  • Power Efficiency: Das Verhältnis von nützlicher Berechnung zum Stromverbrauch, oft in Rückschlüssen pro Joule oder ähnlichen zusammengesetzten Metriken gemessen, die den Genauigkeits-Energie-Kompromiss erfassen.

Checkliste der praktischen Umsetzung

Die erfolgreiche Implementierung von Machine Learning-Modellen in eingebetteten Systemen erfordert eine systematische Aufmerksamkeit für mehrere Design- und Implementierungsüberlegungen.

  • Anforderungen Analyse: Definieren Zielgenauigkeit, Latenz, Stromverbrauch und Kostenbeschränkungen basierend auf Anwendungsanforderungen und Bereitstellungskontext.
  • Hardwareauswahl: Wählen Sie Mikrocontroller oder eingebettete Plattform basierend auf Verarbeitungskapazität, Speicherkapazität, Leistungsbudget und verfügbaren Beschleunigern.
  • Modellarchitektur: Wählen oder entwerfen Sie eine neuronale Netzwerkarchitektur, die für die Komplexität der Aufgaben und Hardwarebeschränkungen geeignet ist, unter Berücksichtigung von leichtgewichtigen Architekturen wie MobileNet oder EfficientNet für ressourcenbegrenzte Plattformen.
  • Trainingsstrategie: Entwickeln Sie einen Trainingsansatz, der Optimierungsüberlegungen beinhaltet, möglicherweise einschließlich quantisierungsbewusster Schulungen oder Architektursuche.
  • Optimierungspipeline: Wenden Sie eine geeignete Kombination von Quantisierungs-, Beschneidungs- und Destillationstechniken an, die auf Bindungsbeschränkungen und Genauigkeitsanforderungen basieren.
  • Validierungstest: Verifizieren Sie die Modellgenauigkeit auf repräsentativen Testdaten und messen Sie Leistungsmetriken auf der Zielhardwareplattform.
  • Deployment Integration: Integrieren Sie das optimierte Modell in die Anwendungsfirmware mit geeigneter Vorverarbeitung, Nachverarbeitung und Fehlerbehandlung.
  • Feldtests: Validieren Sie die Systemleistung unter realistischen Betriebsbedingungen, einschließlich Umweltschwankungen und Randfällen.
  • Überwachung und Wartung: Legen Sie Verfahren zur Überwachung der bereitgestellten Systemleistung und zur Aktualisierung von Modellen fest, wenn sich Anforderungen oder Bedingungen ändern.

Schlussfolgerung

Die Integration von Machine-Learning-Modellen in eingebettete Systeme stellt eine komplexe technische Herausforderung dar, die eine sorgfältige Berücksichtigung von Hardware-Einschränkungen, Optimierungstechniken und Leistungsmetriken erfordert. TinyML verfügt über eine starke Bilanz der Usability in der realen Welt und bietet Vorteile gegenüber Cloud-basierten Inferenzen, insbesondere in Umgebungen mit Bandbreitenbeschränkungen und Anwendungsfällen, die schnelle Reaktionszeiten erfordern, was es zu einer immer wichtigeren Technologie für die Bereitstellung von KI-Fähigkeiten in verschiedenen Anwendungsdomänen macht.

Das Gebiet entwickelt sich rasant weiter, mit wichtigen Trends wie exponentiellem Publikationswachstum, starker internationaler Zusammenarbeit und zukünftigen Richtungen wie nachhaltiger Hardware, föderiertem Lernen und ethischen Rahmenbedingungen, die eine wissenschaftliche Grundlage und eine strategische Roadmap für die Weiterentwicklung skalierbarer, energieeffizienter und datenschutzbewahrender TinyML-Anwendungen bieten.

Erfolg im eingebetteten maschinellen Lernen erfordert einen ganzheitlichen Ansatz, der den gesamten Systemstapel von der Modellarchitektur bis zur Hardwareimplementierung berücksichtigt. Die Modelloptimierung verbindet theoretische Fähigkeiten und praktische Bereitstellung, transformiert rechenintensive Forschungsmodelle in effiziente Systeme, die die Leistung bei gleichzeitiger Einhaltung strenger Einschränkungen für Speicher, Energie, Latenz und Kosten erhalten. Durch die systematische Anwendung der in diesem Artikel beschriebenen Konstruktionsprinzipien, Optimierungstechniken und Validierungsstrategien können Ingenieure erfolgreich ausgeklügelte maschinelle Lernfähigkeiten auf ressourcenbeschränkten eingebetteten Plattformen einsetzen.

Die kontinuierliche Weiterentwicklung der eingebetteten Machine-Learning-Technologien, kombiniert mit der Verbesserung der Hardware-Fähigkeiten und Optimierungstechniken, wird zunehmend anspruchsvollere KI-Anwendungen am Rande ermöglichen. Von der industriellen Automatisierung über die Überwachung des Gesundheitswesens, die Umweltsensorik bis hin zu intelligenter Infrastruktur verändert die Art und Weise, wie wir Intelligenz in der gesamten physischen Welt einsetzen. Weitere Informationen zu maschinellen Lernrahmen finden Sie in der Dokumentation TensorFlow Lite for Microcontroller. Um Edge-Computing-Plattformen zu erkunden, siehe Edge Impulse. Für die akademische Forschung zu TinyML lesen Sie den Artikel ACM Computing Surveys zum Thema Tiny Deep Learning. Zusätzliche Ressourcen zur Optimierung eingebetteter Systeme finden Sie unter Ultralytics und eine umfassende Abdeckung von IoT und Edge AI ist über Internet of Things Journal Publikationen verfügbar.