התפקיד הרחב של Machine Learning in Embedded IoT

מכשירים אלה של דברים (IoT) עברו הרבה מעבר לגלווגים פשוטים של נתונים וממריצים מרוחקים.היום, מערכות קומפקטיות אלה פרוסות בכל דבר ממוניטורים רפואיים עונדים לחיישנים לתדחות תעשייתיים ונקודות חקלאיות חכמות.הקפיצה הבאה ביכולתם אינה במעבדים גדולים יותר או יותר זיכרון, אלא באופטימיזציה של טכנולוגיות הפעלה (ML) יכולות להפוך אלגוריתמים סטטיים, מכשירים המבוססים על בסיס כללים במערכות מרשימות, אשר מכוונות לאסטרטגיות יעילות, ולת, לאופטימיזציה של שימוש, לשיטות יעילות ביותר, ולשיפור יעיל ביותר, לשיטות עיבוד מידע, לשיטות יעילות, אך בטכניקות של שימוש, אך בטכניקות עיבוד מידע, אך בטכניקות יעילות ביותר, אך בטכניקות יעילות ביותר, אך באינטליגנציה.

הבנת הנוף ה-IoT

(התקני IoT המוטבעים הם מערכות מחשוב מיוחדות שנבנו סביב מיקרובקרים (MCUs) או מיקרו-מעבדים בעלי כוח נמוך.הם בדרך כלל תכונה RAM מוגבל (לעתים 16 KB עד 512 KB), אחסון פלאש (128 KB ל-4 MB), ו CPUs לרוץ ב -10 עד מאות מגה-הרץ באופן ישיר, רוב מסתמכים על כוח סוללה או קציר אנרגיה, מה שהופך כל מילימטר מסורתי יקר כדי לחשוב על סוללות, כלומר, כלומר, למגבלות אבטחה, כלומר, בעיקר על פני כדור הארץ, כלומר, כלומר, כלומר, כלומר, כלומר, בעיקר על פני כדור הארץ, כלומר, כלומר, בעיקר על פני כדור הארץ, בעיקר על פני כדור הארץ, כלומר, בעיקר על מנת למנוע בעיות רוחב פסטהורנטיבות, בעיקר על פני כדור הארץ, כלומר, כלומר, כלומר, בעיקר על פני כדור הארץ, בעיקר על מנת למנוע בעיות רוחב פסטהורנטיבות באופן שונה.

למה ללמוד על הצוק?

אלגוריתמים של ML באופן מקומי במכשיר מוטבע מציעים מספר יתרונות מכריעים.קודם, זה מבטל את החדירה העגולה לשרת מרוחק, המאפשר תגובות בזמן אמת ליישומים קריטיים כמו הימנעות מהתנגשות או התראות רפואיות.שני, זה מקטין את צריכת רוחב הפס של רשת, אשר חיוני עבור מכשירים לשלוח נתונים על רשתות נמוכות עוצמה גבוהה (LPs).

אזורי יישומים מרכזיים עבור On-Device ML

  • (FLT:0) תחזוקה מוקדמת: 1FLT 1 Analyze רטט, טמפרטורה וחתימות אקוסטיות כדי לזהות את ההידרדרות בציוד לפני כישלון.
  • (FLT:0) זיהוי אנומלי במערכות אבטחה:FreaLT:1) לזהות דפוסים יוצאי דופן בתנועת רשת, יומני גישה או קריאה של חיישן פיזי מבלי לשלוח נתונים גולמיים לשרת מרכזי.
  • (ב) ⁇ :0) קול ו מילת מפתח המצביעים: FLT:1, הפעלות מילים על חיישנים חכמים ולבושות עם מינימום של כוח.
  • (FLT:0)Gesture and Activityהכרה:FLT:1) Interpret accelerometer או gyroscope נתונים עבור ממשקי משתמש קומביציה.
  • (FLT:0) בדיקה אלימה בקצה: FIRLT:1 , הפעל רשתות עצביות מבוכות קלות משקל (CNN) במכשירים המצויים במצלמה כדי לסווג פגמים או לזהות חפצים.

בחירת מכונות נכונות למידה אלגוריתמים

לא כל אלגוריתם ML מתאים למכשירים מאומנים.זרימת העבודה הטיפוסית כוללת הכשרה למודל בשרתים חזקים, ואז דחוס אותו כדי להתאים לקילוייט של זיכרון.משפחות האלגוריתם הפופולריות ביותר עבור IoT משובצ כוללים:

עץ החלטות וזרמים

עצי ההחלטות הם מפרשים ודורשים הצצה חישובית מינימלית עבור ההפרעה.מבנה שלהם יכול להיות מומר לתוך סדרה של הצהרות אם-אז-לס, מה שהופך אותם יעילים מאוד על MCUs. יערות אקראיים משלבים עצים מרובים לדיוק טוב יותר אבל להגדיל את השימוש בזיכרון.הם מצטיינים במשימות סיווג עם נתוני חיישן הכרטיסייה, כגון זיהוי תקלות בממריצים.

מכונות וטרינריות (SVMs)

SVMs יעילים עבור נתונים קטנים בגודל בינוני לייצר מודלים קומפקטיים בעת שימוש הקרנלים ליניאריים.צעד ההפרעה כרוך במוצר פשוט dot, אשר הוא משקל חישובי. SVMs משמשים נרחב עבור זיהוי ומשימות סיווג בינארי ב-IoT, כגון הבחנה פעולה נורמלית מכישלונות.

רשתות ערפיליות מהפכתיות (CNN)

CNN הם עבודת התמונה, אודיו וניתוח של זמן. עבור מכשירים משובצים, אדריכלים חייבים להשתמש בקונפורמצייתים מפוארים (כמו MobileNetV1/V2) כדי להפחית באופן דרסטי את ספירות הפרמטרים. pruning ו-Vinchizing עוד יותר לכווץ את המודל תוך שמירה על דיוק. מסגרות מזעריות כמו TensorFlow Lite עבור מיקרובקרים ו- Edgeulse לספק אופטימיזציה של יישום.

רשתות נילי חוזרות ונשנות (RNNs) ו-LSTMs

עבור נתונים אפשריים כגון קריאה טמפרטורה לאורך זמן או אותות דיבור, RNNs ו Long Short-Term Memory (LSTM) רשתות ללכוד תלות זמנית.עם זאת, המבנה הבלתי מסולם שלהם יכול להיות זיכרון-רגיש. חלופות כמו 1D CNN או מודלים מבוססי Transformer (למשל, ⁇ ) הם מתעוררים כפתרונות יעילים יותר עבור רצף.

Autoencoders for Unsupervised Anomaly Detection

Autoencoders לומד לשחזר דפוסי חיישן רגילים.כאשר קלט חדש מתפוגג באופן משמעותי מהשחזור, זה מציין anomaly.מודלים אלה שימושיים במיוחד כאשר נתונים מתוייגים הוא בקושי.מבנה קודר יכול להיות מוברח ו הקוונטי עבור פריסת MCU.

טכניקות אופטימיזציה עבור מכשירים במימון משאבים

חלוקת רשת עצבית מלאה על MCU פשוט לעתים רחוקות ניתן להשגה.כמה טכניקות דחיסה מודל הפכו סטנדרטיות ב- TinyML Toolkit:

משקל Pruning

הסרת משקולות אדומות או נמוך-מכירות ממודל מאומן.לא מאורגן runing יכול להפחית את גודל המודל על ידי 50 – 90% אבל עשוי לדרוש חומרה מיוחדת עבור מהירות. pruning, אשר מסיר נוירונים שלמים או ערוצים, מספק ביצועים ישירים על MCUs מטרות כלליות.

המונחים

Quantization מפחית את הדיוק המספרי של משקל מודל והפעלה. המרת ערכים צף 32 סיביות עד 8 סיביות Integers (INT8) חותך את טביעת הרגל הזיכרון על ידי 4x ולעתים קרובות מאיצה את ההיקף על MCUs עם יחידות integer ⁇ . Post-training קוונטיזציה היא הגישה הפשוטה ביותר, בעוד אימון קוהייט (QAT) בדרך כלל מחלים דיוק גבוה יותר עבור רוחב נמוך מאוד, מעט).

ידע דיקיציה

בהבחנה של ידע, קומפקטי &dquo; מודל הוא מאומנים לחקות את הפלטים של גדול יותר, מדויק יותר &dquo; מורה ” מודל. התלמיד לומד לשחזר את המורה ’ s רכך הסתברות הפצה, השגת דיוק גבוה יותר מאשר הכשרה המודל הקטן ישירות על התווית המקורית.

מודל אדריכלות חיפוש (NAS)

אדריכלות נילי מחפשת אוטומטי את העיצוב של מודלים יעילים על ידי חקר שינויים בין דיוק, גודל, ו latency. פלטפורמה כמו Edge Impulse ו TensorFlow Model Optimization Toolkit כוללים יכולות NAS לייצר ארכיטקטורות מותאמות אישית ל- MCUs ספציפיים.

אופטימיזציה של Compiler-Levelations

מסגרות כמו TensorFlow Lite עבור Microcontrollers ו ARM ’s CMSIS-N ליישם אופטימיזציה של לינל עבור ארכיטקטורות MCU משותף (ARMx-M, RISC-V) אלה כוללים לולאה ללא רישום, בליינוס, ו- SIMDization שבו זמין.שימוש אלה kernבות אופטימיזציה יכול להפחית את הזמן על ידי 30 ו- 60 אחוזים; ללא שינויים.

שיקולים קשיחים ואזהרות

בעוד משימות ML רבות ניתנות ל- MCUs גנרי, מאיצים חומרה ייעודיים משפרים באופן דרמטי את הביצועים ואת יעילות האנרגיה.

  • (FLT:0)Us עם יחידות עיבוד עצביות בנויות (NPUs): FLT:1 לדוגמה, הזרוע אתוס-U55 ו-Sanoopsys DesignWare ARCX מספק האצה חומרה עבור multiplication ממטריקס ו convolution.
  • (FLT:0)Field-programmable Gates (FPGAs): FPGAs יכול להיות מוגדר כדי ליישם צינורות מותאמים אישית עבור נחיתות נמוכה, כוח נמוך הקצינה.
  • (FLT:0)Low-power AI מאיצים: ראשי תיבות של: 1 צ'יפס כמו Google Coral Edge TPU, Intel Movidius, ו- Hailo-8 מציעים גבוה דרך עבור CNN בתקציבי חשמל תחת 2 W, מה שהופך אותם מתאימים למכשירים מופעלים סוללות עם מצלמות או חיישנים מרובים.
  • (FLT:0)Ultra-low-power microcontrollers:FLT ( 1:1 הדור החדש של MCUs (למשל, Ambiq אפולו4, STM32U5) כולל מצבי שינה מתקדמים ויחידות צף יעילות, המאפשר ביצוע ישיר של מודלים קוונטיים קטנים.

בעת בחירת חומרה, לשקול את צינור קצה מקצה לקצה: רכישת נתונים, עיבוד מראש (למשל, FFT עבור אודיו), הקצינה, ולאחר עיבוד. לעקוף עותקים מיותרים של זיכרון ושימוש ב- DMA עבור נתונים חיישן יכול להפחית באופן משמעותי את הסבלנות ואת צריכת החשמל.

מידע על צנרת מידע ולמידה רציפה

מכשיר מוטבע ML הוא רק טוב כמו נתוני האימון שלו.בייצור, צינור הנתונים בדרך כלל כרוך:

  1. (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  2. (FLT:0)ניהול או גישות למחצה על-ידי ההרחבה 1 (FLT:1) ללמידה מבוקרת, שיכולה להיות הצעד היקר ביותר. Active Learning, שבו המודל בוחר דגימות לא בטוחות עבור התווית, יכול להפחית את המאמץ.
  3. (FLT:0) על-דרון או אימון בענן 1 (FLT:1) של המודל הראשוני.רוב הגרלות העבודה של TinyML להכשיר את המודל מחוץ לדלפק, ולאחר מכן לפרוס גרף קפוא.
  4. (FLT:0) אי-ההתאמה והמודל סחף גילויים של LT:1) עם הזמן.הסחף מושג מתרחש כאשר ההפצה של נתוני חיישן משתנה (למשל, בשל השפעות עונתיות או ההזדקנות של חיישן).

עבור מכשירים שנותרו בתחום במשך שנים, FLT:0on-device incremental LearningcioFLT:1 הוא אזור מחקר פעיל. גישות כמו עצירות משקל אלסטי (EWC) ו- buffers מחדש לאפשר מודל להסתגל לדפוסים חדשים ללא שכחה קטסטרופלית של התנהגויות שנעשו בעבר.

אתגרים ביטחוניים ופרטיות

Embedd ML מציג וקטורים חדשים של אבטחה.תוקפים עשויים לנסות לחלץ ארכיטקטורת מודל או להכשיר נתונים מהמכשיר (גניבת מודל), או שוטים את המודל עם קלטות יריבות (למשל, הצבת מקל על שלט להפסיק לגרום להתאמה לא נכונה).

  • (ב) ,0) , 000 , 000 , 000 , 000 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ,0) ,התאמת ועיבוד ה- 1 (ב) אשר מסירים את ההפוכות המנוגדות לפני שהם מגיעים לדגם.
  • (FLT:0) פרטיות משמעותית (FLT) 1 במהלך אימון כדי להגביל את כמות המידע שכל חיישן יחיד קורא מראה על משתמש.
  • (FLT:0) סודיות יתר על המידה של האוויר (טא) עדכונים של דגם 1:1 עבור עדכוני מודל, חתום עם מפתחות קריפטוגרפיים כדי למנוע תחליף זדוני.

אמצעים אלה הם קריטיים במיוחד ב-IoT רפואי, אבטחה ביתית חכמה ויישומים של כלי רכב, שבהם החלטות הקצוב יש רמות גבוהות.

מחקרים בנושא ייצור Deployment

תחזוקה מבוססת חיזוי

יצרנית המשאבה התעשייתית הקימה מיקרו-בקר STM32L4 עם Accelerometer 3-axis. הם אימנו 1D CNN כדי לסווג ארבעה תנאים תפעוליים: נורמלי, חוסר איזון, אשמה, ו cavitation.המודל זוהה על ידי 60% ונוכחים ל- 8 סיביות, מתאים ב-48 מיליארד דולר של הבזק פועל כל 10 שניות, רק 1.5 מ"ג' ל-J שולחת את האפשרות להפחית את השימוש ב- 30 אלף דולר, לעומת שימוש ב- HIV.

שם הסרטון: Voice-Controlled Wearables

יצרנית סיוע שמיעה שילבה מודל מיקרו אלקטרוני TensorFlow Lite Micro כדי לבצע מילת מפתח (למשל, “louder, ” “quiet, ” “ Next ”) על חומר אולטרה-נמוך קורטקס-M4U. הדגם, עומק, עם 24,000 משתמשים ב-xer, תוך כדי תיקון, תוך שמירה על פני מכשיר אודיו באופן קבוע, תוך כדי טיפול ב- 100.

כיוונים עתידיים ומגמות מתפתחות

הצומת של ML ו-IoT מוטבע מתפתח במהירות.כמה מגמות יעצבו את הדור הבא של מכשירים חכמים:

  • (FLT:0) למידה מואצת בקצה:FreaLT:1 במקום לאסוף את כל הנתונים לשרת מרכזי, מודלים מאומנים בשיתוף פעולה על מכשירים רבים, כל אחד מהם שומר על הנתונים המקומיים שלו פרטי.
  • (FLT:0 חיישנים מבוססי קונסטנטין רשתות עצביות (SNNs): irph 1 חומרה נוירומורפית, כגון אינטל ’s Loihi 2, מחקה רשתות עצביות ביולוגיות, המאפשרות כוח אולטרה-נמוך, אידיאלי חישובי סינכרוני עבור חיישניים תמיד.
  • (FLT:0) חברות פיתוח ליבות RISC-V מותאם אישית עם הרחבות ML, ומאפשרות למפתחים להתאים את ההוראה שנקבעה לעומס העבודה הספציפי שלהם, להשגת יעילות סדר של מודעות.
  • (FLT:0) דחיסה של דחיסה במהלך אימון:FIRLT:1 טכניקות כמו One-shot NAS ושיתוף משקל מאפשר להכשיר סופר-נטנסיבי אחד שניתן להתאים למטרות חומרה שונות ללא אימון.

להתחיל עם Embedded ML

עבור מפתחים המעוניינים להתנסות, מספר פלטפורמות מורידות את המחסום לכניסת:

  • (FLT:0) ensorFlow Lite עבור MicrocontrollerssFLT ( 1:1) מספק התייחסות מודלים רצופים מראש מוגבל עבור משימות נפוצות כמו זיהוי מילות מפתח וזיהוי אדם.
  • (FLT:0) אימפולסיבית (FLT:1), מציע צינור קצה מקצה לקצה מאוסף נתונים לפריסה, כולל בדיקות היפר-פרפרמטר אוטומטיות ובדיקות על-ידרון.
  • (FLT:0) פתח MVoriFLT:1 מספק לוח מיקרופיון עם מצלמה האצת ML, אידיאלי עבור יישומי IoT מבוססי חזון.
  • (FLT:0Arduino Nicla VoiceFLT:1rea) משלב ביצועים גבוהים STM32 MCU עם מעבד החלטות עצבי מותאם אישית, המאפשר זיהוי קולי ותנועה בכוח מילימטר.

התחל עם משימה למידה פשוטה בפיקוח כגון סיווג בינארי של אירועי חיישן, ולאחר מכן להוסיף בהדרגה מורכבות. להתמקד באיסוף נתונים איכותיים, נציג הסביבה הפריסה מוקדם הפרויקט, כמו איכות נתונים לעתים קרובות עולה על אפשרויות אדריכלות המודל בתחום המוטבע.

מסקנה

למידת מכונה אינה חזון רחוק עבור IoT & mdash; זוהי מציאות מעשית.עם בחירת אלגוריתם זהירה, דחיסה מודל ואופטימיזציה חומרה-מודע, אפילו המיקרובקר הקטן ביותר יכול לרוץ צינורות הקצינה מתוחכמת.התוצאה היא שיעור של מכשירים אשר לומדים, להסתגל ולפעול באופן אוטונומי, שיפור כל דבר מיעילות אנרגיה לתחזוקה חיזוי.

מקורות נוספים (בתרגום חופשי:0)

  • (ב) [13] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ,0) ,Edge Impulse פלטפורמה 1 ונדיש; End-to-end TinyML פלטפורמה עם שכבה חופשית עבור prototyping.
  • (FLT:0) "TinyML: A Systematic Review ו-Synthesis of Existing Research" (arXiv 2020)FLT:1 – סקר מקיף של אלגוריתמים, טכניקות אופטימיזציה וחומרה עבור קצה ML.
  • (FLT:0)Arm AI בבלוג EdgeFLT:1; Insights on neural networkאופטימיזציה for Cortex-M מעבדים.
  • (ב) ←0.NXP חכם Edgeigture BlogFLT:1 – דוגמאות מעשיות של ML על MCUs עבור עסקים תעשייתיים וצרכנים IoT.