הקדמה: הקונפורמציה של DSP ו- Machine Learning

עיבוד אותות דיגיטלי (DSP) יוצר את עמוד השדרה של אינספור טכנולוגיות מודרניות - מקודדי אודיו בסמארטפון שלך מערכות מכ"ם בכלי רכב אוטונומיים.באופן מסורתי, מערכות DSP מסתמכות על אלגוריתמים נגזרים מתמטיים (ארבעה יותר משנה, מסננים תגובה אימפולס סופיים, התאמות התאמות) כי הם סטטיים ודורשים כוונון מומחה עבור כל מקרה שימוש בעבר, למידת (ML) התפתחה כאמצעי רב עוצמה, המאפשרים, המאפשרים להזיזו אסטרטגיות נתונים אופטימליות, במקום זאת, במקום זאת, במקום זאת, ונדרשים.

השילוב של ML ל- DSP אינו רק מגמה; הוא מייצג שינוי יסודי כיצד מהנדסים ניגשים ניתוח אותות. במקום לסננים מנייר כדי לדכא רעש, מודלים של ML יכולים להיות מאומן לזהות ולהסיר סוגים מסוימים של רעש.במקום כללים זיהוי דיבור קשה, רשתות עצביות ללמוד את הדפוסים הסטטיסטיים של דיבור אנושי.פרדיגמה המונעת נתונים זו מציעה גמישות חסרת תקדים, במיוחד במקום שבו המאפיינים האותים על פני הזמן או על גבי הזמן הוא מודל מכני של פיזיקה מורכבת מדי.

התקדמות חומרה להאיץ את ההתכנסות הזו. שבבי DSP מודרניים, ערכות שדה-סבירות (FPGAs), ואת מערכת-on-chip (SoC) עכשיו כוללים מאיצים רשת עצביים ייעודיים שיכולים לרוץ ניתוק בזמן אמת עם יישומים מילימטריים-רמה-רמת-צריכת חשמל.זה הופך את זה לפני כן אפשרי לפרוס ML-enhance DSP במכשירים, מאיידס ועד ל-cookic, ללא פתרונות, כלומר, כמו גם שימוש בפתרונות ללא שימוש ב-DSP.

הבנת מכונות למידה ב DSP Systems

בליבתו, למידת המכונה החלת DSP כוללת הכשרה למודל למפות אות קלט (או תכונות הנגזרות ממנו) לפלט הרצוי - בין אם זה תפוקה הוא אות ניקוי, תווית סיווג, או תחזית עתידית.

  • (FLT:0) פלטת חומרים: FLT:1ir זמן-דומיין או נתונים של תדירות-דומיין הוא לעתים קרובות מדי ממד עבור קלט ML ישיר.טכניקות DSP מסורתיות (קיצור זמן קצר ארבעייה הופכת, mel- ⁇ cepstral coefficients, גל מחיקה) משמשים כדי לגוון את האות לתכונות אינפורמטיביות כי מודל ה-ML יכול ביעילות.
  • (FLT:0)Model Architecture:FLT:1 בהתאם למשימה, אדריכלות נע בין מערכי לינאריים פשוטים לרשתות עצביות אבולוציה עמוקות (CNN) לspectrograms, רשתות עצביות חוזרות ונשנות (RNN) עבור נתונים אטומיים, והופכים לתלויים ארוכי טווח.
  • (FLT:0) אי-ההתאמה וההתאמה: FLT:1 פעם מאומנים, המודל פועל על חומרת DSP, ביצוע קדימה עובר בזמן אמת. חלק מהמערכות משלבות גם למידה מקוונת, ומאפשרות למודל לנקז את הפרמטרים שלו ללא התערבות אנושית כמו סביבת האות מתפתחת.

אחת הגישות המוצלחות ביותר היא שילוב של תכונות בעלות יד עם מודלים ML רדודים (למשל, תמיכה מכונות וקטור או יערות אקראיים) למשימות שבהן נתונים מתוייגים בקושי. עבור נתונים גדולים, למידה עמוקה לעתים קרובות מחלחלת שיטות מסורתיות, במיוחד בתחומים מורכבים כמו הפרדה דיבור ודימויים דה-מחדש.התובנות העיקריות הן כי ML אינה תחליף DSP - היא מאפשרת למערכת יחסים לא-להת כדי לטשטשת ולפתח משוואות מידע קשה.

יישומים מרכזיים של ML ב DSP

חידוש רעש ושיפור אודיו

הפחתה חד משמעית היא אחת האפליקציות הבוגרות ביותר של ML ב-DSP. ספקטרום מסורתי ו-Wiener סינון מאבק כאשר רעש אינו יסטריון (למשל רעש התנועה משתנה לאורך שניות) מודלים למידה עמוקה - במיוחד אדריכלות חוזרת ו convolutional - יכול ללמוד מיפוי מרעש רועש לספקטרום נקי.

דיבור Recognition ו- Voice User Interfaces

צינורות זיהוי דיבור השתנו על ידי ML.הגישה המסורתית (הפקעת עופרת + מודלים מוסתרים + דגמי תערובת Gaussian) הוחלפה בעיקר על ידי רשתות עצביות מקצה לקצה (המפה אודיו ישירות לטקסט. Recurrent רשתות עצביות טרנסדוקטורים (RN-Ts) ו-Wav2vec 2.0 להשיג שיעורי Word מתחת ל-5% על דיבור נקי מערכות DSP, אלה, מודלים של זיהוי ו-ידי מכשירי אבטחה לא רק כדי לשמור על ידי מנועי אבטחה, אלא גם על ידי מנועי אבטחה, אלא גם על ידי מנועי אבטחה ו-Apple-S.

שיפור תמונה ועיבוד וידאו

למרות שתמונות הן אותות 2D, עקרונות DSP רבים חלים על פתרונות סופר מבוסס ML משתמשים עמוק CNN כדי לשחזר תמונות ברזולוציה גבוהה מ קלטות ברזולוציה נמוכה, החלת על הקרנלים המדגמים כי אינטגרטיביים bicubic interpolation. Deblurring מודלים של DPUDS ו- DPUEDS יכול להסיר מטושטש מ- 30% מעקב (למשל, פילטרים, , , סימולציה של ® , שימוש ב-HPTDPUDEXDEXDPUDECTS) ו-DPUDPUDECT , שימוש יותר ויותר על ידי מצלמות הדמיה נפוצים, שימוש במצלמות הדמיה מטושטשת, מטושטשת, מטושטשת, מטושטשת, 000 מטושטשת, 000 מטושטשת, 000 , 000 , 000 ⁇ ⁇ , 000 ⁇ ⁇ , 000 , 000 , 000 , 000 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

גילוי אוטומטי ב-חיישנים

חיישני IoT תעשייתיים מייצרים זרמים של רטט, טמפרטורה וסימנים של לחץ.מודלים של ML, לעתים קרובות autoencoders עם שגיאות שחזור כמדד, יכול לזהות omalies כי deviate מתבניות רגילות של למידה.לדוגמה, יצרן ניטור נושאות מנוע עשוי להכשיר זיהוי אוטומטי LSTM LSTM s על נתונים בריאים; כאשר נושאת גורם שינוי אופייני, השגיאה שחזור, מעורר גישה תחזוקה הרבה יותר מקודמת אבטחה זה יכול גם כן שיטות אבטחה מופעלות על ידי DSP.

פילטר ושוויון

מסננים מותאמים קלאסית (LMS, RLS) לעדכן את האפקטיביות כדי למזער את השגיאה בסביבה המשתנה, אבל הם מתאחדים לאט ונאבק עם עיוותים לא ליניאריים. ML מבוסס מסננים הסתגלות להחליף את הכלל ליניארי עם רשת עצבית קטנה לומדת את המיפוי האופטימלי לא ליניארי בין קלט לבין פלט הרצוי.בביטול לינארי, מודל למידה עמוק מדכא את הד ורעש, שיפור ביצועים מלאים בתדירות של 5.

המונחים: Source Localization

עיבוד אריות - באמצעות מיקרופוןים מרובים או אנאנטנות - באופן מסורתי מסתמכ על אלגוריתמים מדומים כמו עיכוב-and-sum או MVDR. ML מודלים יכולים ללמוד את הגיאומטריה ואת התכונות האקוסטיות של הסביבה כדי לבצע הפרדה ממקור עיוור וכיוון של estimation של arrival. לדוגמה, רשת עצבית convolutional מאומנת על תגובות אימפולס מסימולציה חדר יכול להתאים מספר רמקולים בחדש עם דיוקים וטכניקות אלה הם ויזואליות.

עיבוד אותות biometric Signal

ECG, EEG, ו- PPG אותות הם רועשים מטבעם ומשתנים על פני אנשים. ML מודלים, במיוחד רשתות אבולוציה וחדשניות, יכול לחלץ תכונות מפלה לזיהוי אדם, זיהוי רגשות, או זיהוי התקפים. ב- DSP ביו-רפואי, ML משמש לסנן חפצים מהנתונים החיישן לבישולים בזמן אמת, המאפשר מעקב מתמשך ללא רטובציה תכופה של ה- FDA אישר מספר בדיקות רגישות ל-MLG.

יתרונות טכניים של Integrating ML לתוך DSP

בעוד DSP המסורתית מציעה פתרונות אלגנטיים מתמטיים, ML מביא מספר יתרונות ייחודיים המצדיקים את המורכבות הנוספת:

  • (FLT:0) עיבוד לא-לינארי: 1FLT) אותות טבעיים ביותר כוללים יחסים לא ליניאריים (למשל, אקוסטיקה בחדר, רקמות ביולוגיות) מודלים של ML יכולים להיות בעלי תפקודים שרירותיים לא ליניארים, המאפשרים להם להתמודד עם תופעות שפילטרים ליניאריים לא יכולים להיות מודל.
  • (FLT:0) Data-Driven Fitability:FLT:1 במקום מהנדסים להתאים באופן ידני פרמטרים כאשר התנאים משתנים, מודלים ML ניתן לפטור נתונים חדשים - או אפילו להסתגל בזמן אמת - כדי לשמור על ביצועים אופטימליים על פני סביבות מגוונות.
  • (FLT:0) הטמעה סופית: ההרחבה DSP הקלאסית דורשת שלבים דיסקרטיים (הפחתה, מיצוי תכונה, סיווג) כל אחד מהם מותאם בנפרד. ML יכול לייעל את כל שרשרת, לעתים קרובות מניב דיוק קצה עד קצה מעולה.
  • (FLT:0) רגישות עם נתונים:FLT:1 כפי שהנתונים מתוייגים יותר או לא מחוסנים הופכים זמינים, ביצועי ML נוטים לשפר, בעוד אלגוריתמים מסורתיים פגעו ברמת הביצועים אלא אם כן מתבצעים תיקונים ידניים.
  • (FLT:0) ,Reduced Runtime מומחיות: 1FreaLT 1) פעם לאומן, מודל ML יכול לקבל החלטות הדורשות מומחה אנושי לעצב כללים - כגון הבחנה בין דופק רגיל לבין נטייה מוקדמת במנוע שלבעירה פנימית.

יתרונות אלה משכנעים במיוחד ביישומים שבהם תנאי האות הם משתנים מאוד, כגון תקשורת סלולרית, מכשירים רפואיים לבישים וניווט אוטונומי.

אתגרים ואסטרטגיות מייגציה

מינוף ML ל-DSP אינו ללא מכשולים.האתגרים הדוחקים ביותר והפתרונות הנוכחיים כוללים:

מורכבות הדדית ו Latency

רשתות עצביות דורשות מיליוני פעולות מרובות-אקוממות להקצות.על חומרה DSP המוגבלת של משאבים (למשל, מיקרו-בקר בעל כוח נמוך), הפעלת רשת CNN מלאה יכולה לעלות על תקציב מקביל זמין, מה שגורם לעקביות בלתי-מקובלת (FLT:0Model Techniques) ב- Macvidal דחיסה של DLT:1, כגון pruning, קוונטיזציה (הפחתה של 8 סיביות ב-Neter) ו-75 מיליון דיוקים, 3.

דרישות למידה

(המודלים של ML צריכים נתונים גדולים, מתוייגים לעתים קרובות יקרים וזמניים כדי לאסוף, במיוחד עבור אירועי אות נדירים (למשל, חתימות של ציוד) (FLT:0TransferTransferigtureFLT:1 ו- (FLT:2syntic Data Generation) של נתונים על גבי נתונים קטנים (FLT 3) יכול ליצור אותות מדויקים (D) רק על גבי כמות מסוימת של נתונים של 4.

חוסר יכולת ואמון

מהנדסי DSP רגילים לסינון, פילטרים אנאליים.מודלים של ML, במיוחד רשתות עמוקות, הם לעתים קרובות ארגזים שחורים.בתחומים קריטיים בטיחותיים כמו מכשירים רפואיים או נהיגה אוטונומית, הסברה היא חיונית.טכניקות כגון:0SHAPREFLT:1 או FLT:2attention MapsFLT 3 יכול לחשוף אילו חלקים של מודל קלט מושפע כמו תקן דינמי, לעומת זאת, מאפשר שילוב של אימות של דינמי, לעומת זאת, לעומת זאת, לעומת זאת, לעומת זאת, באמצעות תחליפית של תחליפית גישה לחיקוי.

הסתגלות בזמן אמת ולמידה מקוונת

(הדגשה על ML במערכת שצריכה ללמוד ללא כל הפסק ללא הפרעה בשירות (למשל, מערכת ביטול רעש שמתאימה לסביבה המשתנה של המשתמש) דורשת תכנון זהיר.FLT:0Continual LearningFLT:1:1, כגון עצירות במשקל גמיש, למנוע הפחתה קטסטרופלית תוך עדכון פרמטרים של מודל באופן מצטבר, כמו:0Continual LearningFLT2: שכחתי דוגמאות חדשות (Lepting) ללא LT) באמצעות מודלים חדשים של למידה, תוך כדי שמירה על ידי שימוש בדוגמאות קודמות בלבד, תוך כדי LT (Liping מודלים חדשים (Lip) ללא שימוש בדוגמה)

כיוונים עתידיים

איגוד ה-ML וה-DSP יעמיק ככל שהחומרה והאלגוריתמים מתפתחים.כמה מגמות מצביעות על הדרך קדימה:

  • (FLT:0)Neuromorphic מחשוב: צ'יפס 1 , כגון Loihi 2 של אינטל ו- IBM של השימוש בצפון אמיתי ברשתות עצביות שמעבדות אותות זמניים באופן מונחי אירוע, חיקוי נוירונים ביולוגיים.זה יכול להפחית את צריכת החשמל לעיבוד אודיו על ידי פקודות גודל, המאפשרות ממשקי קול תמיד על כי לא צריך להתעורר את המעבד הראשי.
  • (FLT:0) על-Device Training:FLT:1hil, כיום, רוב דגמי ה-ML מאומנת בענן ומופצים למכשירים.עתיד שבבי DSP יתמכו בהכנת גב בזמן אמת, מה שיאפשר למערכת ללמוד מהנתונים המקומיים מבלי לשלוח אותו לשום מקום.זה קריטי ליישומים רגישים לפרטיות כמו מכשירי שמיעה שמתאימים לפרופיל השמיעה הייחודי של כל משתמש.
  • (FLT:0)Hybrid DSP / ML אדריכלות:03: ⁇ FLT 1 במקום רשתות עצביות טהורות מקצה לקצה, מעצבים משלבים בלוקים DSP מסורתיים (למשל, מסננים הקדמיים, STFT) עם רשתות עצביות קטנות ומומחיות עבור תיקונים לא לינאריים. גישה היברידית זו מממנת את היעילות של DSP ואת יכולת ה-ML לדוגמה, STF2NET עם שימוש קבוע ב-CLC עם CLT2N.
  • (FLT:06G Communications:FLT:1 הדור הבא של מערכות אלחוטיות ידרוש ML בכל שכבה - מדירוג ערוצים ומדמדורג בחזית הרדיו כדי להתאים את המודולציה ואת המקור coding בפס הבסיס.רשת Open Radio Access (O-RAN) ספקטרום כבר spectium מבוסס ML-Time-real-Time , חכם (RAN) כי אופטימיזציה של יעילות רדיו פתוחה (O-RAN) ספקטרום).
  • (FLT:0) מערכות אוטונומיות: FLT:1 נהיגה עצמית מכוניות, מל"טים ורובוטים מסתמכים על היתוך חיישן ממצלמות, LiDAR, מכ"ם ומיקרופוןs. DSP עם ML יהיה חיוני עבור זרמי נתונים heterogeneous ב בזמן אמת, זיהוי מכשולים, וחיזוי ההתנהגות של סוכנים אחרים.

כמו מודלים של ML להפוך יעיל יותר חומרת DSP מסוגל יותר, הגבול בין שני התחומים מטושטש.מהנדסים אשר מבינים הן בסיסי עיבוד אותות ולמידה מכונה יהיה ממוקם הטוב ביותר לעצב את הדור הבא של מערכות חכמות, בזמן אמת.

מסקנה

למידת מכונות אינה מחליפה עיבוד אותות דיגיטליים - היא מבססת אותו.על ידי שימוש במערכות DSP עם יכולות למידה מונעות נתונים, מהנדסים יכולים לפתור בעיות שהיו בעבר בלתי-מחושות עם אלגוריתמים קבועים בלבד.מ ביטול רעש ועד ל- beamforming, זיהוי אנומלי לשיפור תמונה, ML מאפשר DSP להתאים, ללמוד, ולייעל בזמן אמת.

(ב) לקריאה נוספת על הפרטים הטכניים, ראה:0 (הדברים המיוחדים של מגזין עיבוד אותות) על Deep LearningveFLT:1 ו-FLT:2NVIDIA מדריכי מפתח עבור קצה AIFLT 3: יישום מעשי מכסה בפלטפורמות קוד פתוח של FLT:4 פתוח-sourcekits כמו Auda עם תוסףsliph:5 ו-FLT 7.