התפקיד הקריטי של מעבדי אותות דיגיטליים במציאות מועצמת

מציאות מוגברת (AR) עברה מהרעיון עתידני לכלי מעשי המשמש במשחקים, תחזוקה תעשייתית, בריאות וקמעונאית. תערובת חלקה של תוכן דיגיטלי עם העולם הפיזי דורש מהירות חישובית יוצאת דופן ויעילות. בעוד CPUs ו GPUs לעתים קרובות לגנוב את הזרקור, מעבד אותות אותות אותות דיגיטליים (DSP) מטפל בשקט את המריבה הכבדה עושה חוויות AR, אנרגיה תגובתית, ואופטיקה הם אותות משכנעים של זמן אמיתי, כמו מעבדים, כמו מעבדים, כמו מעבדים מאובטחים, כמו מעבדים, 000 זמן אמת, עם דיוק אמיתי, ואפקטים, כמו מעבדים, ואפקטים, כמו מעבדים, 000 אמיתי, כמו מעבדים, 000 אמיתי, כמו מעבדים, 000, 000 אמיתי, 000, 000, 000 זמן אמת, עם ויזואליים, ללא ספק, 000, 000 זמן אמת, ללא ספק, 000 יעיל, 000, 000, 000, 000 יעיל, 000 יעיל, ללא ספק, ללא ספק, ללא ספק, דידקנות, ללא ספק, 000, 000 יעיל, 000 זמן אמת, 000 יעיל, 000, ללא ספק, ללא ספק, 000, 000, 000, 000 זמן בטוח, 000 זמן בטוח, 000 זמן בטוח, 000 זמן, 000 זמן אמת, 000 זמן

המונחים: Digital Signal Processors

מעבד אותות דיגיטליים הוא סוג של מיקרו-מעבד המיועד במיוחד לביצוע פעולות מתמטיות מהירות גבוהה על אותות דיגיטציה.בניגוד CPUs למטרות כלליות, אשר מותאם למגוון רחב של משימות עם לוגיקה שליטה מותנית ומורכבת, DSPs להשתמש בארכיטקטורה הרווארד או אדריכלות שונה הרווארד כי מפרידה הוראה ונתונים, המאפשר גישה מקבילה.

הבדלים ארכיטקטוניים מרכזיים מ-CPUs ו- GPUs

  • (FLT:0) ,Instruction Sets:FLT:1 DSPs כוללים הוראות MAC מחזור יחיד, טיפול מעט רציני עבור FFT, ו- Zero-overheading. CPUs דורש מחזורים מרובים עבור פעולות דומות.
  • (FLT:0) Dataסטרימינג:BuildFLT:1 , DSPs בנויים עבור זרמי נתונים רצופים (דוגמיותaudio, מסגרות וידאו, צילומי חיישן) ולא דפוסים גישה אקראיים נפוצים ב- CPUs.
  • (FLT:0)Power Efficiency:FLT:103) בלוקים חומרה ייעודיים ב DSPs צורכים הרבה פחות אנרגיה לפעולה מאשר CPU למטרות כלליות המבצעת את אותה משימה.זה הופך אותם אידיאליים עבור ראשי AR מופעלים סוללות וסמארטפונים.
  • (FLT:0) Latency:FreaLT:1) DSPs מציעים זמני ביצוע צפויים, חיוני עבור יישומי AR בזמן אמת שבו עיכוב של כמה אלפי שניות יכול לשבור סיבולת או לגרום למחלות תנועה.

כללי מטרות GPUs להצטיין במקביל , אבל הם פחות יעילים עבור ה- quential, נמוך היתוך חיישן היתוך ועבודות עיבוד אודיו כי DSPs להתמודד עם Natively. מערכות AR מודרני להשתמש בגישה מחשוב heterogeneous: CPUs לנהל לוגיקה יישום וקישוריות, GPUs להתמודד עם 3D שכפול, ו DSPs להאיץ עיבוד אותות צינורות נתונים.

היסטוריה קצרה של DSPs ב- Consumer Electronics

DSPs כבר מוטבעת במוצרי הצריכה מאז שנות ה-80, החל מ מודמים קול וסינתזה דיבור מוקדם. בשנות ה-90, DSPs הפך חיוני בשחקנים CD, מכונות מענה דיגיטלי, וטלפונים אוזניות רעש-יכולות.The 2000s ראו אותם משולבים בבסיסי טלפון ניידים ומעבדי אותות מצלמה (ISPs היום), כל מכשיר חכם מכיל מספר רב של DSP: אחת עבור מערכת אודיו, לעתים קרובות, עבור פלטפורמת אבטחה אחת, רכזת חשמל משולבת, ומצלמה אחת, יש להתקף, אחד, יש צורך ב-DSP.

כיצד DSPs מאפשר לתפקודי מציאות מוגברת

מערכות AR דורשות עיבוד בו זמנית של מוצרי מצלמות, יחידות מדידה לא רצויות (IMUs), חיישני עומק, מיקרופון ופלט תצוגה. DSPs ממוקמים אסטרטגית צינור הנתונים כדי להפחית את הגמישות ואת עומס העבודה ממעבד היישום הראשי.

עיבוד בזמן אמת ווידאו

הנקה של המצלמה היא הבסיס של רוב חוויות AR. DSPs להאיץ כמה שלבים קריטיים עיבוד תמונה:

  • (FLT:0) זיהוי ועקביות: אלגוריתם 1 (Algorithms כגון SIFT, ORB, או Aruco סימון זיהוי מסתמכ על מהפכות, חישובים ⁇ , וגילוי פינה. DSPs compute פעולות אלה ברמה פיקסל בקצב ללא פיזור ה-CPU.
  • (FLT:0)Plane Detection: 1FLT כדי להציב אובייקטים וירטואליים על רצפות או שולחנות, המערכת חייבת לזהות משטחים של פלאר.זה כרוך בהערכה עמוקה (מסטריאו, ToF, או LiDAR), זיהוי קצה ו- RANSAC מתאים - כל המשימות המתאימות היטב צינורות DSP.
  • (FLT:0) תיקון קידוד וייצוב תמונה אלקטרונית דורש פיזור לכל פיקסל.DSPs להתמודד עם אלה בחומרה, שמירה על נטיות נמוכה עבור עיכוב AR ללא ג'טר.
  • (FLT:0)Optical ו- Visual Inertial Odometry (VIO): FLT:1 משלב תכונות מצלמה עם נתונים IMU כדי לעקוב אחר מיקום המכשיר בחלל 3D דורש היתוך בתדירות גבוהה.DSPs ליישם חלק של צינור VIO, צמצום העומס הניח על המעבד הראשי ומאפשר מעקב מדויק אפילו במהלך תנועה מהירה.

עם האצה של DSP, מערכות AR יכולות להשיג עיבוד של 60-120 fps תוך צריכת תחת וואט אחד - בלתי אפשרי עבור CPU לבד.

אינטגרציה נתונים של חיישנים ו- Fusion

מכשירי AR אורז חיישנים מרובים: Accelerometer,gyroscope, מגנטימטר, ברומטר, חיישן אור הסביבה, ולעתים קרובות חיישן עומק ייעודי (LiDAR או ToF) כל חיישן פלט נתונים במחירים שונים ועם תכונות רעש שונות.DSPs להפעיל אלגוריתמים של חיישן, כגון מסננים קלמן או מסננים משלימים, כדי לשלב קלטות אלה לתוך נקי של אוריינטציה, מיקום אמין עם סצינה דיסקרטיקת וידאו, והגדרה זו חייב לספק סצינה וירטואלית.

לדוגמה, פלטפורמת Snapdragon של Qualcomm כוללת מרכז חיישן נמוך כוח ייעודי (DSP) אשר מעבד באופן רציף נתונים IMU גם כאשר מעבד היישום הוא במצב כוח נמוך.זה מאפשר יישומי AR להגיב באופן מיידי לחזרה ראש מבלי להעיר את ה- CPU הראשי, שמירה על חיי סוללה משמעותיים.

עיבוד אודיו עבור Immersive AR

אודיו ספאטי הוא מרכיב חיוני של טיפול AR. DSPs משכנע:

  • (FLT:0)Beamforming and Noise Suppression:IRLT:1) שימוש במיקרופון מרובים, DSP מבודד את קולו של המשתמש מרעש רקע, ומאפשר פקודות קוליות ברורות עבור יישומי AR.
  • (FLT:0)HRTF (Head-Related Transfer function) Rendering:Felo 1 כדי לדמות קול שמקורו אובייקט וירטואלי בחלל 3D, המכשיר חייב ליישם מסננים אודיו שמצביעים על איך גלי קול אינטראקציה עם האוזניים והראש של המשתמש.פילטרים אלה הם אינטנסיביים חישוביים ודורשים עצלות נמוכה - DSPs מצטיינים במהפכת אודיו בזמן אמת.
  • (FLT:0) ביטול:0(Echo Cancel:FLT:1 בכתוב תרחישים AR (למשל סיוע מרחוק), DSP מבטל משוב דובר-למיקרופוני כך ששני הצדדים שומעים אודיו נקי.
  • (FLT:0) מודעות אודיו: FLT:1 DSPs יכול לנתח זרמי אודיו כדי לזהות אירועים (למשל, קרן רכב או ביטוי דובר) ולעורר תגובות AR, כל זאת תוך שמירה על CPU ישן.

קידוד ו- Displayation Optimization

בעוד GPU הוא מנוע ההגשה העיקרי, DSPs לסייע במספר משימות תצוגה אחוריות:

  • (FLT:0)Foveated Rendering: The DSP לאחר מכן להורות למצלמות מעקב עין להאכיל נתונים ל-DSP, אשר קובע את נקודת מבטו של המשתמש.DSP לאחר מכן להורות ל-GPU להפוך את השדה המרכזי של ראייה ברזולוציה גבוהה ובאזורים היקפיים ברזולוציה נמוכה יותר, חוסכים compute and Power ללא אובדן איכות נתפס.
  • (FLT:0)Time Warping and Reprojection: ההרחבה 1 (FLT:1) כדי לשמור על סיבולת במהלך תנועות ראש פתאומיות, מערכות AR משתמשות בשיפוץ. A DSP יכול למקם את הכיוון החדש ולנפץ את המסגרת האחרונה שהפכה כדי להתאים, רכישת זמן למסגרת הבאה ללא ג'נדר גלוי.
  • (FLT:0)Display Interface:FLT:1 DSPs לנהל את התזמון ואת פורמט הנתונים הדרושים כדי להניע תצוגות ברזולוציה גבוהה, גבוה-refresh-rate (למשל, מיקרו-LED של OLED מופיעים ב- AR משקפיים), הבטחת משלוח מסגרת יציבה.

אנרגיה יעילה וניהול

ראשי AR וסמארטפונים יש תקציבים תרמיים וחשמליים קפדניים. CPU גבוה יכול לצרוך 15-30 וואט תחת עומס, יצירת חום שקשה להתפזר בלחיצת קומפקטית.DSPs לבצע את המשימות הייחודיות שלהם בשבריר של כוח זה - לעתים קרובות מתחת 500 מ"ט עבור חיישן שלם ועיבוד תמונה צינור.

השפעות על יישומי AR

היתרונות של DSPs מאיצים אימוץ AR על פני תעשיות. להלן הם דוגמאות קונקרטיות של איך DSP מופעל AR יוצר ערך.

משחקים ו Entertainment

משחקים ניידים כמו FLT:0 ⁇ ⁇ 1 ; ו-FLT:2Harry Potter: Wizards UniteveFLT 3 להסתמך על עיבוד מצלמה DSP-accelerated כדי לזהות סביבות בחוץ ולמקם דמויות וירטואליות. . high-end AR משחקים דורשות קוצר ראייה לאינטראקציות ראווה - DSPs לעזור לשמור על 30-60 מ"מ תנועה לפוטנציה, במהירות, אפילו עבור שחקן וירטואלי, אפילו התחדשות מהירה.

במציאות מעורבת ראשי תיבות כגון Microsoft HoloLens 2, DSPs מאפשרים מעקב יד ללא בקרים חיצוניים.מצלמות של אוזניות ייעלות נתונים עומק ליחידת עיבוד מבוססת DSP המפרשת מחוות יד בזמן אמת, תוך שימוש ברשתות עצביות שהוצאו להורג באופן חלקי ב-DSP.

בריאות ואימון רפואי

AR מסייע לחוקרים על ידי overlaying CT /MRI סריקות ישירות על הגוף של המטופל במהלך הליכים.DSPs להתמודד עם הרישום של תמונות טרום-אקטיביות למצלמה חיה באמצעות התאמה מתקדמת.באימון רפואי, יישומי אנטומיה AR משתמשים בזיהוי מטוס DSP-מחדש כדי לאפשר לתלמידים "דיסק" איברים וירטואליים על שולחן, עם אינטראקציות טבעיות.

תחזוקה תעשייתית ותחזוקת

טכנאי שירות שדה משתמשים ב- AR ראשי תיבות כדי לראות schematics, חצים, והוראות צעד אחר צעד על גבי מכונות.DSPs מעבד את המצלמה להאכיל לזהות חלקים ספציפיים של מכונה וברקוד, בעוד IMU היתוך שומר על עיכוב נעול בדיוק על האובייקט הפיזי אפילו כמו מהלכים טכנאי.זה מקטין את זמן התיקון עד 30% במחקרים מוקדמים.

מסחר אלקטרוני ו-E-Commerce

פתרונות וירטואליים למשקפיים, איפור, מיקום רהיטים מסתמכים על פנים מדויקות והליכה בחדר.DSPs לרוץ אלגוריתמים של estimation כי לזהות 468 ציוני דרך סביב העיניים, האף והפה בזמן אמת, המאפשר לשפתון או משקפיים לעקוב בצורה חלקה אחר הפנים של המשתמש.

חינוך ושיתוף פעולה מרחוק

יישומים חינוכיים AR מביאים חפצים היסטוריים או מודלים מולקולריים לכיתה. אודיו מרחבי מופעל DSP עושה צליל דינוזאור וירטואלי כמו זה למעשה עומד מאחורי שולחן. בשיתוף מרחוק, הידיים והכלים של טכנאי מועלים על ראיית מומחה מרחוק, עם DSP רעש דיכוי להבטיח תקשורת ברורה.התרסו ההיתוך של התדירות הנמוכה שומר על פני תנאי רשת משתנים, שכן DSP יכול להמשיך לעקוב אחר שרת ללא קלט.

כיוונים עתידיים: DSPs ודור הבא של AR

בעוד AR מתפתח לקראת משקפיים ו עדשות מגע יומיומיות, הדרישות על מעבדים להיות קיצוני.גורמי טופס יהיה קטן יותר, תקציבי חשמל הדוקים יותר, דרישות שקיפות יתפתחו במספר תחומים מרכזיים.

שילוב של AI ו- Machine Learning

רשת נילי הקצאה למשימות AR (גילוי object, פלמנט סימנטל, הכרה במחווה) נעה יותר ויותר מה- GPU או CPU ליחידות עיבוד עצביות ייעודיות (NPUs) רבים הם עצמם ארכיטקטורות DSP מיוחדות - הם משתמשים באותם עקרונות של האצה רבת טיהור, אופטימיזציה של נתונים, וקידוד עתידי נמוך של שבבי AR יקפונקציה טבעית ו- NPU לתוך מעבד אמיתי בין עוזרי רצף של סצנת הפעלה ויזואלית, לבין ויזואלית אישית, לבין סצינה זו, לבין סצנת עיבוד אופטיקה, לבין ויזואלית, לבין סצנת עיבוד אופטימחדש, סצנת ה- AI.

לדוגמה, Hexagon DSP של Qualcomm כבר כולל מפיץ ייעודי של עומסי עבודה AI. הדור הבא כנראה משלב את חיישן DSP, תמונה DSP, ומנוע AI לתוך דומיין כוח נמוך אחד.

תמיד על, Context-Aware AR

משקפי AR לבישים חייבים להיות תמיד על אבל כוח sip. עתיד DSPs יפעלו ברמות תת-מילאט בעוד עיבוד מסגרות מצלמה ברזולוציה נמוכה כדי לזהות גורמים (למשל, הכרה פנים ידועות או קוד מוצר).עם זיהוי, אשכול DSP חזק יותר יכול להתעורר לעבד נתונים ברזולוציה מלאה.

צוק וצוק איתן

חלק ממעבדי AR ישתנו לענן הקצה או למכשירים מקומיים (למשל, סמארטפון או מרכז קל משקל) DSPs בקצה יכול להתמודד עם משימות כבדות כמו המיזוג והמיפוי (SLAM) בעוד DSP של המשקפיים להתמודד עם היתוך נמוך ברמת נמוכה.חלוקה זו של העבודה תפחית את הנטל על ההתחלה תוך מתן חוויות מורכבות יותר של AR.

עיבוד מהיר ו-LIDAR

חיישני זמן-מה-טיסה ו-LIDAR מייצרים עננים גדולים נקודה שיש לעבד בזמן אמת לשיקום הסביבה.DSP ייעודיים מתעוררים כי מפות עומק מקבילות, לבצע פלמנטציה של אובייקטים, ונתוני ענן נקודת דחיסה להעברת מידע זה יאפשר סריקה מלאה של חדר עבור עיצוב פנים AR, ניווט עבור משתמשים לקויי ראייה, והימנעות התנגשות עבור רובוטים מודרך AR - הכל בתוך התדירות והעוצמה של מגבלות ניידות של מגבלות ניידות.

אתגרים ושיקולים

למרות היתרונות שלהם, שילוב DSPs לתוך מערכות AR הוא לא ללא היורדים. תכנות DSPs בדרך כלל דורש ידע מיוחד של סטויינט קבוע ומגבלות בזמן אמת. מפתחים רבים להסתמך על ספריות מוכר-מסופק (למשל, Qualcomm SPEN או Apple של ביצועי מתכת של אפל שדרנס) כדי לגשת לאצה DSP ללא קוד נמוך, יכולת בין ארכיטקטורת DPUs, יתר על ידי זיכרון CPUCPS (R) עם CPUS) יכול גם כן, כולל CPU אחורי) עם CPU אחורי) עם CPU אחורית, יתר על גבי CPU CPU אחורי) יכול להשתמש בזיכרון משותף של CPUS, 000, 000, יתר על פני CPU אחורי (DPS) כדי להפחית את הזיכרון, 000) כדי להפחית את הזיכרון, 000) כדי גישה האצה, 000) כדי גישה האצה, 000) כדי לגשת האצה, עם CPU אחורית, 000) כדי לגשת האצה, 000, 000, 000) כדי לגשת האצה, 000 רחב יותר, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000) כדי לגשת האצה, 000, 000, 000, 000, 000, 000, 000, 000,

האבטחה של קושחה DSP היא גם דאגה.מכיוון ש-DSPs מטפלים בנתונים רגישים של חיישן (הגדלים, מיקרופון, ביומטריות), כל פגיעות עלולה לפגוע בפרטיות המשתמש. Vendors מיושמת יותר ויותר סביבות של ביצוע מהימן על DSPs עם בידוד חומרה ועדכוני קושחיקה חתמים.

מסקנה

מעבדי אותות דיגיטליים הם העורכים הלא-מעורכים מאחורי כל ניסיון מציאות רבודה.מרגע שהמשתמש מסתכל דרך רואה מצלמה כדי לראות יצור וירטואלי תקוע על שולחן אמיתי, DSPs הם סטרימינג נתוני מצלמה, fusing IMU קורא, התאמת כיוון אודיו, וייצוב הסצנה - כל בתוך שבריר של וואט.

(ב) לקריאה נוספת על ארכיטקטורות DSP ותפקידם במחשוב סלולרי, ראה את הסקירה של ה-DVikipedia של מעבדי האות הדיגיטליים של ההרחבה:2Qualcomm's Whiteמסמכים על Snapdragon sensing CentersFLT 3: For a Deep לצלול לתוך טכניקות היתוך ב AR, מתייחס ל-DValph5 ARCFore: