מבוא ל- Machine Vision ו- Computer Vision

ראיית מכונות וחזון מחשב הם שני תחומים קשורים זה לזה שחווה צמיחה חומרית בעשור האחרון.ראייה מכונה מתייחסת ללכידת אוטומטי, ניתוח ופרשנות של נתונים חזותיים עבור יישומים תעשייתיים כגון פיקוח איכותי, זיהוי חלקי והדרכה רובוטית.זהו תת-קבוצה של ראיית מחשב, המבקשת לשכפל זיהוי חזותי אנושי - מכונות מתעמלות לזהות אובייקטים, מעקב, סצנות, ולהבין את ההקשר מתמונות או מתמונות אבטחה, אפילו תחת מציאות אוטונומית, אבטחה, אבטחה, או מציאות אבטחה, אפילו תחת אבטחה, אבטחה אוטונומית, או מציאות אבטחה, אבטחה, או מציאות אבטחה, או מציאות אבטחה, או חומרים דינמית, או מציאות אבטחה, או מציאות אבטחה, או מציאות אבטחה, אפילו תחת אבטחה, או דינמית, חומרים דינמית, או דינמית, או דינמית, גם תחת אבטחה, אבטחה, או , או , אבטחה, חומרים , או , חומרים , חומרים , אבטחה, אבטחה, חומרים , חומרים , חומרים , חומרים , אפילו , אבטחה, אבטחה , אבטחה דינמית דינמית , אבטחה , אבטחה , גם תחת אבטחה , או , או , אבטחה , , דינמית , דינמית , , , , חומרים ,

בלב מערכות ראייה רבות הוא מעבד אותות דיגיטליים (DSP) שתוכנן במקור עבור משימות עיבוד אותות בזמן אמת כגון דחיסת אודיו וטלקומוניקציה, DSPs התפתח כדי להתמודד עם כמויות עצומות של נתונים ופעולות מורכבות של סיבולת הנדרשת על ידי הדמיה מודרנית ואלגוריתמים ראיית מחשב. כמו יישומי ראייה לגדול יותר שאפתנית - דרישה של החלטות גבוהות יותר, קצבי מסגרת מהירים יותר ורשתות עצביות יותר - הדרישות המותקנות על מעבדי DSP הן ביסודן.

מאמר זה חוקר כיצד אימוץ מאיץ של מכונות וחזון מחשב משפיע על ארכיטקטורות מעבדי DSP, ציפיות ביצועים ותקציבי אנרגיה. אנו נבחן דרישות טכניות מפתח, חידושים מתמשכים בעיצוב DSP, ואת המסלול העתידי של מעבדים קריטיים אלה. עבור מחנכים וסטודנטים בהנדסה חשמלית, מחשב, שדות קשורים, הבנה זה מספק תובנה אחת של תחומי מחשוב דינמיים של אלה.

תפקיד מעבדי אותות דיגיטליים ב- Vision Systems

מעבדי אותות דיגיטליים הם מיקרומעבדים מיוחדים אופטימיזציה לביצוע פעולות מתמטיות על אותות דיגיטליים, כגון פיקסלים בתמונה.בניגוד מעבדים למטרות כלליות, DSPs משלבים מכפילים חומרה, יחידות חד-מיניות (SIMD) יחידות, ו-זיהוי מעגלי תמיכה ב-buffer לביצוע מסננים, שינוי והתאמה יעילה. במערכות ראיית מכונה, DSPs מטפלות במשימות החל מדימוי קורא ו-Pree-reative (לדוגמה, אבחון), אפילו להפחתה מוקדמת (לדוגמה, אבחון).

מבחינה היסטורית, משימות חזון היו מחולקות בין DSPs ו- FPGAs או ייעודי ASICs, עם DSPs לספק יכולת אלגוריתמים מתפתחים.מערכת-on-chips (SoCs) לעתים קרובות לשלב ליבות DSP לצד CPU, GPUs, ויחידות עיבוד עצבי (NPUs) כדי לאזן גמישות וביצועים.

לדוגמה, מצלמה תעשייתית טיפוסית המבצעת 60 מסגרות לשנייה ברזולוציה של 4K חייב לעבד מעל 12.4 מיליון פיקסלים כל מסגרת.DSP חייב ליישם מסננים, עיוותי עדשות נכונות, ולעורר אירועים המבוססים על גילוי פגם - כל זאת בתוך מילימטרים. כמו מערכות ראייה לדחוף לעבר 8K, 12K, או אפילו נתונים היפר-ספקטרום, היכולת של DSP לעמוד גבוה באמצעות תפוקה הופכת להיות רבת-צדדית.

דרישות מפתח נקבעו על ידי מעבדי DSP על ידי Vision Technologies

ההתכנסות של ראיית מכונה וחזון מחשב עם בינה מלאכותית יצרה מערך דרישות תובעניות שאדריכלי DSP חייבים לטפל בהן.אלה הולכים הרבה מעבר לעיבוד אות קלאסי.

עיבוד מהיר ומציאות

חיישנים מודרניים ללכוד תמונות ב 20 מגה פיקסל או יותר, לעתים קרובות שיעורי מסגרת מעל 100 fps. DSPs חייב להתמודד עם פיקסל וכתוצאה מכך - עוצמות של ג'יגהבייט לשנייה - תוך שמירה על עכבות זמן ⁇ . מגבלות בזמן אמת הן קפדניות במיוחד נהיגה אוטונומית, שבו יש לקבל החלטה בתוך 10-20 מ"מ מעבדי DSP חייב לשלב ממשק זיכרון מהיר (למשל, זיכרון HPD-H5) ו-H.

אלגוריתמים מתקדמים ולמידה עמוקה

רשתות עצביות מהפכתיות (CNN) ומודלים אחרים ללמידה עמוקה הפכו לסטנדרט עבור סיווג תמונות, זיהוי אובייקטים ופיצול. בעוד GPUs משמשים לעתים קרובות לאימון, ההיקף מבוסס על DSPs. מעבדים אלה חייבים לבצע ביעילות מהפכות, פונקציות הפעלה, ולוחמת פעולות.השינוי לעבר מודלים מבוססי חזון מסובכים מוסיף מורכבות נוספת בשל מנגנונים של כוונות עצמית הדורשים מנגנונים גדולים של נוסחאות למידה או תהליכי עיבוד מיידיים.

אנרגיה במערכות Embedded

יישומים רבים של ראיית מכונה לרוץ על מכשירים מופעלים סוללות - רובוטים, מל"טים, סורקים מוחזקים יד, ומצלמות לבישים.מגבלות ה-rmal לעתים קרובות להגביל את הניתוק כוח לכמה וואטים. DSP מעצבים חייבים לאזן את הביצועים שיא עם צריכת חשמל, באמצעות טכניקות כמו מתח דינמי ותדירות (DVFS), עומסי שעון מוטבעים היטב, ו ליד-reshold הפעלה.

גישה לנתונים וזיכרון

נתוני חזון הם אינסטינקטים זיכרון מטבעם.כל פיקסל דורש מספר רב של עקיצות (למשל, 2 על ידי משטח אפור, 12 ע"י קטורים עבור RGB עם 32 סיביות צפים) עיבוד מסגרות במקביל דורשות גבוהה פסד, נמוך latency זיכרון תת-מערכתs. DSPs מעסיקים אוטובוסים פנימיים רחבים (-256 סיביות או 512bit), חזק זוג (MTC) עם יחידות זיכרון מתוחכמות, לעתים קרובות, 000 אחוריות, 000.

דרישות אלה יש אפקט מורכב: משיכת צרכים מקבילים, מועדים קפדניים יותר בזמן אמת, ומעטפות כוח הדוק יותר.ספקי DSP הגיבו עם חידושים אדריכליים שאנו חוקרים הבא.

חידושים טכנולוגיים ב-DSP Architecture

כדי לעמוד בדרישות המתפתחות, חברות מוליכים למחצה מובילות הציגו מספר תכונות פורצות דרך ב ליבת DSP האחרונה שלהם ו-SoCs.

Accelerators for Neural Networks

בעוד DSPs תמיד היה יעיל בביצועים מורכבים (MAC) פעילות, רשת עצבית דרישות גבוה מאוד ספירות MAC - לעתים קרובות טריליון פעולות לשנייה (TOPS) מודרניים משלבים מאיצים עצביים ייעודיים לצד יחידות DSP מסורתיות. לדוגמה, FLT:0Qualcomm's Hexagon DSPR1 משלבים עשרות מאיץ', אשר יכול להתמודד עם מרכזי לחץ דם מזערי, 16.

בנוסף, כמה ארכיטקטורות משתמשות בגישה של זרימת נתונים שבה המאצ'ר נועד לבצע שכבות שלמות של CNN עם התערבות מינימלית מהמעבד הסקאלר.זה מאפשר ל-DSP להתמקד לפני ואחרי עיבוד בזמן שהאצ'לטור מטפל בהרמת הכבדה של מהפכות.

Multi-Core ו- Vector Processing

DSPs חד-core לא יכול להשיג את התפוקה הנדרשת עבור רזולוציה גבוהה, חזון בזמן אמת. Vendors מציעים כעת אשכולות DSP רב-core עם זיכרון משותף וסינכרון חומרה חומרה.לדוגמה, TITMS320C6670 כולל ארבעה C66x ליבות, כל אחד מסוגל שמונה-bit MACs לכל מחזור, המאפשר ביצועים מצטברים מעל GMAC, בנוסף ל- SIMS, תכונות אופטיות כגון קידוד של מערכת נתונים.

שיטות ניהול כוח

DSPs עבור יישומי ראייה לעתים קרובות ליישם ניהול אנרגיה מתוחכמת.טיוי גוף ההטיה, תחומים רב-וולטר, ותעוררות מהירה ממדינות שינה לעזור לענות על תקציבים אנרגיה.על-צ'יפ חיישנים מאפשרים דינמית להתפוגג למנוע ריצות תרמיות. חלק מעבדים יכולים לסגור אשכולות של idle תוך שמירה על ליבה קטנה, נמוכה ברציפות לרוץ עבור חזון תמיד מתעורר.

שילוב עם יחידות עיבוד אחרות (SoCs)

שבבים DSP מפוזרים יותר ויותר לתת דרך heterogeneous SoCs המשלבים ליבות CPUcore, GPU צלרים, ליבה DSP, NPUs, ו מאיץ חומרה על מוות יחיד.אינטגרציה זו מפחיתה את הגמישות, כוח, ואת אזור לוח הבקרה.לדוגמה, NVIDIA OrinC משלבת מחיצה GPU, CPUs, ו-DKeld (המחשבה) כולל גם מקבילה-D.

חידושים אלה אפשרו לדור חדש של מערכות חזון שלא היו מתקבלות על הדעת לפני עשור, בואו נבחן כמה יישומים בתעשייה שמניעים את דרישות DSP האגרסיביות ביותר.

ניהול DSP Evolution

חזון מכונות תעשייתי בקרת איכות

בייצור, מערכות ראיית מכונה בודקות אלפי מוצרים לדקה עבור פגמים על פני השטח, דיוק ממדי ותיקון ההרכבה. מצלמות מהירות גבוהה לרוץ במאות מסגרות לשני נתונים להאכיל נתונים לדSPs כי חייב לזהות omalies בזמן אמת - לעתים קרובות בתוך כמה עומסים מיקרו-שניים ל פיקסל.המגמה לעבר חזון 3D עבור מטרופולין מוסיף נטל חישובי נוסף, שכן עומק חייב להיות מפלט מתבניות אור מתקדמות עם עומק Dengel זה.

כלי רכב אוטונומיים ומערכות סיוע לנהג מתקדם (ADAS)

נהיגה אוטונומית מסתמכת על היתוך של מצלמות, לידר, מכ"ם ואולטרסאונד. אלגוריתמים ראיית מחשב מבצעים זיהוי נתיב, זיהוי אובייקטים, הערכת חלל חופשי, ומגזר סימנטלציה סימנטלטית.הDSP חייב לעבד עד 30 מיליון נקודות בשנית מ-Ledar ובו זמנית להפעיל רשתות עצביות על חיידקי HD וידאו.Latency הוא קריטי: יש להוציא פיקוד ביומיום בתוך 20 מ"מ של מערכת ראייתית (I) כמו הולכי רגל קיצונית (DAS) עם כל יתר של עיבוד אנרגיה מתקדמת (DAS) ומעבדים מתקדמים (DAS) עם הולכי רגל) עם כל יתר על פני כדוריות HD (DSP) עם הולכי רגל) עם כל יתר על פני כדוריות אבטחה עמוקה (DAS) עם הולכי רגל) ומעבדות אבטחה עמוקה (DAT) עם הולכי רגל) עם כל יתר על פני כדוריות אבטחה עמוקה (DAT) עם הולכי רגל) עם הולכי רגל) עם כל יתר על גבי סוללות אבטחה עמוקה (DSP) ומעבדות אבטחה עמוקה (DSP) עם הולכי רגל) עם כל יתר על פני מערכת למידה מרחוק (DSP) עם הולכי רגל) עם כל יתר על פני כדוריות HD (

אבחון ואבחון רפואי

ביישומים רפואיים, ראיית מכונה מסייעת בניתוח צילומי רנטגן, סריקות CT, תמונות MRI ומיקרוסקופיות שקופיות.DSPs משמשים לשיקום תמונות בזמן אמת, ירידה רעש, ושיפור. כמו אלגוריתמי AI להפוך מאושר קלינית לאיתור מחלות (למשל, סוכרת בדיקה מחדש), על הפחתת הפרטיות וההתלות.

אבטחה ושקיפות

מצלמות מעקב הן פריסת ראיית מחשב מתקדמת להכרה פנים, זיהוי התנהגות חריג, ואנשים ספירת עיבוד צוק חיוני כדי לגזול את השרת המרכזי.DSPs מעבד וידאו ב 4K או 8K, תוך הפעלת צינורות מרובים.FLT:0A השוואה של DSP, GPU, ו FPGA עבור יישומי חזון FLT:1 מדגיש כי DSP מציעים את הסחר הטוב ביותר עבור מערכות אבטחה נמוכות, ⁇ .

כל אחת מהיישומים האלה דוחפת היבט אחר של ביצועי DSP – באמצעות חישוב, דיוק, כוח או שקיפות.כפי שהם מתאחדים במוצרים כמו רובוטים חכמים ורחפנים אוטונומיים, הביקוש ל-DSPs רב-עוצמה גבוהה ויעילים רק יגבר.

מגמות ואתגרים עתידיים

האבולוציה של מעבדי DSP עבור ראיית מכונה רחוקה מהשלמתם של כמה מגמות תעצבו את העשור הבא.

« « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « «

מודלים למידה מכונה על מיקרו-בקרים אולטרה-עוצמה ידועה בשם TinyML. DSPs עם צריכת חשמל מילימטרית-מילימטרית מפותחים עבור משימות ראיית מחשב - גילוי מילים, הכרה פשוטה מחווה, או תנועה חישה.מעבדים אלה יתבססו על הקוונטים, החלול, והוראות מותאמות אישית כדי להפעיל רשתות עצביות קטנות ישירות על המטרה.

המונחים: Neuromorphic Computing

שבבי נוירומורפיליים - שנועדו לחקות רשתות עצביות ביולוגיות - יעילות אנרגיה קיצונית עבור רשתות עצביות ספירה.חלק מהמחקרים מצביעים על כך ש-DSPs עתידיים עשויים לשלב ליבות נוירו-מורפיים בשלבים המוקדמים של עיבוד הראייה (למשל, זיהוי ניגודיות, זיהוי), תוך שמירה על יחידות DSP קונבנציונליות בשלבים מאוחרים יותר.אדריכלות היברידיות כאלה יכולות להפחית באופן דרמטי את הכוח במצלמות ובמערכות אוטונומיות.

אופטימיזציה של Software-Driven

התפתחויות קשיחות חייבות להיות תואמות על ידי מערכות אקולוגיות תוכנה. Compilers כי ממפה אלגוריתמים ראיית מחשב לחומרת DSP הם יעילים. Open-source מסגרות כמו TensorFlow Lite עבור Microcontrollers ו- ONNX Runtime מוסיפים backends עבור DSPs. כדי להישאר תחרותי, ספקי DSP חייבים לספק SDK חזקים, אופטימיזציה של ספריות לעיבוד תמונות ורשתות עצביות, וסימולציות המאפשרות לביצועים ל-DVal הוא דוגמה זו הוא סיליקון הוא דוגמה: אלגוריתם הוא מוביל של DLTx הוא מוביל של אלגוריתם הוא ראשי.

אבטחה ואמון הוצאה להורג

כשמערכות חזון הופכות לכל מקום, לאבטחת צינורות העיבוד מחיישנים להחלטות היא חיונית.DSPs צריכים תכונות אבטחה חומרה כמו מנעול מאובטח, סביבות הוצאה מבודדות, ונתיבי נתונים מוצפנים.אדריכלות DSP עתידיים כנראה ישלבו מעבד אבטחה ייעודי או מנף Arm TrustZone כדי להגן על קניין רוחני ולמנוע התקפות יריבות על אלגוריתמים ראיית מחשב.

מגמות אלה מצביעות על כך ש-DSP תמשיך להיות מנוף של ראיית מכונה ומערכות ראיית מחשב.תפקיד מעצב DSP מתרחב מעיבוד אותות טהור לשילוב מערכות, האצה מלאכותית ואבטחה.

מסקנה

ההשפעה של ראיית מכונה וחזון מחשב על דרישות מעבד DSP היא עמוקה ומצטברת.לקבל את ההחלטה, מגבלות בזמן אמת, שילוב למידה עמוק ויעילות כוח קיצוני מעצב מחדש כיצד DSPs הם ארכיטקטו. חידושים כמו מאיצים עצביים מיוחדים, רב-coreים, ניהול חשמל מתקדם, ושילוב heterogeneous יש יכולות ראייה כי פעם היה התחום של מסגרות עיקריות.

עבור מחנכים וסטודנטים, הבנת התפתחויות אלה מספקת חלון לעתיד של מחשוב מוטבע.DSP הוא כבר לא רק מסנן דיגיטלי - זה חזון מלא מעבד חזון מוטבע במיליארדי מכשירים ברחבי העולם. כמו אלגוריתמים הדור הבא מופיעים עם דרישות מתמטיות חדשות - תשומת לב טרנספורת יותר, רשתות עצביות גרפיות להבנת סצינה - DSP יפתחו שוב.