מתוך Perception to Action: How Deep Learning Powers אוטונומית ד"ר טונה

מזל"טים אוטונומיים עברו מעבר לניסויים במעבדה ליישומים בעולם האמיתי בחקלאות, לוגיסטיקה, פיקוח תשתיות וחיפוש אחר-and-rescue.היכולת שלהם לנווט בסביבה דינמית, דינמית ו- GPS-ied ללא קלט אנושי תלויה בצנרת מתוחכמת של תפיסה, תכנון ושליטה. Deep Learning הפכה לעמוד המרכזי של צינור זה, המאפשר מזל"טים לפרש נתונים של חיישן גלם, לחזות מצבים עתידיים, ולבצע טרנדים בטוחים בטכניקות למידה מתקדמות.

יסודות למידה עמוקה לניווט

מה עמוק למידה מביא לד"ר אחד את הדברים

אלגוריתמים מסורתיים של ניווט תלויים בתכונות ידניות וכללים מפורשים כדי להתמודד עם הימנעות ממכשולים, תכנון נתיב, וההתאזרחות. גישות אלה פועלות היטב בסביבות בנויות אך נאבקים עם יכולת המיומנות של סצנות בעולם האמיתי – שינוי תאורה, מכשולים בלתי צפויים, ושטח לא מובנה. Deep Learning מחליף נוקשה עם רשתות עצביות גמישות, אשר לומדות ישירות מהנתונים.רשת עצבית (CNN), למשל, יכול ללמוד קו חשמל, או יכולת חזותית, באופן ספציפי, ללא יכולת למידה, באופן ספציפי, באופן ספציפי, באופן ספציפי, ללא יכולת למידה, כל כך, באופן ספציפי, כל כך, באופן ספציפי, באופן ספציפי, ללא יכולת למידה, היא בעלת יכולת למידה, היא בעלת יכולת למידה, באופן ספציפי, באופן ספציפי, באופן ספציפי, באופן ספציפי, באופן ספציפי, באופן ישיר, באופן ספציפי, או יכולת למידה, באופן ספציפי, באופן ספציפי, באופן ספציפי, באופן ספציפי, באופן ספציפי, באופן ספציפי, באופן ישיר, באופן ספציפי, על פני מבנה חזותי, באופן ספציפי, ללא יכולת למידה, אשר לומדת, באופן ספציפי, באופן ספציפי, באופן ספציפי, ללא יכולת למידה, ללא יכולת למידה, ללא יכולת למידה, אשר לומדת, היא מאפשרת גישה חזותית, באופן ספציפי, באופן ספציפי, ללא יכולת למידה, אשר לומדת למידה, באופן

למידה עמוקה גם מצטיין בנתונים מכמה חיישנים.מזל"ט מודרני עשוי לשאת מצלמות סטריאו, LiDAR, מעבדי קול, יחידת מדידה לא מוכרת (IMU) רשתות עצביות עמוק יכולות לשלב קלטות הטרוגניות הללו לייצוג אחיד של הסביבה, שיפור האינטנסיביות כאשר חיישן אחד מכווץ (למשל, בוהק מצלמה או LiAR בפיזור זה הוא מעבר ליכולת הראייה של פעולת ערפל הראייה).

אדריכלות רשת חיונית ב- Drone Navigation

רשתות ערפיליות אבולוציה (CNN) ל-Visual Perception

CNN הם העורכים של חזון המל"טים.הם מעבדים מסגרות מצלמה כדי לזהות ולסווג אובייקטים, להעריך לעומק, ואת אזורים מקטעים טראנס. עבור הימנעות ממכשולים, CNN יכול לייצר מפה עומק מלא מתמונה אחת, המאפשר את המל"ט לנוע מרחקים לאובייקטים הסמוכים.אדריכלות כמו ResNet, YOLO ו- EfficientNet הם בדרך כלל בשימוש עבור זמן אמיתי בנוגע חומרה כגון JetVID מתקדמת ב- Jets 15.

Recurrent Neural Networks (RNNs) ו-Temporal Modeling

ניווט הוא בעל ערך רב – החלטות של מזל"ט תלויות בתצפיות האחרונות ובפעולות קודמות.RNN, במיוחד גרסאות כמו LSTMs ו- GRUs, ללכוד את התלויות הזמניות האלה.A LSTM יכול לחזות את המסלול העתידי של מכשול נעים (למשל, ציפור או מזל"ם אחר) על ידי עיבוד רצף של עמדות, המאפשר את התוכנית לצפות התנגשויות במקום שינויים חזותיים, כלומר, תכונות של CNN.

Reinforcement Learning for Adaptive control

Reinforcement Learning (RL) מציעה דרך להכשיר מדיניות ניווט מבלי לדרוש הפגנות אנושיות מפורשות.המזל"ט אינטראקציה עם סימולטור (או העולם האמיתי) ומקבל תגמולים עבור התנהגויות רצויות - להישאר על המסלול, הימנעות מהתנגשויות, ולהגיע לנקודות דרך. אלגוריתמים עמוקים כגון אופטימיזציה מדיניות פשטנית (PPO) ו-Critic (SAC) שימשו לכדי לעבור בדיקה יעילה של מדיניות מיפוי ישיר ל-SMS-S, אך ורק ל-SPTS, אך ורק ל-SPTSTS לאחר מכן, אך ורק ל-SPTS, אך ורק ל-S.

למידה עמוקה בקו הניווט

ניתן לפרוץ את הניווט של המל"טים האוטונומי לשלושה שלבים מקושרים: תפיסה, תכנון ושליטה.למידה עמוקה נוגעת בכל שלב אחרת, ולהבין את התפקידים האלה מבהירים היכן נמצאים היתרונות והבעיות הגדולים ביותר.

סיקור: לראות את העולם

שכבת התפיסה בונה ייצוג של הסביבה.מודלים למידה עמוקה מבצעים פלמנטציה סמנטית (מתמודדים כל פיקסל כ"שטח", "עץ", "בניה", וכו '), גילוי אובייקטים (מציאת אנשים, כלי רכב, סימנים), והערכה עמוקה.לדוגמה, התאמה חד-משמעית של רשתות GPS SL משתמשת בעומק של רשת GPS, כדי ליצור נקודה 3D מענן מענן מ-AMD, באמצעות מיפוי חיצוני של החלפה, שבו הוא משתמש בתכונות אבטחה גבוהות של נוירונים.

היתוך נתונים ו unquity

פלטי תפיסה רול הם רועשים. Deep Learning מציעה פרשנות פרובביליסטית: במקום ערך עומק אחד, רשת יכולה לייצר הפצה מעל פני מעמקים, נותן את המידע המתכננים על אי הוודאות.כאשר אי הוודאות גבוהה, המל"טים עשויים להאט או לחזור להתנהגות מרחפת זהירה.גישה פרוביביליסטית זו חשובה במיוחד כאשר טסים בתנאים נמוכים או משקעים כבדים, שבו רעש עולה באופן דרמטי.

תכנון: ההחלטה לאן ללכת

ברגע שמודל תפיסה בנה ייצוג, מתכנן חייב למצוא דרך בטוחה ויעילה למטרה. למידה עמוקה יכולה להאיץ את תכנון בכמה דרכים. למד מפות עלות להקצות עונש לכל תא בסביבה, עם עונשים גבוהים יותר ליד מכשולים או באזורים שבהם המל"טים מנוסים שטף אוויר סוערת ישירות, מתכנן מבוסס ⁇ ואז יורד לאורך הדרך הנמוכה ביותר.

דוגמה מעשית היא השימוש ברשתות עצביות עמוקות להימנעות מקומית בסביבות דינמיות.במקום לנסח נתיב גלובלי מאפס בכל פעם שנדמה כי מכשול, CNN קל משקל מייחס את דפוס התנועה של המכשול (למשל, מעבר לעומת עמידה עדיין) ומתאים את המסלול המקומי בהתאם. גישה זו מפחיתה עומס חישובי ומאפשרת זמני תגובה מתחת לגיל 50 מ"מ, שהוא קריטי כאשר הילד עומד לפתע רץ אל נתיבי הטיסה.

שליטה: ביצוע ההעברות

בעוד שבקרת גישה נמוכה (pitch, Roll, yaw, דחף) משתמשת לעתים קרובות בקרים PID קלאסיים, למידה עמוקה מוחל יותר בלולאה הבקרה. , רכזי רשת נילי יכולים ללמוד את הדינמיקה המורכבת, הלא-מילני של מזל"ט - כולל אפקטים אירוביים כמו רוטר למטה, אפקט הקרקע, ומניעה - וכן לפצות עליהם.מדיניות בקרה נלמדת יכול להשיג מעקב הדוק יותר של מהירות אגרסיבית מאשר קבוצות מוטוריות מוכחות, במיוחד על ידי אימון איטיות, בעיקר על ידי שיטות הפעלה מהירה, בעיקר על ידי שיטות הפעלה מהירות גבוהה.

יישומים אמיתיים

חקלאות ו Crop Monitoring

רחפנים אוטונומיים המצוידים באלגוריתמים למידה עמוקים סקרים את תחומי החקלאות הגדולים, מזהים בריאות היבול, לחץ המים והמגיפה של המערכת הניווט חייבים לטוס נמוך (5-10 מ' גובה) כדי ללכוד תמונות ברזולוציה גבוהה תוך הימנעות מזרקות, קווי חשמל, ועובדים.מערכת גילויים מבוססת CNN הפועלת על המל"טים מסייעת לו באופן אוטונומי סביב סכנות אלה ללא התערבות של משתמשים: רחפנים כגון: רחפנים של 1CLTs כמו טייסים של טייסים כמו טייסים של 1-עשרים, כמו טייסים של 1-עשרים, כמו טייסים של 1-עשרים, כמו טייסים, כמו טייסים של CNN, וכו '

תשתיות

[לנוכח גשרים, טורבינות רוח, קווי חשמל דורש מל"טים לפעול קרוב למבנים תוך שמירה על מרחק בטוח.מודלים למידה עמוק מאומן על תמונות של חלודה, סדקים, ומדריך קורוזיה הן את הניווט והן את משימת הביקורת.לדוגמה, מזל"ט שבחן טורבינות רוח משתמש רשת עצבית כדי להבחין את קצה המוביל של להב מן השמים; ואז הוא מקבילה לסדרת מחסנים של מחסנים האמיתיים של מחסנים, אשר ממעבדים, אשר ממעבדים, אשר מתואמים את הסוללות אלה, כלומר, כלומר, כלומר, כלומר, כלומר, כלומר, כלומר, כלומר, כלומר, 1FSTFSTFSTFSTFSTFSTFST, מאפשר לשלב את יכולות דינמית, כלומר, 1FSTFSTFSTFSTFSTFSTFSTFSTFST, באופן אוטומטי, מאפשר לשלב את התקני מחסנים אוטומטית, כדי לשלב את התקני סימולציה, באופן אוטומטי, כדי להבחין את היישר לתוך מחסנים אוטומטית, כדי להבחין את היישר לתוך מחסנים אוטומטית, כדי להבחין את קצה של היישר לתוך מחסנים, כדי להבחין את קצה היישר לתוך מחסנים אוטומטית, כדי לשלב את קצה ה

חיפוש והצלה

באזורי אסון, מזל"טים אוטונומיים צריכים לנווט דרך עשן, אבק והריסות כדי לאתר ניצולים. למידה עמוקה משמשת גם לניווט וגם לזיהוי הקורבן.מודל התפיסה של המל"ט מקטעים בלתי ניתנים להחלפה (מעגל של הריסות), ותוכנית מבוססת RL מנחבעת את המל"ט לכיוון רמזים תרמיים ואקוסטיים תוך הימנעות מבניינים לא יציבים.

אתגרים ב-Reveloying Deep Learning על Drones

המונחים: constraints

הפעלת רשת עצבית עמוקה במחשב המוטבע של מזל"ט היא אתגר של אנרגיה ותקציבים תרמיים. A טיפוסי על מעבד לוח (למשל, NVIDIA Jetson Orin) שואב 15-40 W, המתחרה ישירות עם הרחפנים של כוח סוללה.מהנדסים חייבים לאזן דיוק נגד עלויות חישוביות.com כוללים מודל אדג'רטוט, לכמת (הפחתה במשקל מ-32 סיביות ל- 8 סיביות) שימוש בטכניקות אחסון כבדות, או שימוש ב-Holtius.

מידע ו-Sim-to-real Transfer

מודלים למידה עמוקה דורשים נתונים גדולים ומגוונים כדי להכללת מידע על טיסה בעולם האמיתי עם מגוון מכשולים, תנאי תאורה, מזג אוויר יקר וזמני זמן מצטברים. כתוצאה מכך, רוב דגמי הניווט מאומן בעיקר בסימולציה (באמצעות מנועי אווירSim, גזיבו, או מנועים לא מציאותיים) ולאחר מכן מכוונן עם נתונים אמיתיים.

בטיחות והסמכת

רשתות עצביות עמוקות נתפסות לעיתים קרובות כ"קופסאות שחורות" שהחלטותיהן קשות לאמת.ליישומים קריטיים כמו משלוח רחפנים על אזורים מאוכלסים, הרגולטורים דורשים התנהגות בלתי מוסברת וחסומה. המתח הזה בין הגמישות של מערכות מבוססות למידה לבין הקפדה של אימות פורמלי הוא אזור מחקר פעיל, כמה פתרונות משתמשים במוניטורים רצופים אשר חוזרים לבקר גיבוי קלאסי אם התפוקה של הרשת העצבית מערכי למידה גבוהים מדי, רק לשיטות למידה מתקדמות, אך ורק לשיטות בקרה מתקדמות.

כיוונים עתידיים

צוק ו- On-Device Learning

הגבול הבא הוא למידה רציפה על המל"ט עצמו.במקום לפרוס מודל סטטי שמעולם לא מתאים, מזל"טים עתידיים יעדכן את רשתות עצביות שלהם באמצע טיסה באמצעות תצפיות חדשות.זה על-ידי תצפיות יכול לפצות על סחף חיישן, שינוי תנאים סביבתיים, או השפלה חומרה. גישות למידה פדרated מאפשר צי של מזל"טים לשתף ידע ללא שינוי נתונים, שיפור יכולת ניווט קולקטיבית תוך שמירה על פרטיות מחשוב משולב עם AI.

למידה רב-ממדית ועצמית

מודלים נוכחיים מסתמכים רבות על נתונים מתוייגים – תמונות מאוישות עם מכשולים ואזורים בלתי ניתנים לניתוק.טכניקות למידה המבוססות על עצמי ממינוף הניסיון של המל"ט לייצר תוויות אימון.לדוגמה, מזל"ט שמגיע פיזית למקום מאשר כי הדרך הייתה בלתי אפשרית; התמונות המתקבלות של המצלמה הופכות לדוגמאות אימון חיוביות.

שילוב עם תאומים דיגיטליים

טכנולוגיה תאום דיגיטלית - יצירת העתק וירטואלי בזמן אמת של מזל"ט, הסביבה שלה, ואת המשימה שלה - תאפשר בדיקות ואופטימיזציה של מדיניות למידה עמוקה. תאום דיגיטלי משלב נתונים של חיישן היסטורי, תחזיות מזג אוויר, ומפות מעודכנים כדי לדמות את הטיסה של המל"טים לפני שהוא מוריד.מודלים למידה עמוקה יכולים להיות מאומנים מראש בתאום ונקי כמו הגישה הפיזי לאסוף נתונים אמיתיים.

שלב 5 Autonomy

המטרה הסופית היא ציי מל"טים אוטונומיים לחלוטין שיכולים לפעול במשך ימים ללא התערבות אנושית, טיפול בפלוף, ניווט, איסוף נתונים, נחיתה ואפילו התחדשות.הגעה לרמה זו תדרוש פריצות דרך לא רק באלגוריתמים למידה עמוקים, אלא גם בחומרה חיישן, טכנולוגיית סוללות, ומסגרות רגולטוריות.למרות זאת, המסלול הוא ברור: למידה עמוקה כבר עבר מרומן ניסיוני לרכיב ליבה של מערכות מסחריות, והפך להיות יעיל יותר כמודלפקטימן מודלים חזקים יותר.

ככל שהטכנולוגיות הללו בוגרות, אנו יכולים לצפות לראות רחפנים אוטונומיים מבצעים משימות מורכבות שאינן אפשריות או מסוכנות לטייסים אנושיים, מבדיקת טורבינות בחווה ברוח בחובת רוח offshore כדי לספק אספקה רפואית קריטית על פני ערים מחוסמות, ההיתוך של למידה עמוקה וטיסה אוטונומית ימשיך להרחיב את הגבולות של מה שניתן יהיה באוויר.