כלי רכב אוטונומיים (AV) מייצגים את אחד האתגרים הנדסיים העוצמתיים ביותר של זמננו.כל רכב יכול לייצר מספר רב של טרה-ביאטים של חיישן, מצלמה, LIDAR ונתוני מכ"ם ביום, תמיכה בפיתוח, אימות והפעלה בזמן אמת של מערכות אלה דורשות טכנולוגיות מסד נתונים כי בקנה מידה אופקי, לספק עצלות תת-מילולית, ושמירה על פני סביבות המגמות מתקדמות, מעצבות של סוללות, כיצד מהנדסים מתקדמים, מעצבי נתונים, מעצבים, ומעבדים, מעצבי נתונים, מעצבים, ומעבדים, מעצבים, מעצבים טכנולוגיות ניהול נתונים, כיצד סוללות, כיצד סוללות סימולציה של סוללות, ומעבדות של סוללות ממעבדות של סוללות, ומעבדות של סוללות, מעצבות של סוללות, וטכנולוגיות ניהול נתונים ממעבדות של סוללות, מעצבות של סוללות, וטכנולוגיות ניהול נתונים של סוללות, וטכנולוגיות ניהול נתונים של סוללות ממעבדות, ומעבדות טכנולוגיות ניהול נתונים של סוללות, כדי לפתח סימולציה של סוללות סימולציה של סוללות מתחום ניהול נתונים ממעבדות, כדי לפתח, כדי לפתח, וטכנולוגיות ניהול נתונים מתחום ניהול נתונים מתחום ניהול נתונים מתחום ניהול נתונים מתקדמים, כדי לפתח, כדי לפתח, כדי לפתח, כדי לפתח

אתגרים ניהול נתונים הליבה בהנדסה אוטונומית

לפני צלילה למגמות, חיוני להבין את המגבלות הייחודיות של מערכות המידע AV חייב לספק.אתגרים אלה מניעים את אימוץ של פתרונות מסד נתונים מיוחדים.

כרך ו-Valocity

רכב יחיד אוטונומי יכול ליצור בכל מקום בין 1 ל 10 terabytes של נתונים גולמיים ליום כאשר כל החיישנים מנוצלים באופן מלא.זה כולל זרמי וידאו ברזולוציה גבוהה, עננים נקודתיים מ LIDAR, סריקות מכ"ם, עקבות GPS, ומערכת מסד נתונים לרכב יכול להיות ingest, אינדקס, ושאילתת נתונים אלה במשרה אמיתית כדי לתמוך בניתוח לא מקוון והחלטות על לוח מודעות.

דרישות לגרות ומציאות

פונקציות נהיגה אוטונומיות כגון גילוי מכשולים, תכנון נתיב, וזרימת חירום דורשות החלטות בתוך מילימטרים.על מסדי נתונים על הסיפון חייב להיות מסוגל לאחסן ולאחזר מידע המדינה (למשל, אריחי מפה, מסלולים אובייקטים, כללי תנועה) עם נטייה נמוכה ⁇ סטית.כל זמן המתין לדיסק I / O או נסיעות עגולות רשת יכול להיות קטסטרופלי.

אינטגרציה ושקיפות

אלגוריתמים של היתוך חושי משלבים נתונים ממקורות מרובים; כל אי עקביות בזמני הטמפטפטציה או הזמנת יכולה להוביל למודלים לא נכונים בעולם.מאגרי מידע מורכבים המשמשים ציים חייב להבטיח בסופו של דבר או עקביות חזקה בהתאם להקשר.יתר על כן, מערכות קריטיות בטיחות חייבות לדבוק בסטנדרטים כגון ISO 26262, אשר מטילות דרישות מחמירות על איסוף נתונים, ביקורת, וזיהוי.

סקלאלה ועלויות

טביעת הרגל הכוללת של נתונים עבור תוכנית פיתוח AV יכולה להגיע exabytes כאשר גורם בנתונים סימולציה, אימוני נתונים, ו יומני עולם אמת. ארכיטקטורות מסד נתונים חייב להקדים באופן גמיש מבלי לשבור את התקציב, לטובת פתרונות נפרדים תואמים מאחסון ומאפשרים גישה מקבילה המבוססת על טמפרטורת נתונים.

Edge מחשוב ודיסקרטי נתונים

מחשוב צוק הפך אבן הפינה של ניהול נתונים של רכב אוטונומי.על ידי עיבוד נתונים קרוב ככל האפשר למקור - המכונית עצמה - המהנדסים יכולים להפחית את נפח הנתונים שנשלחו לענן, לגרות עגולה נמוכה יותר, ולשמור על פונקציונליות גם כאשר קישוריות היא לסירוגין או נעדרת.

(ב) , מאגרי מידע מפוזרים (בסביבות קצה), כגון:0 (Apache CassandraphFLT:1, FLT:2RiakphFLT 3, ו-FLT:4CockroachDBirph:5, מאפשר לכל רכב לפעול כמסד נתונים המכיל עצמו, אשר משוכפל מערכות קריטיות (למשל, מפות, אלגוריתמיות) כמו שרתי נתונים בלתי-מתקני אבטחה (CR) או כלי רכב שאינם זמינים).

לדוגמה, מערכת Super Cruise של קדילק מסתמכת על שילוב של מסדי נתונים על הסיפון וסנכרון ענן כדי לשמור על מפה להגדרה גבוהה עדכנית של תפוצה גבוהה.כאשר רכב מזהה שינוי כביש, הוא מאמת את מסד הנתונים המקומי; העדכון מפיץ כלי רכב אחרים באמצעות צמתים.תבנית זו – לעתים קרובות נקראה "למידה חלולית" - היא רק אפשרית עם מסד נתונים מבוזרת אשר מורכב בסופו של דבר על פני סודיות.

עיבוד נתונים בזמן אמת ו- In-Memory Databases

החלטות קריטיות בטיחות באריז דורשות גישה לנתונים בתוך מיקרו-שניות.מאגרי מידע מסורתיים המבוססים על דיסק מציגים יותר מדי שקיפות לפעילות על הסיפון.מאגרי נתונים פנימיים הופיעו כסטנדרט לאחסון ושאילתת מידע מצב בזמן אמת.

(ב) [ה]] [ה][דרוש מקור]] [ה]]], [ה], [ה], [ה]], [ה],]]], [ה]]], [ה[[המאה ה-20]],], היא משמשת באופן נרחב עבור תוצאות של אספקת מידע על הולכי רגל, אשר יש צורך להזיזו עם מינימום מעל פני השטח.

בנוסף לחנויות טהורות במזימות, נושאים של קפקאים:0Apache קפקאFelo 1 הפך הכרחי עבור דחיסת חיישן מחוספסת עיבוד.ק קפקא משמשים כמערכת העצבים המרכזית של צינור נתונים של AV: כל חיישן כותב לנושא שלו, ועיבוד שירותים ועיבוד הנתונים לפני כתיבת נתונים למאגרי מידע נמוכים המאפשרים גישה למהנדסים היסטוריים.

דוגמה בולטת היא השימוש של Waymo במסד נתונים מיוחד ב-memory כדי לנהל תחזיות התנהגותיות.מערכת שלהם שומרת על "מודל סביבה מהיר" המעדכן ב -100 הרץ, מיזוג LIDAR, מצלמה ונתונים מכ"ם.המסד הנתונים הבסיסי חייב לתמוך ב- קידוד גבוה ושאילתות בנקודת זמן - יכולות שחנויות זיכרון מותאמות לזיכרון מספקות הרבה יותר מאשר חלופות מבוססות דיסק.

שילוב בינה מלאכותית

טכנולוגיות מסד הנתונים מתפתחות מעבר לאחסון פשוט ושיקום כדי להפוך למשתתפים פעילים בזרימות עבודה של AI. צינורות מודרניים AV משלבים מודלים למידת מכונה ישירות עם שכבת מסד הנתונים, המאפשרים פיזור תכונה, ייצור תכונה, ומודל מחדש אימון.

חנויות ל AV Development

(ב) תכונת ה[[המאה ה-20]] היא [[המאה ה-20]], [[1924]], [[1924]]]], [[1924]]]], [[1924]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]] ו[[1924]]]]]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[[[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[[[1924]]]], [[[[[[1924]]]]]]]]]]]], [[[[1924]]]]]]]], [[[[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[[[[[[[[[[[[[[[[[[[[[[[1924]]]] [[[[[[[[[[[[[[[[[[[[[[[[[[[[

מודלים מעמיקים של למידה מייצגים לעתים קרובות אובייקטים (ד'ריסטיים, כלי רכב, סימנים) כמאגרי מידע תלת-ממדיים כגון: מאגרי מידע (FLT:0PineconeofFLT:1, pLT:2MilvuscioFLT) ו-FLT:4 WeaviateFLT:5 מאפשר AVs לבצע חיפושים דומים על פני המצעים הללו ב-i2, במקום להשתמש במקרים נדירים, במקום להשתמש בהם כדי לזהות רק במקרים נדירים.

ניהול מודל ניהול חיים

כחברות AV אוספים מטבוליזם של נתונים מתוייגים, הם צריכים לנהל גרסאות של נתונים, לעקוב אחר מודל קואז', ולהבטיח התחדשות כלים כמו FLT:0DVCigFLT:1 ו-FLT:2LakeFSreaFLT 3 מביא שליטה בגירסת נתונים בקנה מידה גדול, בעוד מסדי נתונים מיוחדים מתעדים את metadata של כל אימון, כולל שיפור פרמטרים קריטיים והתאמה מדויקת עבור נתונים.

מסדי נתונים של חיישנים וטלמטארי

רוב הנתונים המיוצרים על ידי כלי רכב אוטונומיים הם זמניים מטבעם: סריקות LIDAR, הודעות אוטובוס יכולות, קואורדינטות GPS, ומסגרות מצלמה כל נושאות פעמים.מסד נתונים למטרות כלליות נאבקות לעתים קרובות עם הכתוב באמצעות חישוב ותבניות השאילתה הנדרשות על ידי נתוני עתירי זמן.

(FLT:0)InfluxDBirFLT:1 ו- (FLT:2TimescaleDBIRFLT 3: 3 (סיומת PostgreSQL) הם אפשרויות מובילות.הם מציעים מדיניות שמירת נתונים אוטומטית, ירידה, ו מצטברים רצופים המאפשרים למהנדסים לשאילתת מגמות היסטוריות ארוכות (למשל, "מהירות צומת ב X מעל שבוע האחרון") ללא סריקה של נתונים גולמיים כמו ספקי ענן וספקי תיבות של VDLFD.

מגמה נוספת היא השימוש ב-FLT:0 (Apache DruidFLT) 1 עבור ניתוח בזמן אמת על הזרמת טלמטרי מכל ציים. Druid תומך שאילתות תת-שניות על טריליון אירועים, המאפשר למנהלי צי לפקח על בריאות כלי רכב, הידרדרות סוללות, וגילוי אממטי כמעט בזמן אמת.

מסדי נתונים של High-Definition Mapping ו-Ring

כלי רכב אוטונומיים תלויים במפות בעלות הגנה גבוהה המייצגות גיאומטריה של הכביש, סימני תנועה, מכשולים דינמיים כמו רשת של צמתים ונקודות מקושרות. מסדי נתונים של Relational אינם מתאימים לשאילתות טראנסליות כגון "מצא את הנתיב הקצר ביותר מנקודה A לנקודה B הימנעות אזורי בנייה."

(FLT:0)Neo4jigFLT:1 ו- (FLT:2 אמזון נפטון ראט 3 משמשים על ידי AV חברות כדי מודל מפה להתנצלות, לאחסן את גרף הכביש, ולתמוך עדכונים בזמן אמת בזמן אמת, למשל, כאשר רכב מקבל הודעת דרך V2X (הרכב אל הכל), מסד הנתונים יכול במהירות לשחזר את נתיבי מסד הנתונים המורכבים של טבלת דרכים כמו למשל, אשר ניתן גם לעדכון של כלי רכב מורכב של טבלאות מהירות, אשר ניתן גם על פני השטח של טבלאות מהירות, כגון: "מסלולאריכות" (GIRF) טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות טבלאות טבלאות טבלאות טבלאות מהירות טבלאות מהירות טבלאות מהירות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות גרף (GIRECT טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות טבלאות סוללת טבלאות טבלאות

בנוסף, מסדי נתונים גרפי תומכים מפות גירסאות, ומאפשרים למהנדסים לבחון תמונות מיפוי שונות בסימולציה.על ידי אחסון גרסאות מפה כמו תת-graphs מתוייגות, הצוותים יכולים לחזור אחורה שינויים ולהתרבות אירועים שעלולים להיגרם על ידי נתוני מפת stale.

אגמים ו-Cloud-Native Storage

לאור נפח ה- AV של נתוני AV, ארגונים רבים עברו ממחסני נתונים מונוליטיים ולמען אגמים נתונים שנבנו על אחסון אובייקטים כגון FLT:0 Amazon S3cioFLT:1, FLT:2 Google Cloud StorageFLT 3, או FLT:4 אחסון Blob StorageFLT:5 למערכות אלה מספקות כמעט יכולת בלתי מוגבלת ומאפשרות הפרדה של compenseFLT 3 ועלויות קריטיות לתכונת אחסון.

(האדריכלות של האגם המודרנית) משתמשת בתבניות קובץ עמודה כגון:0Apache Parktve 1 ו-FLT:2ORCIRFLT 3, כדי לדחוס ולאינדקס AV חיישן.com מנועי קווירי כמו FLT:4PrestoFLT:5, FLT:6Apache SparkFLT 7, ו-FLTILDL , כולל שאילתות זולות של ETLODYDYDYDICOICOI , כולל ® DILDLERDICOILDERICOILDERICOICOICODILDERDILDERICODICOERDICOER DICOSTERDER , , , , 5, .

(ב) מגמת מגמת חיזוי גדולה היא אימוץ של פורמטי שולחן פתוחים:0 (FLT:1 ), כגון:2Apache IcebergcioFLT 3, FLT:4Delta LakeFLT:5, ו-FLT:6HudiFLT 7 אלה מביאים עסקאות ACID, schema Evolution, ו-Time to אגמים עבור AV, במיוחד זמן הוא מאפשר הערכה היסטורית של חומרת נתונים, במיוחד, אשר קיים, אשר מאפשר בשלב זה קיים, במיוחד, כגון:

גירסאות וסימולציות פיטורי

סימבול הוא אבן הפינה של פיתוח AV, וסימולציה דורשת גישה לתרחישים ריאליים, התחדשות טכנולוגיות מסד נתונים משמשים כעת לגרסה-שליטה לא רק קוד אלא גם את כל הנתונים הקשורים לריצה סימולציה - כולל נתוני חיישן, תוויות אמת קרקעיות, גרסאות מפה ומחסומים מודל.

(FLT:0) ,VCigtureFLT:1 (Data Version Control) משלב עם אחסון בענן כדי ליצור מערכת גרסה דמוית גילט עבור נתונים גדולים.כאשר סימולציה מגלה רגרסיה, מהנדסים יכולים לעקוב אחר הנתונים המדויקים וגרסאות המודל שיצרו את הכשל.חלק מהצוותים משתמשים ב-FLT:2LakeFSFSFSFSFSFSFSFSLT 3-3 כדי ליצור "מוחות" מבודדות" של נתונים, המאפשרים של אגם, מקבילה, המאפשרים ללא נתונים מקבילה.

עוד תרגול מתפתח הוא אחסון יומני סימולציה במסד נתונים שניתן לסווג לניתוח סטטיסטי.על ידי הקלטת כל מסלולו של השחקן, מהירות ופלט החלטות במהלך סימולציה, מהנדסים יכולים לרוץ שאילתות מצטברות כמו "למצא את כל הפרקים של הסימולציה שבו הרכב לא נכנע בתחנת ארבע דרכים".זה הרבה יותר יעיל מאשר מדריכים של קבצים גולמיים.

אבטחה, פיצוי והגדלת נתונים

כלי רכב אוטונומיים נושאים נתונים רגישים – כולל קטעי מצלמה של חללים ציבוריים, עקבות מיקום GPS, ומידע פוטנציאלי לנהג אישי – אשר מעלה חששות פרטיות ואבטחה משמעותיים.מערכות מסד הנתונים של נתונים חייבות כעת לספק הצפנה חזקה במנוחה ובמעבר, בקרת גישה ספוגה, וביקורת על מנת לציית לתקנות כגון GDPR, המק"ס"סA ו- ISO 262.

(הופנה מהדף ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

נתונים מבוססי blockchain מוכחים הוא מגמה נוספת של נאט"ו. על ידי אחסון של נתוני AV קריטי בלוקצ'יין, יצרנים יכולים ליצור מסלולי ביקורת מנוקמים עבור שיקום תאונות וציות רגולטוריות. בעוד לא עדיין הזרם המרכזי, כמה קונסורטיה (למשל, FLT:0Mobility Open blockchain InitiativeFLT:1) הם פיילוט גישות אלה.

עתיד Outlook: Quantum, פדרated Learning, and Autonomous Database

טכנולוגיות מסד הנתונים התומכות בהנדסת AV ימשיכו להתפתח ב-Tydem עם התקדמות חומרה ורשתות.

(FLT:0)Quantum DatabasesFLT:1 נשאר בשלב המחקר, אבל הם מחזיקים את ההבטחה לפתרון אופטימיזציה ובעיות חיפוש כי הם בלתי-מעורר עבור מסדי נתונים קלאסיים.לדוגמה, תכנון נתיב בגרף עם מיליוני צללים (מציגים פלחי דרכים) יכול להתבצע באופן אקספוננציאלי מהר יותר באמצעות אלגוריתמים מוקדמים של חברות כמו LT:2DWir-FirdWirdua 3 מציע אפילו שאילתות ביניים מסוימות.

(FLT:0) למידה משופרת של למידה (FLT:1) מעצב מחדש את האופן שבו נתוני AV נאספים ומשמשים לאימון מודל.במקום מרכזי במימוש כל נתוני החיישן, המודל מאומן באופן מקומי על כל רכב ורק עדכונים ⁇ מועברים למסד נתונים מרכזי. אדג 'מאגרי נתונים חייבים לאחסן פרמטרים מקומיים והיסטוריית הכשרה, מסונכרן עם מודל גלובלי של מודלים מחדש.

לבסוף, העלייה של מסד הנתונים של Oracle Autonomous Database ו-Amazon Aurora – היא שמשימות ניהול מסד נתונים שגרתיות רבות כמו אינדקס, כוונון ומדפיות יטופלו על ידי AI.עבור צוותים, זה מתורגם להורדת ראש ומשך זמן נוסף על הנדסה ולא ניהול מסד נתונים.

לסיכום, טכנולוגיות מסד הנתונים המתבססות על הנדסה אוטונומית של כלי רכב מתפתחים במהירות כדי לענות על הדרישות הייחודיות של זמן אמת, גבוה, ניהול נתונים קריטי בטיחותי.מממחלוקת מסדי נתונים וחנויות בתוך-זיכרון ועד לשעות הזמן ומאגרי נתונים גרף, כל מגמה מתייחסת לנקודת כאב מסוימת בצינור הנתונים AV.מהנדסים שעדיין לא יהיו מצוידים בהתפתחויות אלה כדי לבנות מערכות אמינות, בטוחות, בטוחות ומאובטחות.

External References:
  1. (FLT:0)Waymo Fleet Engineering - ניהול נתונים בזמן אמת בקנה מידה 1
  2. (FLT:0)InfluxData - מסדי נתונים של Time-series עבור כלי רכב אוטונומיים
  3. (FLT:0)Neo4j - מאגר נתונים של מיפוי HD ואופטימיזציה של נתיב
  4. (ב) אגם קליטה (FLT:0) - פורמטי שולחן פתוחים עבור AV dataigtureFLT 1
  5. (FLT:0)Fair AI - נתונים blockchain מוכחים עבור תאימות לרכב אוטונומי 1