מבוא לצ'אפאצ'י Spark בהנדסה רובוטית

הנדסה רובוטית נכנסה לעידן שבו נפח נתונים, מהירות ומגוון רחב יותר יכולת העיבוד של מערכות חד-פעמיות מסורתיות.מכלי רכב אוטונומיים המייצרים terabytes של נתוני חיישן לשעה לממני תעשייה הדורשים לולאות שליטה תת-מילות, מערכות רובוטיות מודרניות דורשות ארכיטקטורת עיבוד נתונים שיכולה לדרג אופקית, לטפל בקלטות, ולתמוך בתבניות למידה.

מה זה Apache Spark?

Apache Spark היא מסגרת מחשוב מבוזרת שנועדה לעבד נתונים בקנה מידה גדול על פני אשכולות של מכונות.בניגוד לקודמת Hadoop MapReduce, אשר מסתמכת על עיבוד מבוסס דיסק, Spark מבצעת חישובים בקנה מידה גדול כדי להפחית את הגמישות באופן משמעותי.אדריכלות שלה מורכבת ממנהל אשכול, שכבת אחסון מבוזרת (לעתים קרובות HDFS, S3, או קבצים מקומיים), ותוכנית נהג כי לתאם משימות על פני Python, כולל פונקציות מרובות, כולל פונקציות, כולל פונקציות, פונקציות, כולל R.

Spark ’ הפשטות הליבה היא ה-Dאטה המחוספסת (D), אוסף של רכיבים שאינם סובלניים שניתן לעבד במקביל. API ברמה גבוהה יותר כגון DataFrames ו-Datasets מספקים ביצוע מותאם אישית באמצעות אופטימיזציה Catalystr ו-Tungsten ביצוע מנוע. אלה מופשטים מאפשרים למהנדסים לבטא טרנספורמציה נתונים מורכבים עם קוד מקבילה תוך תועלת מקבילה והחלמה אוטומטית.

אפשרויות ל Spark for Robotics

Spark Core ו-RDDs

Spark Core מטפל ב- I/O, לוח זמנים וניהול זיכרון.עבור רובוטיקה, RDDs יכול לייצג אוספים בלתי מסודרים של קוראי חיישן, רשומות יומני או פלטי סימולציה. תפעול כמו מפה, סינון, צמצום, ולהצטרף למהנדסים לנקות, לאסוף, ולהפוך נתונים ביעילות.הטבע הסובלני של RDDs מבטיח שגם אם עובד לא נכשל באמצע החסימה, המשימה יכולה להיות מהנתונים ללא אובדן קו.

Spark SQL ו-DataFrames

Spark SQL מאפשר לשאילתת נתונים מובנים באמצעות SQL או ה-DataFrame API. זה שימושי במיוחד עבור נתונים רובוטיים שיש להם צ'מה קבועה, כגון יומני חיישן זמן, טבלאות קליברציה, או פרמטרים תצורה. מהנדסים יכולים להפעיל שאילתות כדי לסנן שאילתות, סטטיסטיקות חישוביות, או להצטרף מספר מקורות נתונים ללא כתיבת קוד מיפוי נמוך ברמת דיוק.

MLlib – Machine Learning at Scale

MLlib הוא Spark ’ ספריית למידת מכונה קלאבילית, הכוללת אלגוריתמים לסיווג, רגרסציה, סינכרון שיתופי, והפחתה של מימדיות. עבור רובוטים, MLlib יכול לשמש כדי להכשיר מודלים עבור זיהוי אובייקטים, תכנון נתיב, זיהויomaly בנתונים חיישן, וחיזוק הלמידה מחדש buffers.הספריה מספקת גם מהפך, APIs, צינורות, ו-Facters עם כלים משולבים עם phos עם phos.

צילום: Real-Time Processing

מערכות בקרה רובוטיות דורשות לעתים קרובות עיבוד נתונים מחיישנים עם מהירויות נמוכות.סטרימינג מובנה מרחיב Spark SQL כדי להתמודד עם זרמי נתונים לא ממוחזרים באמצעות מיקרו-batch או מצבי עיבוד רצופים.מהנדסים יכולים להגדיר שאילתות הזרמה המצרפיות, מסנן, או להצטרף לנתונים החיישן הנכנסים עם שולחנות סטטיים (למשל, מפה נתונים או עקומות cabration).ה מספקת בדיוק smantics וניתן לגשת ל-F כדי למנוע כגון מערכות בקרה, כגון ממשק, או בקרת HDS.

GraphX for Spatial and Network Analysis

GraphX הוא Spark ’ API לעיבוד גרף.יישומים רובוטיים הכוללים מפות קישוריות, תיאום רב-רוב-רובובוט, או רשתות kinematic יכול להפיק תועלת מאלגוריתמים GraphX כגון PageRank, רכיבים מחוברים וספירת משולש. בעוד שלא בשימוש נרחב כמו MLlib או תאורה מבנית, GraphX מספק דרך מדרגית לנתח מערכות יחסים בין רובוטים, ציוני דרך, או תת-משימות באופן מבוזר.

תגיות Spark in Robotics Engineering

עיבוד נתונים של חיישן Scale

רובוטים מודרניים מסתמכים על חיישנים מגוונים & mdash;LiDAR, מצלמות, IMUs, קודקודים, וחיישנים Haptic ו-mdash; כל זרם של נתונים. Spark יכול לזרז את הזרמים האלה במקביל, לבצע תיקונים של מסגרת מדידה, סינון רעש, ופתיחת נתונים ממספר מקורות לסביבה קוהרנטית.

יתר על כן, Spark ’ הזרמת המבנה יכולה להתמודד עם חלונות זמן לעיבוד נתונים זמניים. רובוט מחסן יכול לאסוף קריאות חיישן על פני חלונות מזחלות כדי לזהות omalies במגמות הנוכחיות או הטמפרטורה, מה שגורם תחזוקה מונעת לפני שכישלון מתרחש.השילוב עם ברוקרים סטנדרטיים של הודעות כמו Apache מאפשר Spark לקרוא ישירות מאוטובוסי נתונים חיישן, צמצום הגמישות בין דור נתונים וניתוח.

שילוב למידת מכונות עבור Perception ו- Decision-Making

אימון רשתות עצביות עמוקות לתפיסה נשאר GPU-intensive, אבל Spark משלים את זה על ידי טיפול בהכנת נתונים, מיצוי תכונה ומודל של בדיקות נתונים. צינורות נתונים שנבנו עם Spark יכולים לעבד מיליוני תמונות מתוייגות, לייצר נתונים משופרים, וסטטיסטיקות compute המשמשות כדי להתאים את הקלטות.לאחר אימון עם מסגרות כמו TensorFlow או Pyrch (באמצעות Spark &qurs; ניצוצות) יכול גם להיות תומך בדגמיצים לדגמיצים על מודלים עתידיים.

לקבלת החלטות, סוכני למידה חיזוק דורשים לעתים קרובות לשחק שובפי כי לאחסן ניסיון פעוטות. Spark ’ אחסון מבוזר יכול לנהל את החבלים האלה על פני אשכולות, המאפשר סוכנים כדי מדגם חוויות מגוונות ממקרים מרובים בו זמנית.בנוסף, MLlib מספק אלגוריתמים מסורתיים שימושיים עבור שליטה מבוססת רגרסיה, כגון נסיגה ליניארית של מערכת זיהוי או יערות אקראיים עבור סיווג שטח.

מערכת בקרת אופטימיזציה באמצעות הדגול הגדול

העברת סימלו-אל-מציאות היא אתגר מפתח במהנדסים הרובוטיים.מהנדסים מנהלים אלפי סימולציות כדי לכוון פרמטרים (למשל, PID מרוויח, אופטימיזציה טרפירית) Spark יכול למקביל את הסימולציות הללו עובר על פני אשכול, כל אחד פועל במשימה נפרדת הקשורה למנוע פיזיקה (למשל, MuCo, Gazebo).

Spark יכול גם לעבד את הפלט של סימולציות לניתוח מונטה קרלו, מחקרים רגישות, ואימות סטטיסטי.לדוגמה, מניפולטור ’ גבולות טורק משותפים יכולים להיות מוטרדים על פני אלפי זרעים אקראיים כדי להבטיח עמידות.המידע המתקבל מאוחסן בפורמט פארקט לניתוח מאוחר יותר עם ספארי או שילוב לתוך לוח נתונים.

סימולציה ובדיקה

מעבר לפרמטר כוונון, Spark תומך צינורות אינטגרציה רצופים עבור בדיקות תוכנה.יחידות רובוטיות, בדיקות אינטגרציה ובדיקות רגרסיה ניתן לחלק על פני אשכול, כל פועל במכלים מבודדים. Spark ’ קואזאז' של RDD יכול לעקוב אחר ממצאים מבחן מבחן, וכל בדיקה כושלת יכול להיות reruns באופן אוטומטי.זה הוא בעל ערך במיוחד עבור קודים גדולים עם נהגים רבים, בקרה, תוכניות, מערכות בקרה, תוכניות, כי יש לאמת מפני נתונים אמיתיים.

היתרונות של השימוש Spark in Robotics

  • (FLT:0Speed:EveFLT:1) חישוב In-memory מאיץ אלגוריתמים רבי-המידה כגון ירידה ⁇ סטית עבור זיהוי מערכת או ציפייה למקסימום עבור חיישן calibration.
  • (FLT:0) ,Scalability:FLT:1 ככל שרשתות רובוטיות או חיישן גדל, אשכולות Spark ניתן להרחיב על ידי הוספת נקודות, טיפול בנתונים מאלפי רובוטים ללא שינויים ארכיטקטוניים.
  • (FLT:0) lexibility:FLT:1 Spark תומך בפורמטים מרובים של נתונים (Parquet, Avro, JSON, CSV) ומשתלב עם אגמים מודרניים של נתונים ופלטפורמות זרימה בשימוש בתעשייה.
  • (FLT:0) Machine Learning Supporteur:FLT:1 Built-in MLlib מפחית את הצורך ביישום מותאם אישית, ושילוב עם ספריות ML חיצוני מאפשר צינורות מקצה לקצה מעומס נתונים לפריסת מודל.
  • (FLT:0)Fault Tolerance: FLT:1 ReDD lineage ו-Clocking להבטיח שמשרות עיבוד נתונים ארוכות טווח יכולות לשרוד כישלונות ללא פגע, קריטיות לפעילות רובוטית 24/7.
  • (FLT:0) Unified Engine:FLT:1 במקום להשתמש בכלים נפרדים לעיבוד אצווה, הזרמה ולמידה מכונה, מהנדסים יכולים להשתמש פלטפורמה אחת, לפשט את הארכיטקטורה ולהקטין את התחזוקה מעל הראש.

הטמעת Spark במערכות רובוטיות

שלב 1: Define Data Ingestion Layer

להתחבר אל מקורות הנתונים של חיישן. עבור זרמי בזמן אמת, להשתמש בקפאה או MQTT כמתווכים. Conform Structuredסטרימינג לקריאה מן הנושאים האלה עם schema נאותה. לעיבוד אצווה של יומני היסטורי, להגדיר Spark לקרוא מכמה דירקטורים ב- HDFS או S3 באמצעות ממשק API של DataFrame.

שלב 2: עיצוב עיבוד נתונים

שינויים החלים לנקות ולנרמל את נתוני חיישן. השתמש ב- Spark SQL כדי לסנן את ה-Outliers המבוססים על סף סטטיסטי, ליישם שינויים לתאם באמצעות UDFs (פונקציות מוגדרות למשתמש), ולצטרף לזרמים מרובים על ידי פעמיםtamp. Store תוצאות ביניים בפורמט Parct לגישה עמודה יעילה. שקול באמצעות דלתא עבור עסקאות ACID ויכולות נסיעות, אשר הם בעלי ערך עבור ניסויים Reproduction.

שלב 3: Integrate Machine Learning

עבור משימות למידה בפיקוח, להכין את נתוני האימון באמצעות DataFrames. השתמש MLlib ’ של מהפך תכונה (למשל, StringIndexer, OneHotEncoder, StandardScaler) וכלים cross-validation כדי להתאים מודלים.יצוא מודלים מאומן באמצעות PMML או Map עבור פריסה על מכשירים.

שלב 4: סיקור ו- Monitor

הגדר מנהל אשכולות כגון YARN, Mesos, או Kubernetes כדי להפעיל עבודות ספארקס בייצור. השתמש Spark ’ ניטור UI כדי לעקוב אחר התקדמות עבודה, שימוש בזיכרון, ו-skew משימה. יישום התראה עבור כשלי עבודה באמצעות לוח זמנים כמו Apache Airflow או צופה מותאם אישית.

שלב 5: ריבוע ומדייק

ככל שהצי הרובוט גדל, מעקב אחר ניצול משאבים והתאמה לגודל של אשכול באופן דינמי. השתמש Spark ’ הקצאה דינמית לשחרור משאבים של idle במהלך תקופות פעילות נמוכה.בדרך כלל לבדוק את צינורות הנתונים עבור צווארי בקבוק, כגון פיצול skew או שחוקים יקרים, וייעל על ידי refining אסטרטגיות חלוקה מחדש או באמצעות שידורים עבור נתונים קטנים.

אתגרים וכיוונים עתידיים

אתגרים נוכחיים

  • (FLT:0) ,Latency:FLT 1 למרות Spark מציע הזרמת, עדיין יש לו נטייה גבוהה יותר בהשוואה מערכות בזמן אמת ייעודי כגון Apache Flink או לולאות אירוע C++ מותאמות אישית.עבור לולאות בקרה הדורשות תשובות מיקרו-שניות, Spark הוא בלתי מתאים; עדיף לתהליכים שסובלים תת-שניות לשנייה עד שניות של עצלות.
  • (FLT:0System Complexity:FLT:1) קביעת ושמירה על אשכול Spark דורש מומחיות במערכות מבוזרות, תצורה רשת וניהול משאבים. צוותי רובוטיקה קטנים עשויים למצוא את המשמעותי ביותר.
  • (FLT:0) Data Locality:FLT:1) הנתונים הרובוטיים נוצרים לעתים קרובות על גבי מכשירים עם רוחב פס רשת מוגבל, העברת כל הנתונים הגולמיים אל אשכול ספא מרכזי יכול להיות לא מעשי.
  • (FLT:0) מיוחד סקיל גאפ: FLT:1ua מהנדסים חייבים להבין הן רובוטיות והן מושגים הנדסיים נתונים.מציאת אנשים עם מומחיות ב Spark, Machine Learning, ו- Control Systems מאתגרת.

כיוונים עתידיים

קהילת הרובוטיקה עובדת באופן פעיל על מנת לחדד את הפער בין מחשוב מבוזר לבין רובוטיקה קצה. פרויקטים כמו Apache Spark ’ התמיכה של Kubernetes מאפשרת תזדורות טובים יותר על אשכולות heterogeneous הכוללים נודים דלים קצה קצה קצה כוח נוסף, שילוב של Spark עם פרוטוקולים קלים (למשל, gRPC, MQTT) משפר יכולות בזמן אמתיות מבטיחות אחר כדי לנהל סימולציה דיגיטלית.

יתר על כן, ההתקדמות בפדרציה שאילתה מאפשרת Spark לגשת לנתונים ממקורות נפרדים (למשל, על מסדי נתונים על-רובוט, אחסון בענן, חוות סימולציה) מבלי להעביר את הנתונים קודם.זה מקטין את הרשת מעל הראש וההירות. לבסוף, כמו פלטפורמות רובוטיות יותר לאמץ את ROS 2 עם DDS, מחברים מקומיים כדי Spark עשויים להופיע, המאפשרים בנייה חלקה של נושאים לאנליזה.

מסקנה

Apache Spark מציעה מערך משכנע של יכולות עבור מהנדסי רובוטיקה שצריכים להתמודד עם עיבוד נתונים בקנה מידה גדול, זרימת זמן אמת ולמידה מכונה במסגרת מאוחדת. על ידי מינוף Spark Core, SQL, MLlib, הזרמת מבנים ו- GraphX, צוותים יכולים להאיץ פיתוח, שיפור יכולת הדרגתית, ולבנות יותר מערכות בקרה חזקות.

(ב) לקריאה נוספת, להתייעץ עם ה-FLT הרשמי:0 (Apache Sparkmark) ,Apache Sparkmarker (FLT) , 2) ,Apache Sparkmarks תיעוד של רשומות מופצות ב-FLT:4, לחקור את המחקרים האחרונים על מחשוב מבוזרים באמצעות FLT:4 סקר זה FLT:5 עבור דוגמאות של ידיים, ה-FLT:6 Databricks מספק 7.