בתחום המתפתח במהירות של הנדסה, היכולת לעבד ולנתח גדול מחשב (CAD) נתונים נתונים ביעילות הוא קריטי.מודרני פיתוח המוצר מחזורי הביקוש מהיר יותר, סימולציות מורכבות יותר, ושילוב הדוק יותר בין עיצוב וייצור.קבוצות עיבוד מסורתיות חד-פעמיות מסורתיות, לעתים קרובות נאבקות עם נפח, מהירות ומגוון נתונים שנוצרו במהלך גלגולי עבודה.אפ, מסגרת מחשוב פתוחה עם מחזורי מחשוב מסורתיים, אשר החלוצה ימים של עיבוד נתונים מתקדמים, אשר מופעלים, אשר מופעלים של טכנולוגיות, אשר מופעלים, אשר מופעלים, אשר מופעלים, אשר מופעלים, אשר מאי פעם, החלים, החלים באמצעות סימולציה של טכנולוגיות מתקדמות, החלים, החלים באמצעות סימולציה, כדי להאיץ את תהליכי עיבוד נתונים מתקדמים, כדי להאיץ את תהליכי עיבוד נתונים מתקדמים, החלים של טכנולוגיות מתקדמות, כדי להקליד, כדי להאיץ את תהליכי עיבוד נתונים מתקדמים, החל ממעבדות באמצעות סימולציה, החל ממעבדות באמצעות סימולציה, החלים, החלים באמצעות סימולציה, תוך כדי להאיץ את תהליכי עיבוד נתונים מתקדמים, במהירות, במהירות, מהירות הנדסה, ומאפשרים באמצעות סימולציה, במהירות, באמצעות סימולציה, וטכניקות טכנולוגיות מתקדמות של טכנולוגיות מתקדמות, אשר מופעלת, כדי להאיץ את מהירות הנדסה, כדי להאיץ את מהירות, ומאפשרים של

הבנה: Apache Spark

Apache Spark הוא מנוע ניתוח אחיד המיועד לעיבוד נתונים בקנה מידה גדול.חדשנות הליבה שלה טמונה בנתונים מבוזרים מחדש (RDDs), המאפשרים נתונים להיות מאוחסנים בזיכרון על פני אשכול ו recomputed אוטומטית במקרה של כישלונות. Spark מספק ספריות ברמה גבוהה יותר בנוי על גבי RDDs: Spark SQL מובנה עבור שאילתות נתונים, lib for Learning, GraphX for , for גרף עבור עיבוד, וחדש עבור נתונים חזותיים עבור מודלים מתואמים.

Spark תומך בשפות תכנות מרובות - Python, Java, Scala ו-R - אשר מוריד את המחסום למהנדסים ולמדענים נתונים שאינם מומחים במערכות מבוזרות.המסגרת מפשטת את המורכבות של ניהול אשכול, תזמון משימה וסובלנות אשמה, ומאפשרת למשתמשים להתמקד בהיגיון. בהשוואה לפרדיגמות ממפה, Spark יכולה להשיג 10-100 שינויים בביצועים עבור אלגוריתמים אינטראקטיביים ואינטראקטיביים לשאילתות של המשחק שלה, כמו סימולציה מתקדמת, או סימולציה של קבוצות הפעלה שונות.

תכונות ארכיטקטוניות חשובות שחשובות בהקשרים הנדסיים כוללות:

  • (FLT:0) חישובי:FLT:1 תוצאות ביניים נשמרות ב- RAM, צמצום דרמטי של הדיסק I / O בעת הפעלת לולאות עיצוב או אופטימיזציה רב-ביקורתית.
  • (FLT:0) הערכה עצלנית: טרנספורמציות FLT:1 תורות ואופטימיזציה לפני ביצוע, המאפשר Spark לשלב פעולות ולצמצם נתונים המתפתלים על פני האישכול.
  • (ב) [15] סובלנות באמצעות קופסה: 1 (בתרגום חופשי: ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (FLT:0) אינטגרציה עם אגמים נתונים:FearLT:1) Spark יכול לקרוא מחנויות אובייקט בענן (אמזון S3, Azure Data Lake Storage, Google Cloud Storage) ו-Premises Hadoop Distributed File System (HDFS), מה שהופך את זה קל לרכז את מאגרי ה-CAD וסימולציות.

משתמשים יכולים להתחיל עם Spark באמצעות פלטפורמות מנוהלות כמו FLT:0DatabricksFLT:1 או על ידי פריסת אשכולות קוד פתוח על התשתית שלהם.האתר הרשמי של Apache Spark (spark.ap.org) מספק תיעוד מקיף, כולל Python ו- Scala APIs רלוונטי במיוחד לעיבוד נתונים הנדסיים.

Spark in Engineering Design Automation

אוטומציה עיצוב הנדסי מתייחס לשימוש בתוכנה כדי ליצור, להעריך, ולייעל חלופות עיצוב עם התערבות אנושית מינימלית. Parametric מודלים כלים, סימולציות אוטומטיות עבודה סימולציה, ואלגוריתמים עיצוב ניוון הכל נופלים תחת המטריה הזאת.כפי שמורכבות המוצר עולה - לשקול מטוס מודרני עם מיליוני חלקים או שבב עם מיליארדי טרנזיסטורים - הנתונים שנוצרו במהלך חקר הופך עצום.

Spark מאיצה את אוטומציה העיצובית על ידי מקבילה של הדור והערכת השלבים.לדוגמה, אלגוריתם עיצוב טורי עשוי לייצר אלפי ג'קמטים מושגיים על ידי קלטות שונות כגון תנאים חומריים, עומס ומגבלות ייצור.ללא מקבילות, הערכת מרחב עיצוב זה יהיה רצף איטי ואט. Spark יכול לחלק את המשימות על פני אשכול, הפעלתו ניתוחים סופיים על כל מועמד אחר תוצאות מקבילים, ואז הם מתכנסים למהנדסים מהר יותר מאשר פתרונות מתקדמים יותר מאשר שיטות מסורתיות.

שקול תרחיש בדינמיקה נוזלית חישובית (CFD): צוות צריך לנתח את זרימת האוויר על גוף מכונית עבור 50 עיצובים מקלקל אחוריים שונים.כל סימולציה לוקח בערך שעתיים על עבודה אחת.עם Spark, הצוות יכול לחלק את 50 העבודות על פני 25 נקודות, להשלים את המחקר parametric כולו בתוך שעה - כולל יצוא נתונים ופוסט-מעבדהמהירות זו מאפשרת למהנדסים נוספים עיצוב ולקבל החלטות מוקדמות יותר, כאשר הם שינויים התפתחותיים מהירים יותר בשלב מוקדם יותר.

Spark משלבת גם עם תוכנה הנדסית פופולרית באמצעות מחברים ו- APIs.לדוגמה, ccanSYSmentFLT:1 ו-FLT:2Dassault SystèmesFLT 3 לספק מנגנונים כדי להפעיל סימולציה exeables מ- Spark משרות, טיפול בכל סימולציה כמשימה בצנרת נתונים גדולה יותר.

המונחים: Parametric Studies

כלים עיצוב פרדוקסליים כמו Autodesk Fusion 360, Siemens NX ו- PTC Creo מאפשרים למהנדסים להגדיר פרמטרים המוליכים גיאומטריה: אורך של קרן, זווית של כנף, עובי של פגז. Spark יכול לשייך את הגורף על פני ערכים אלה.תוכנית נהג ספארקס קורא את הפרמטר שנקבע מקובץ תצורה, ולאחר מכן משדר את מודל ה-CAD לכל העובדים.

אופטימיזציה של Loops

אופטימיזציה רב-אובייקטיבית כוללת לעתים קרובות אלגוריתמים גנטיים או שיטות של חלקיקים הדורשים מאות דורות ואלפי הערכות פונקציונליות. MLlib של Spark מספק יישום מבוזר של אלגוריתמים ואופטימיזציה גנטיים שניתן ליישם ישירות למטרות הנדסיות.לדוגמה, בעיית אופטימיזציה טופולוגית יכולה להיות מגובשת כמשימה דמוית נתונים, שבה כל דור מעריך מועמד מרובים להתנצלות בו זמנית.

היתרונות העיקריים של Spark ב- Design Automation

  • (FLT:0Speed:EveFLT:1) עיבוד תוך-זיכרון מקטין את השקיפות של גישה לנתונים על ידי פקודות של גודל. צוותי הנדסה מדווחים 20-50x מהירות עבור אלגוריתמים החלים בהשוואה לתסריטים ממושמעים על ידי MapReduce או רק תסריטים.
  • (FLT:0) calScalability:0) קלוסטרים יכולים להגיע מ קומץ של צמתים למאות, טיפול במאגרי מידע של CAD העולה על הזיכרון של כל מכונה בודדת.
  • (FLT:0)Automation:FLT:1 צינורות Spark יכולים לבודד את כל זרימות העבודה עיצוב - נתונים אינgestion, ניקוי, סימולציה, לאחר עיבוד, ודיווח - במשרות חוזרות ונשנות.זה מקטין את המאמץ ידני וטעות אנושית, תוך מתן מעקב ודרכי ביקורת.
  • (FLT:0) אינטגרציה עם AI /ML:03F:031) MLlib של Spark הופכת אותו טבעי לשלב למידת מכונה לאוטומציה עיצובית.מהנדסים יכולים לבנות מודלים חלופיים שחיזוי תוצאות סימולציה בהתבסס על פרמטרים עיצוב, ובכך להחליף סימולציות יקרות עם תחזיות מהירות במהלך אופטימיזציה.
  • (FLT:0) משוב בזמן אמת: 1FLT 1 עם הזרמת מבנה, Spark יכול לעבד נתונים חיים מטיפוסי זיכרון מצויד חיישן או קווי ייצור, להאכיל את נתוני הביצועים בחזרה למודלים עיצוביים לשיפור מתמשך.
  • יעילות:0 (Cost יעילות:FLT:1 על ידי איחוד נתוני עיצוב וסימולציה בפלטפורמה משותפת (למשל, אגם נתונים), ארגונים לחסל את סילקו הנתונים ולהפחית אחסון וניתוק מעל הראש.

עיבוד של CAD Data עם Spark

נתוני CAD מורכבים לשמצה: זה כולל גיאומטריה (מבטיחים, מוצקים, מיש), טופולוגיה (קישוריות, דבקות), metadata (חומר, סובלנות, מספרים), ולפעמים תוצאות סימולציה מוטבעות. פורמטים קובץ הם מגוונים: פורמטים ילידים כמו SolidWorks SLDPRT או CATPart, פורמטים נייטרליים כמו STEP ו- IGES, ו- tes מוכרים כמו פורמטים STL ו-J דורשות ביעילות.

Spark יכול לעבד נתוני CAD על ידי טיפול בכל קובץ כתיעוד ב- RDD או DataFrame. צינור טיפוסי כרוך:

  1. (ב) [15] מידע על השימוש בקובץ בינארי של Spark כדי לטעון את הקבצים של CAD מ- HDFS או אחסון בענן.עבור פורמטים עם קוד פתוח (למשל, STL באמצעות מברק, STEP באמצעות Open Cascade), ניתן להשתמש בספריות אלה בתוך LT:0 טרנספורמציה על כל חלוקה.
  2. (FLT:0)Schema inference:FLT:1eur for metadata-heavy פורמטים כמו STEP, Spark SQL יכול להסיק schema על ידי מיצוי סוגים, תכונות ומערכות יחסים.זה מאפשר למהנדסים לשאילתת תכונות באמצעות SQL:FLT:1.
  3. (FLT:0)Geometryטרנספורמציה: 1FLT:1 עובדי Spark יכולים ליישם שינויים כמו קנה מידה, סיבוב או לתאם שינויים במערכת במישאות. כי פעולות אלה הן חסרות תנאים ומקבילות, הם בקנה מידה ליניארי עם מספר העובדים.
  4. (FLT:0) מיצוי חומרים: FLT:1 זיהוי חורים, מילויים, צ'מפר, או תכונות גיאומטריות אחרות היא משימה לעיבוד גאומטריה קלאסית. Spark יכול להפיץ אלגוריתמים תכונה אלה על פני תחילת נתונים של אלפי חלקים.
  5. (FLT:0) בודקים את הסימון: FLT:1 אימות מודלים של CAD נגד כללי עיצוב (למשל, עובי קיר מינימלי, הטיוטה זווית) על ידי הפחתת האפר הממכר במקביל.

אתגר אחד הוא כי פורמטים רבים של קובץ CAD הם בינאריים מאוד דחוסים. כדי להשיג מקבילה, חשוב לוודא כי קבצים ניתן לקרוא באופן עצמאי.אם קובץ יחיד הוא עצום (למשל, אסיפה מלאה של מטוסים), ייתכן שיהיה צורך בפיצול מותאם אישית או שימוש בתבנית קובץ מבוזרת כמו פארק אפאצ'י שאחסן נתונים גאומטריים בעמודות.

יישומים ב-CAD Data Processing

המרת נתונים והתערבות

ארגונים הנדסיים עובדים לעתים קרובות עם מערכות מרובות של CAD שנרכשו באמצעות מיזוגים או שותפויות. המרת מיליוני חלקים מתבנית אחת לאחרת (למשל, CATPart ל- STEP) היא משימה מרתיעה אם נעשה באופן זמני. Spark יכול במקביל את ההמרה באמצעות ספריות תרגום צד שלישי כמו Open Cascade טכנולוגיה (OCCT) או SDKs מסחריים. כל עובד קורא קובץ, מתרגם אותו, וכתוב רק שבוע אחד.

הכרה ומיצוי

הכרה תכונה אוטומטית חיונית לתהליכי מטה הזרם, כגון תכנון ייצור, הערכת עלויות, ודור יסוד סופי.אלגוריתמים מסורתיים תכונה הם compute-intensive כי הם דורשים חשיבה גיאומטרית על מודלים B-Rep. Spark מאפשר אלגוריתמים אלה להיות מיושם על אלפי חלקים בו זמנית.

בקרת איכות וביקורת

בתעשיות מוסדרות כמו אווירוקל ומכשירים רפואיים, כל מודל CAD חייב לעבור בדיקות איכות קפדניות. Spark יכול להפעיל חבילה של חוקי אימות - בדיקת משטחים פתוחים, רטוטים כפולים, נקודות לא-מונים, או הפרות של ממד גיאומטרי וסובלנות (GD &T) - באופן מקביל מסיבי נכתב על מסד נתונים מרכזי, לא-ממדוני, ו-לא-conforming עבור מודלים אלה.

ויזואליזציה וקלות משקל

בעוד Spark אינו מנוע גרפי בזמן אמת, הוא מצטיין בנתונים של CAD מראש עבור צופים מבוססי אינטרנט.כלי כמו FLT:0.3.jsofLT:1 או FLT:2 [Babylon.jsph3] דורשים מברשות קלות משקל (למשל, פורמט TF) ולא קבצים כבדים יכול להמיר כמו אינדקס לתבניות של דפדפנים, לאחר מכן להפעיל את הפלט אינטראקטיביים של 3D.

שילוב תאום דיגיטלי

יכולות הזרמת Spark מאפשרות לו לקבץ מידע עדכני של חיישן מנכסים פיזיים ולמזג אותו עם דגמי ה- CAD המקבילים.לדוגמה, נתוני רטט מטורבינה רוח יכולים להצטרף עם הגיאומטריה של ה-CAD של טורבינה כדי לדמיין נקודות חמות על המודל בפועל 3D.זה יוצר תאום דיגיטלי חי מתפתח על מחזור החיים של הנכס, תמיכה בתחזוקה חיזוי ושיפורים עיצוביים.

אתגרים ושיקולים

למרות היתרונות שלה, פריסת Spark לעיבוד נתונים של CAD אינה ללא מכשולים.האתגר העיקרי הוא המורכבות של פורמטי קובץ CAD. פורמטים רבים הם קנייניים עם ⁇ בינאריים כי חסרים מפרטים פתוחים ארגונים חייבים להשקיע ב- SDKs מסחריים (בדרך כלל יקר) או לפתח ⁇ מותאם אישית המבוססת על הנדסה הפוכה, אשר הוא זמן-consuming ושברירי.בנוסף, מודלים CAD לעתים קרובות מכילים יחסים טופולוגיים שאינם נדרשים לא מעט קבצים חד-צדדיים; לא ניתן לחלקיקים; לא יכול להיות מוגבל של טיפול קבוע.

ניהול זיכרון הוא עוד דאגה.בעוד Spark מסתמך על עיבוד של זיכרון, אובייקטים CAD יכולים להיות גדולים מאוד - שאפר חד-מיני יכול לצרוך כמה ג'יגה-בייטים.אם הנתונים הם צפופים יותר מאשר RAM זמין על פני הקובע, Spark לשפוך לדיסק, דה-דירוג ביצועים.מהנדסים צריכים לעצב את אסטרטגיית החלוקה של הנתונים שלהם כדי לשמור רשומות קטנות מספיק כדי להתאים בנוחות במחלק, לעתים קרובות על ידי פיצול כמו גם על ידי התנגשויות של חלקים מורכבים או עיגולים לתוך עיגולים מורכבים.

דרישות סקיל גם מהוות מחסום.רוב המהנדסים המכניים אינם מאוימים במיחשוב מבוזר או בכלים גדולים של נתונים.ארגונים צריכים להשקיע באימון חוצה או לשכור מהנדסי נתונים שיכולים לגשר על הפער.בניית ממשקי API ותבניות ידידותיים למשתמש יכולים לעזור למומחים לתחומים Spark ללא ידע תכנות עמוק.

שילוב עם מערכות ניהול מחזור חיים של מוצרים קיימים (PLM) הוא חיוני.ספקי Spark חייבים לכבד את השליטה בתיקון, לבדוק את זרימת העבודה, ואת הרשאות אבטחה. זרימת עבודה דורש לעתים קרובות Spark לקרוא את מסד הנתונים PLM (למשל, באמצעות JDBC) כדי להביא מודלים מאושרים, לאחר עיבוד תוצאות בחזרה דרך PLM. הפיכה הדוקה זו דורשות טיפול חזק ועסקאות סימניאקטיות.

תחזית עתיד

שילוב של Apache Spark לתוך זרימת עבודה הנדסית נקבע להעמיק כאשר התעשייה מחבקת עיצוב מונע נתונים.כמה מגמות יזרז אימוץ:

  • (FLT:0) Generative AI ו- Machine Learning:FreaLT:1 , MLlib של Spark ישמש כדי להכשיר מודלים החיזוי פרמטרים עיצוב אופטימלי ישירות מהנתונים של CAD וסימולציה היסטוריים.מודלים אלה יכולים אז להנחות דור עיצוב אוטומטי, צמצום הצורך במשפט ידני וטעייה.
  • (FLT:0) משוב סימולציה בזמן אמת:FLT:1ir עם הזרמת מבנה, Spark יכול תמיד לעבד נתונים חיישן מקווי ייצור ולהזין בחזרה למודלים של CAD, המאפשרת התאמות עיצוב בזמן אמת על בסיס מציאות ייצור.
  • (FLT:0Cloud-native Engineeringפלטפורמות:FLT:1 ספקים כמו Autodesk, Siemens ו- Ansys בונים פתרונות מבוססי ענן שממנף את Spark מתחת למכסה.פלטפורמות אלה יפשטו את המורכבות של Spark מאחורי רשת ידידותית UIs, מה שהופך אותו נגיש מהנדס העיצוב הממוצע.
  • (FLT:0) מחשוב עבור IoT:FLT:1 בעוד Spark משמש בדרך כלל במקבץ מרכזי, גרסאות קלות משקל (למשל, Apache Spark with Kubernetes on Edge nodes) יכול עיבוד נתונים לפני ה- CAD בקצה לפני שליחת תוצאות לענן, צמצום רוחב הפס וההגינות.

ככל שנפח הנתונים ההנדסיים ממשיך להתפוצץ – מונע על ידי הספרות של נכסים פיזיים, הגדלת נאמנות סימולציה, ואת עליית תאומים דיגיטליים - פארק יישאר כלי קריטי לשמירה על אוטומציה עיצובית מהירה, סקאפית, ואינטליגנציה. ארגונים שמשקיעים בתשתיות מבוססות Spark היום יהיו מוצבים היטב למתחמי מחשב זמניים באיכות.