בנוף המתפתח במהירות של הנדסה תעשייתית, היכולת ללכוד, תהליך ולפעול על נתוני חיישן בזמן אמת הפך צורך תחרותי.עלייה של תעשייה 4.0 והאינטרנט התעשייתי של הדברים (IIoT) פירושו כי מפעלים, תחנות כוח, וקווי ייצור מכוסים כעת עם אלפי חיישנים ברציפות לייצר נתונים על טמפרטורה, רטט, לחץ, ועוד. להפוך את זה לטרונר של נתונים גולמיים לתוך פעילות מודיעינית, יש צורך יעיל יותר, כי היא יעילה עיבוד יעיל של זמן עיבוד יעיל של זמן יעיל של זמן, ומאובטח, כמו גם כן, תחזוקה יעילה יותר, תחזוקה יעילה, תחזוקה יעילה, תחזוקה יעילה, כוח, כוח, כמו גם כן, תחזוקה יעילה יותר.

מאמר זה חוקר כיצד Sparkסטרימינג משנה נתונים בזמן אמת באפליקציות הנדסיות תעשייתיות, מהבסיסים של הארכיטקטורה שלה לשימוש קונקרטי במקרים, יתרונות טכניים, וביצוע שיטות הטובות ביותר.עד הסוף, אתה תבין מדוע Sparkסטרימינג הוא כלי חיוני עבור כל צוות הנדסי שצריך להגיב באופן מיידי לשינוי תנאים על רצפת המפעל.

מה זה Sparkסטרימינג?

(הזרח של ה-Ipapapa Spark API של ה-API, שמאפשר עיבוד של זרם גבוה, בלתי-סובלני של עיבוד נתונים חיים.ניתן לספוג נתונים ממקורות רבים כמו Apache, Kinesis, TCP sockets, או קבצים פשוטים, וניתן לעבד באמצעות אלגוריתמים מורכבים המובעים בפונקציות ברמה גבוהה כמו FLT:0, FLT:1, לוח המחוונים, F2, ולאחר מכן, ולאחר מכן ניתן להזיז תוצאות נוספות.

באופן מסורתי, Sparkסטרימינג התייחס לנתונים כרצף של אצילות קטנות (מיקרו-batches) הנקראות FLT:0DStreamssFLT:1 (הזרמים המנוצלים) כל אצווה מעובדת כמו מיני-D (הספקת שאילתות של עיבוד קבוע), מתן סובלנות לקויה חזקה ובדיוק על סימנטיקה, 2x2xerd) אשר מספק זרם נתונים קבוע על בסיס ריצוף נתונים , אשר מאפשר ריצוף נתונים מקיפים.

מרכיבים מרכזיים של אדריכלות הסטרימינג Spark:

  • (ב) ⁇ :0) ⁇ : ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ,0) ,ב"מ: ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (FLT:0DStream / Structuredסטרימינג Query:cioFLT:1) ייצוג הגיוני של זרם נתונים מתמשך והפעולות החלות על זה.
  • (ב) ⁇ :0) ,החיסכון זמני של המדינה לאחסון אמין (למשל, HDFS, S3) עבור התאוששות מכישלונות.

עבור נתוני חיישן תעשייתי, היכולת להתמודד עם FLT:0 (עדכון או מחוץ לזמין נתונים) 1 באמצעות מסה מים עיבוד בזמן האירוע הוא בעל ערך במיוחד.חיישנים עשויים לא תמיד לדווח על מרווחים מושלמים, ותמיכה בנויה של Sparkסטרימינג לטיפול באי סדרים כאלה הופכת אותו לחזק עבור סביבות עולם רועשות.

התפקיד הקריטי של Sparkסטרימינג בהנדסת תעשייה

יישומים הנדסיים תעשייתיים דורשים תגובה בזמן אמת.אזהרה מאוחרת על נושא מהתחממות יתר יכול להוביל לכישלון בציוד קטסטרופלי והפסקת ייצור יקר. Sparkסטרימינג של עיבוד התדירות הנמוכה (בדרך כלל תת-שני לכמה שניות) מתאים לצרכים של תרחישים רגישים בזמן זה. להלן הן הדרכים העיקריות Sparkסטרימינג הופך נתונים תעשייתיים.

מעקב בזמן אמת ואזהרות

ניטור רציף של ציוד תעשייתי הוא השימוש הפשוט ביותר של Sparkסטרימינג.חיישנים על טורבינות, חגורות משדר, מנועים ומשאבות דו"ח מדדים כגון טמפרטורה, רטט amplitude, מהירות סיבובית, ואת המשוך הנוכחי. Sparkסטרימינג מחלחל נתונים אלה וליישם אלגוריתמים מבוססי הסף או אלגוריתמים זיהוי אממטי בזמן אמת.

(FLT:0)Example Scenario:FLT:1 , זיקוק שמן משתמש Sparkסטרימינג כדי לפקח על רמות הרטט של דחיסה קריטית. Aשאה עם חלון מזחלות של 10 שניות מחשב את הרטט הממוצע.אם הממוצע עולה על סף בטוח, התראה נשלחת מיד לחדר הבקרה באמצעות לוח מחוונים או מערכת אוטומטית שמתאימה פרמטרים תפעוליים ללא עיבוד, זרם זה יהיה מאוחסן עבור מערכת הפעלה מאוחרת יותר, ולאחר מכן, ולאחר מכן, מאוחסן עבור מערכת הפעלה של נתונים נעדרים לאחר מכן.

הסטרימינג Spark יכול גם לבצע בדיקות מורכבות יותר: לדוגמה, העברת נתונים מחיישנים מרובים כדי לזהות דפוסים כמו "הזמן עולה מהר יותר מאשר לחץ יורד" אשר עשוי להצביע על מצב כשל מסוים. רמה זו של לוגיקה בזמן אמת מופעלת על ידי מערכת עשירה של למידה מכונה ותפקודי חלון.

תחזוקה חיזוי

ייתכן שהיישום המשפיע ביותר של Sparkסטרימינג בהנדסת התעשייה הוא FLT:0 (Prodictive MaintenanceofFLT:1 ). במקום להסתמך על לוחות זמנים של תחזוקה מתוכננים (שיכול להיות מוקדם מדי או מאוחר מדי), מודלים של תחזוקה חיזוי משתמשים בנתונים של חיישן כדי לחזות כאשר רכיב צפוי להיכשל. Spark מאפשר לדגמים אלה לרוץ באופן רציף על נתונים חיים, יצירת אזהרות או שבועות מראש.

אדריכלות טיפוסית כוללת הכשרת מודל למידה מכונה לא מקוון על נתוני חיישן היסטוריים ו יומני כישלונות.המודל טעון אז לתוך עבודה ספארקסית שתהליכים חיים נתוני חיישן ועשרות כל נקודה נתונים (או אצווה) עבור ההסתברות של כישלון קרוב.ספריית MLlib של Spark מספקת אלגוריתמים כמו יערות אקראיים, ⁇ שיפור ותגמול לוגיסטי שניתן להשתמש בהם עבור סיווג.

(FLT:0)Example: FLT:1 מפעיל החווה רוח משתמש ב- Sparkסטרימינג כדי לעבד את נתוני הרטט והטמפרטורה של כל תיבת הילוכים של טורבינה.מודל זיהוי מאומן מראש יוצר "ציון בריאות" בכל רגע.כאשר הציון חוצה סף, צוותי תחזוקה נשלחים לבדוק את טורבינת.

בקרת איכות בזמן אמת

בייצור, איכות המוצר נקבעת לעתים קרובות על ידי שילוב של פרמטרים של תהליכים: טמפרטורה, לחץ, הרכב כימי ומהירות. Sparkסטרימינג מאפשר שליטה בזמן אמת בתהליך סטטיסטי (SPC) כאשר קריאת חיישן (או ערכת קריאה) מתפתלת מעבר לגבולות שליטה, התראה גורמת בדיקה מיידית של ערכת המושפע, מניעת הפעלת מוצרים פגומים.

לדוגמה, במפעל ייצור למחצה, מכונות משתמשות במאות חיישנים כדי לשלוט בתהליכים של תחריט או דהורציה.S Sparkסטרימינג יכול להעריך כל תהליך כפי שקורה, באמצעות ממוצעים נעים וסטיות סטנדרטיות כדי לזהות סיורים.אם שיעור וכו 'ה נופל מחוץ לטווח המקובל, המערכת יכולה לעצור את המכונה לפני שהיא מייצרת תנודות פגומים.

לולאת משוב באיכות אמיתית זו לא רק מפחיתה את הפסולת, אלא גם מאפשרת למהנדסים להתאים תהליכים במהירות, מה שמוביל לתשואות גבוהות יותר ולעלויות נמוכות יותר.

אופטימיזציה אנרגיה

מתקנים תעשייתיים הם בין הצרכנים הגדולים ביותר של אנרגיה.על ידי ניתוח נתוני שימוש בזמן אמת ממטרים ומכונות, Sparkסטרימינג יכול לזהות חוסר יעילות ולהציע באופן אוטומטי או ליישם פעולות תקינים.לדוגמה, מפעל עשוי להשתמש ב- Sparkסטרימינג כדי לזהות כי מנוע גדול הוא שואב יותר זרם מאשר רגיל תחת עומס מסוים, המציין כי הוא צריך תחזוקה.

שילוב של Spark עם API חיצוני (למשל, נתוני שוק האנרגיה) מאפשר אופטימיזציה דינמי.מהנדס יכול לכתוב עבודה עיבוד זרקור שקוראת נתוני חיישן ומחירי חשמל, קובע את לוח הזמנים של ייצור יעיל ביותר, ושולח פקודות ל- PLCs כדי להתאים את הפעילות - כל בתוך שניות.

יתרונות טכניים של Sparkסטרימינג עבור נתונים תעשייתיים

מעבר להטבות ספציפיות של היישום, Sparkסטרימינג מציע מספר תכונות טכניות שהופכות אותו מתאים היטב עבור עומסי עבודה תעשייתיים.

  • (FLT:0)Low Latency and High Throughput:BuildFLT:1, בעוד שלא מערכת זרימה אמיתית כמו Apache Flink, גישת המיקרו-batch של Sparkסטרימינג מספקת לביטלות של 1-5 שניות, אשר מספיקה עבור הרוב המכריע של יישומי ניטור תעשייתי ושליטה.
  • (FLT:0) באופן רשמי-פעם סימנטיקה: קיד 1 (FLT:1) באמצעות מחסומים וכתובים-ראש יומני, Sparkסטרימינג יכול להבטיח שכל שיא מעובד בדיוק פעם אחת, למנוע התראות כפולות או דו-פי של מדדי ייצור.זה קריטי לביקורת פיננסית או איכות.
  • (FLT:0)Fault Tolerance: FLT:1 שחזור מבוסס קואז' של Spark ומחסום להבטיח שאם לא ייכשל, עבודת עיבוד הזרם יכולה לחזור מהמחסום האחרון ללא אובדן נתונים.
  • (FLT:0) אינטגרציה עם Machine Learning:FreaLT:1) ניתן להשתמש ב-MLlib של Spark גם לא מקוון עבור מודלים של אימונים ואינטרנט עבור ניקוד בתוך אותו צינור.אינטגרציה הדוקה זו מפשטת את הפיתוח והפצה של מערכות תחזוקה חיזוי.
  • (FLT:0) Unified Batch andסטרימינג: FLT:1 מהנדסים יכולים לטפל בנתונים של חיישן היסטורי וזרמים חיים עם אותם APIs. זה מקטין את שכפול הקוד ומאפשר לוגיקה עסקית עקבית בשני מצבים.
  • (FLT:0)איכותיות: הוספת שרתים נוספים למקבץ Spark עולה דרך לוח זמנים ליניארית כאשר קו ייצור חדש נוסף, יישום הסטרימינג Spark ניתן לסולק ללא קוד כתב מחדש.

דרישות יישום עבור Sparkסטרימינג בהגדרות תעשייתיות

הפצת הזרמת Spark בסביבה תעשייתית מגיעה עם אתגרים מעשיים.למטה הם תחומי מפתח לכתובת.

בחירת שכבת האינסיגה הנכונה

נתונים חושיים מגיעים לעתים קרובות באמצעות פרוטוקולים תעשייתיים כמו Modbus, OPC-UA, MQTT, או ישירות מ- PLCs.פרוטוקולים אלה בדרך כלל יש שערים המראים נתונים לפורמטים סטנדרטיים (JSON, Avro) ודוחפים אותו לברוקר הודעות כמו Apache או Amazon Kinesis. קפקא הוא הבחירה הנפוצה ביותר לעיבוד זרם תעשייתי בגלל גבוהה שלה, מתמשך, יכולת לשחזר נתונים כמו מצופה מ-cotching פלטפורמת חומרה.

שילובו הישיר של Spark Flow מאפשר קריאה ממספר נושאים עם סמנטיקה בדיוק עלונים.לדוגמה, נושא אחד עשוי לשאת נתוני טמפרטורה מכל החיישנים, בעוד שמידע נוסף נושא נתונים של רטט; Spark יכול להצטרף לזרמים אלה על מזהה חיישן כדי ליצור תצוגה מאוחדת.

המונחים: Batch Interval

מרווח המנה קובע כמה נתונים מצטברים לפני עיבוד.עבור רוב היישומים התעשייתיים, המרווחים של 1 עד 10 שניות מתאימים. מרווח קצר יותר עולה מעל הראש אבל מפחית את הגמישות. מהנדסים צריכים למדוד את שיעור ההגעה לנתונים ולבחור מרווח אצווה אשר שומר על עיבוד זמן טוב מתחת למרווח המנה כדי להימנע מלחץ אחורי.עבור צרכי קיבולת של קיבולת של קיבולת תת-שנית, לשקול שימוש בתהליכים רצופים בסטרימינג מובנה, אם כי הוא עדיין מתפתח.

מצגת וחנות המדינה

בדיקת חובה עבור סובלנות לקויה.מנהל המחסום חייב להצביע על מערכת קבצים אמינה ומופץ (HDFS, S3 או NFS) עבור פעולות ממשלתיות כמו גלגולים מחלון, Sparkסטרימינג מאחסנת מצב זיכרון עם תמונות תקופתיות לדירקטוריון המחסומים.זה מבטיח שלאחר כישלון, העבודה יכולה לשחזר את המדינה בדיוק.

ביישומים תעשייתיים שבהם זמן up הוא קריטי, מהנדסים לעתים קרובות להפעיל ספארקס הזרמת אשכול עם מצב זמינות גבוהה (למשל, שימוש YARN או Kubernetes) כך שאם הנהג נכשל, עוד צומת לוקח ללא התערבות ידנית.

בעיות איכות נתונים של חיישן

נתוני חיישן Raw יכולים להיות רועשים, עם ערכים חסרים, ספייקים, או מחוץ לטווח קריאה. Spark Ads משרות חייב לכלול ניקוי לוגיקה: סינון ערכים לא סבירים, תוך הטמעת נתונים חסרים, או יישום מסננים חלקה.התהליך הזה ניתן לעשות בתוך הזרם לפני האכלה נתונים לאנליז או מודלים של ML. לדוגמה, מסנן ממוצע נע פשוט יכול להתבצע באמצעות הדבקה של חלון כדי לדכא רעש.

תגית: Sparkסטרימינג for a Fictional Metal object

כדי להמחיש מושגים אלה, שקול מתקן ליהוק מתכת היפותטי שמייצר בלוקים של מנוע הרכב.הצמח משתמש ביותר מ-2,000 חיישנים על פני התכת פרננס, עובש, קווי קירור.סימטריים מרכזיים כוללים את טמפרטורת המתכת מלוטנת, שערי זרימה מים קירור, לחץ עובש.

באמצעות הזרמת Spark, המפעל ייושם שלוש יכולות עיקריות:

  • (FLT:0) בקרת טמפרטורה בזמן אמת: 1FLT 1 A סטרימינג עבודה קורא נתונים טמפרטורה מן הפרווה כל שנייה.אם הטמפרטורה מתפתלת על ידי יותר מ -3C מההמטרה, התראה נשלחת למפעיל הפרווה, ו לולאת משוב מאמת את קלט שריפת הגז.זה הפחיתה עקב שינויים בטמפרטורה של 25%.
  • (FLT:0) Predictive Mold Life:FLT:1 , שימוש בנתונים היסטוריים על סדקים עובש, מודל עץ גנוב-Boosted מאומן.המודל משתמש בפרופילי לחץ וטמפרטורה במהלך כל מחזור ליהוק. Spark מעלה כל מחזור כפי שהוא משלים.כאשר המודל מנבא סיכון גבוה של כשל, התבנית מוחלפת באופן יזום, הימנעות פגמים ובלתי מתוכנן.
  • (FLT:0) ,Energy Cost Optimization:FLT:1 מערכת ניהול האנרגיה של הצמח מקבל נתונים בזמן אמת מרשת השירות. Sparkסטרימינג משלבת זאת עם לוח זמנים של פרונסיות ומזהה את זמני הזינוק כדי למנוע פראנסים מסוימים כאשר מחירי האנרגיה עולים.

כל צינור הניתוח פועל על אשכול ספא קטן עם 6 צמתים לעיבוד 500,000 חיישנים קורא לשנייה, עם נטייה ממוצעת של 2 שניות מ חיישן לפעולה.

עתידה של Sparkסטרימינג ב- Industrial IoT

הסטרימינג Spark ממשיך להתפתח לצד צרכי התעשייה.שני מגמות רלוונטיות במיוחד.

צוק ומיקרו-באץ

בכמה הגדרות תעשייתיות, זה בלתי אפשרי לשלוח את כל נתוני החיישן לענן מרכזי בשל רוחב פס או מגבלות חריפות.פתרונות מתעוררים לרוץ עבודות שידור קל Spark על שערות קצה (למשל, באמצעות Apache Spark במכשירים או מסגרות כמו Apache Flink). ניתוח קצה זה יכול לסנן, לאסוף ולסכם נתונים באופן מקומי, רק התראות ודחוסים לענן.

בינה מלאכותית ושילוב עמוק של למידה

בעוד שלמידה מכונה מסורתית כבר בשימוש בתחזוקה חיזויית, מודלים למידה עמוקה כמו LSTMs או CNN יכולים ללכוד דפוסים מורכבים של זמן בנתונים חיישן.שילוב של Apache Spark עם ספריות כמו TensorFlow (באמצעות TensorFlow OnSpark או שילוב עמוק יותר דרך Apache Spark 3.0+ עם GPU) מאפשר רשתות עצביות מורכבות לרוץ על נתונים.

ארגונים כגון FLT:0 (Apache FlinkFreaLT:1 ו-FLT:2Apache SparkFLT 3: 3 הם שחקנים חזקים בחלל הזה, אבל המערכת האקולוגית הבוגרת של Spark ואימוץ נרחב בצוותים הנדסיים נתונים עושים זאת בחירה פופולרית עבור ניתוחים תעשייתיים.

מסקנה

הזרמת Spark הוכיחה את עצמה כמסגרת אמינה ורבת עוצמה להפיכת נתוני חיישן בזמן אמת לתובנות מיידיות, ניתנות לפעולה בהנדסה תעשייתית.מ ניטור בזמן אמת ותחזוקה חיזוי לשליטה איכותית ואופטימיזציה באנרגיה, עיבוד הטמפרטורות הנמוכות שלה, סובלנות לקויה, ושילוב חלק עם צינורות למידה מאפשר למהנדסים לבנות מפעלים חכמים יותר, מגיבים יותר.

ככל שהאינטרנט התעשייתי ממשיך להתרחב, היכולת לעבד נתונים בקצה ולשלב בינה מלאכותית מתקדמת עוד יותר תשפר את התועלת של Sparkסטרימינג.צוותים שמשקיעים ב-S Sparkסטרימינג – וניתוק אותו עם אי-העומס נתונים ואחסון – יהיו ערוכים היטב לצמצום זמן, לשפר את איכות המוצר, ועלויות תפעוליות נמוכות יותר.