מבוא

צוותי הנדסה מייצרים כמויות עצומות של נתונים בכל יום - מודלים סימולציה, פלטות, יומני חיישן, תוצאות הבדיקה ורשומות הייצור.מחיש כי נתונים במסד נתונים תפעוליים או ליפוס קבצים שטוח הופך במהירות בלתי-אפשרי.ללא גישה שיטתית, מידע היסטורי אבוד, ניתוח הופך בלתי עקבי, ופתרון של נתונים.

מאמר זה מסביר כיצד להשתמש ב-Data Warehousing לאחסון נתונים הנדסי לטווח ארוך, כיסוי מושגים הליבה, תהליכי יישום ושיטות הטובות ביותר לשמור על הנתונים שלך נגישים ופעולה במשך שנים.

מהו מחסן נתונים?

מחסן נתונים הוא מסד נתונים מיוחד המאגד נתונים ממקורות מרובים בחנות אחת ועקבית.בניגוד למאגרי המידע העסקאות אותם פעולות יום-יומיות (הידועות כמערכות OLTP), מחסן נתונים מותאם לשאילתות קריאה, סטיות מורכבות, ניתוח טרנדי מורכב, וניתוח טרנד היסטורי.הוא מאחסן נתונים בפורמט מובנה, מסולק או מתואם כי הוא מקל על מהנדסים ואנליסטים ללא השפעה על ייצור.

המאפיינים המכוננים של מחסן נתונים כוללים:

  • (FLT:0)Subject-oriented:FLT:1hil נתונים מאורגנים סביב נושאים מרכזיים כגון מוצר, פרויקט או נכס, ולא תהליכי יישום בודדים.
  • (FLT:0) משולב:REFLT:1 , Inconsistent Name Conventions, יחידות וסוגי נתונים מוזיקים במהלך תהליך ETL (Extract, Transform, Load)
  • (ב) ,0) זמן-חלוות: 1FLT: המחסן שומר על תמונות היסטוריות, המאפשרות השוואות לאורך חודשים או שנים.
  • (ב) [15] לא-וול-לא-וול-לא-וול-לא-וול-לא-וול-לא: 1 בינואר, נתונים מעודכנים או נמחקים, ולהבטיח שביל ביקורת יציב.

אחסון נתונים לעומת אגם נתונים

צוותי הנדסה לעתים קרובות לשקול אם להשתמש מחסן נתונים או אגם נתונים.אגם נתונים מאחסנת נתונים גולמי בפורמט Native שלה (files, נפיחות, אובייקטים) ללא טרנספורמציה מקדימה. בעוד אגמים נתונים מצוינים עבור מחקר נתונים מחקר או אחסון זרמי חיישן ללא מבנה, הם דורשים מאמץ משמעותי כדי להפוך את הנתונים חסכוניים מחסנים, לעומת זאת, לאכוף איכות סכימה ועיבודקים עבור דוחות נתונים לטווח ארוך יותר עבור אחסון נתונים לטווח ארוך.

מדוע צוותי הנדסה זקוקים להזדקנות

נתוני הנדסה הם זמן רב מטבעם, עיצוב מוצר עשוי להיות הפנה עשור לאחר יצירתו; מערכת ניטור מבנית מצטברת קריאה לחיים של גשר.

  • (FLT:0) אחסון מרכזי:FLT:1 כל נתוני הנדסה - עיצוב קבצים, יומני מבחן, דוחות שדה - לצד אחד המיקום.זה מבטל את הצורך לצוד באמצעות גליונות מבוזרים מרובים, מסדי נתונים, ומניות קבצים.
  • שימור:0 (השומרון ההיסטורי: 1) המחסן שומר על כל גרסה של מדידה או מספר חלק. מהנדסים יכולים לעקוב אחר האופן שבו שינוי פרמטר לאורך זמן, שהוא חיוני לניתוח שורש או חקירות אחריות.
  • (FLT:0) איכות ועקביות: 1.FLT:1 תהליך ETL מנקה ומסדיר נתונים.לדוגמה, קריאה בטמפרטורות מחיישנים שונים מומרת ליחידה משותפת (Celsius) ותבניות תזמון.זה מקטין שגיאות בדוחות ובסימולציות.
  • ניתוח:0Cross-domain: FIRLT:1 מחסני יכול להצטרף ל- CAD metadata עם נתוני איכות ייצור ורשומות שירות שדה.
  • (FLT:0) ציות לרישום: 1 תעשיות כמו אווירוקל ומכשירים רפואיים חייבים לשמור על נתוני עיצוב וייצור במשך שנים. A מחסן תומך במעקבי ביקורת ומדיניות שמירת נתונים.
  • (FLT:0)איכותיות: 1.000 נתונים מודרניים בענן אחסון והתאמה עצמאית, כך שנתוני הגידול אינם מבצעים את ביצועי השאילתה.

על ידי איחוד נתוני הנדסה לתוך מחסן, ארגונים להפוך רשומות היסטוריות למשאב אסטרטגי.ההשקעה משלמת כאשר מעצב יכול לשאול "כל הגרסאות של השקע הזה שנכשלו בבדיקת הרטט בחמש השנים האחרונות" ולקבל תוצאות תוך שניות.

מפתחי Components ואדריכלות של מחסן נתונים

אדריכלות של מחסן נתונים טיפוסית כוללת מספר שכבות:

  • שטח אחסון:0 (Staging Zone:FLT:1) מרחב אחסון זמני שבו נתונים גולמיים ממקורות הנדסיים (מערכות PLM, מסדי נתונים של SCADA, תוכנת סימולציה) מועתקים לראשונה.
  • (FLT:0) Integration / Transformation שכבת:031) כאן צינור ETL או ELT נקי, deduplicates, ו- restructures נתונים. עבור נתונים הנדסיים, שינויים לעתים קרובות כרוכים להמיר יחידות הנדסיות, מפצה של תפוקה XML / ג'ייסון מורכבת מכלי ניתוח, ומייצרת מפתחות חלופיים.
  • (FLT:0) אחסון נתונים של קודר: 1.FLT:1 המאגר המרכזי, בדרך כלל תוכנן באמצעות סכימה כוכב או שקתת שלג. טבלאות Fact מאחסנות מדידות מספריות ומדיקים (למשל, לחץ בדיקה, ספירת מחזור), בעוד טבלאות ממד לאחסון תכונות תיאוריות (למשל, מספר, מספרי מבחן, תאריכי תאריך).
  • (FLT:0Data Martsibs:FLT:1 subsets של המחסן מותאם לתחומים הנדסיים ספציפיים - נתוני מוצר עבור R&D, מאגר נתונים של נכסים עבור תחזוקה, וכו ' מרתפי נתונים לשפר את הביצועים והאבטחה של משתמשים במחלקות.
  • (FLT:0) שכבת גישה:ראהFLT:1 כלי מודיעין עסקיים, לוחות מחוונים מותאמים אישית, ושאילתות SQL ישירות מאפשרות למהנדסים ולאנליסטים לאחזר נתונים.

עיצוב הנדסת נתונים

כוכבי צ'סמס נפוצים במחסנים הנדסיים.לדוגמה, שולחן עובדה לקריאה של חיישן עשוי להכיל עמודות עבור טייםאמפ, חיישן מזהה, ערך מדידה, ומפתחות זרים לטבלאות ממד עבור מיקום חיישן, סוג, ומעמד קלירציה. Snowflake schemas לנרמל את הממדים עוד יותר (למשל, פיצול המיקום לאתר, קומה, בחירה תלויה ביעילות על דפוסי אחסון קלים יותר, כאשר הם פשוט יותר מאיצים את הביצועים של אחסון.

צעדים ליישום מחסן נתונים עבור הנדסה

בניית מחסן נתונים עבור נתוני הנדסה דורש תכנון זהיר.עקוב אחר השלבים האלה כדי להבטיח שהתוצאה תפגוש צרכים לטווח ארוך של אחסון וניתוח.

דרישות Gathering and Data Audit

התחל על ידי זיהוי השאלות המרכזיות שהמחסן חייב לענות על שאלות הנדסיות נפוצות:

  • איך שיעור הכשל של רכיב X השתנה בשלוש השנים האחרונות?
  • מה הקשר בין טמפרטורה מתאימה במהלך הייצור וביצועי המוצר הסופי?
  • אילו תיקונים עיצוביים היו מעורבים בתביעות האחריות העיקריות?

הבא, מלאי כל מקורות הנתונים: CAD ניהול נתונים של מוצרים (PDM) מערכות, אינטרנט של דברים (IoT) פלטפורמות מעבדה, מחברות מעבדה, מערכות תכנון משאבים ארגוניים (ERP) ואפילו יומני אישורים מבוססי דואר אלקטרוני. schemas, תדרי עדכון, ובעיות איכות נתונים. ביקורת זו מעצבת את עיצוב ETL.

2.מודל נתונים

עיצוב schema המחסן מבוסס על הביקורת ועל השאלות. טבלאות עובדה Define לאירועים הניתנים למדידה (למשל, כל מבחן פועל, כל חלק מיוצר) וטבלאות ממד עבור תכונות קונטקסטואליות (למשל, הליך מבחן, מפעיל, ערכת חומר) שימוש בכלים מודל או אפילו אבטיפוס ישיר של SQL ללוח נתונים הנדסי, שימו לב מיוחד לממדי זמן: כולל שבוע, רבעי אבן דרך, כמו גם לוחות זמנים ספציפיים).

עיצוב ETLPiline

ETL הוא הליבה של נתונים Warehousing. עבור נתונים הנדסיים, הצעד ההפוך לעתים קרובות צריך parsing מותאם אישית כי מקורות כמו כלי ניתוח סופי-element תפוקה יומני טקסט ענקיים או קבצי CSV עם דלימים לא סטנדרטיים. שקול באמצעות כלי ETL ייעודי כגון Apache NiFi, Talend, או שירותי ענן כמו AWSe Glue או Azure Data Factory. קבוצות רבות Python עבור שינויים מורכבים (אך) הם עדיין יכולים לרוץ בזמן טיפול תרופתי (למשל, אך ורק עבור טיפול זמני אחסון ארוך) עבור סוללה (לדוגמה, או סוללה) עבור סוללה (לדוגמה, או סוללה) עבור סוללה (לדוגמה, אך ורק זמן אחסון זמן אחסון ארוך טווח) עבור מחסנית) עבור מחסנית (לדוגמה, או סוללה (לדוגמה, או סוללה (לדוגמה, או סוללה) עבור סוללה (לדוגמה, או סוללה) עבור סוללה (לדוגמה, או סוללה) עבור סוללה (לדוגמה, או סוללה (לדוגמה, עבור סוללה (לדוגמה, עבור סוללה) עבור סוללה (לדוגמה, עבור סוללה (לדוגמה, טיפול תרופתי) עבור סוללה (לדוגמה, ייתכן שעדיין) עבור סוללה (לדוגמה, טיפול יעיל עבור סוללה) עבור סוללה (לדוגמה, עבור סוללה) עבור סוללה) עבור סוללה) עבור סוללה (לדוגמה, טיפול יעיל עבור סוללה (לדוגמה, טיפול זמני סוללה

4.com בחירת

בחר פלטפורמה של מחסן נתונים אשר מאזן עלות, קנה מידה, ושילוב עם אפשרויות כלי קיימות שלך.

  • (ב)אמזון רדופה: 1FLT: A Complete Cloud Storage withטורar Storage and Goodאינטגרציה with AWS services.
  • (ב) Google BigQuery:FLT:1 Serverless and high-classable, עם יכולות למידה מכונות בנויות-in-in-in-Fi. אידיאלי עבור צוותים שרוצים תפוקה תפעולית נמוכה.
  • (ב) ⁇ :0) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (FLT:0)Directus:cioFLT:1 בעוד Directus אינו מחסן נתונים עצמו, הוא יכול לשמש כשכבה ניהול נתונים רבת עוצמה. על ידי חיבור מסדי נתונים של מקור הנדסי ל- API של Directus, אתה יכול ליצור ממשק מאוחד כדי לחלץ, נקי, מסונכרן נתונים לתוך המחסן הנבחר שלך. Directus מספק גם שליטה מבוססת על גישה ללא קוד, מה שהופך אותו קל יותר עבור צוותים תצוגה מקדימה ובדיקה לפני איסוף נתונים.

להעריך כל אחד בהתבסס על נפח הנתונים שלך, התקציב, ומומחיות בתוך הבית. הוכחה-של תפיסה עם תת-קבוצה של נתונים אמיתיים היא בלתי-סבירה.

5.טעינה ואימות

לטעון את הנתונים המשתנים שלך לתוך המחסן באמצעות רעננות מלאה או עומסים מצטברים.עבור נתוני הנדסה, עומסים מצטברים מועדפים כי רשומות היסטוריות משתנות רק לעתים רחוקות.לאחר כל עומס, הפעלת שאילתות אימות: לבדוק ספירות שורות, לצבור אמצעים מרכזיים, ולהשוות נגד מערכות מקור.אוטומטיות בדיקות אלה באמצעות מסגרות איכות נתונים (למשל, ציפיות גדולות) כדי לתפוס בעיות מוקדמות.

6.הבנייה מדווחת ו- Analytics

לאחר שהנתונים עמוסים, ליצור לוחות נתונים ודיווחים שעונים על השאלות המקוריות. השתמש בכלים של BI כמו Tableau, Power BI, או חזית אישית (למשל, שנבנה על Directus) לניתוח אד-הוק, לאפשר למהנדסים להפעיל שאילתות SQL נגד המחסן.ספק תיעוד על סכימה ושאילתות מדגם כדי לעודד אימוץ.

Best Practices for Long-Creative

יש לשמור על נתוני הנדסה במשך שנים או אפילו עשורים.שימוש בשיטות הטובות ביותר אלה מבטיח שהמחסן נשאר יקר ערך וקיים לאורך זמן.

  • (FLT:0) גיבויים רשומים: FLT:1 אפילו מחסני ענן יש תרחישים כשל.תזמן צילומי וידאו אוטומטיים או לייצא טבלאות קריטיות כדי להפריד את נהלי שיקום הניסויים מדי שנה.
  • (FLT:0) אבטחת מידע: הנדסת נתונים: נתוני הנדסה 1 עשויים להכיל קניין רוחני או מידע ביקורתי בטיחותי.שליטה מבוססת על תפקיד מבוסס גישה (RBAC), להצפין נתונים במנוחה ובמעבר, ולאדיטינג כל הגישה. השתמש בביטחון ברמת עמודה לפרמטרים רגישים (למשל, קבועות כפייה) ממשתמשים שאינם מורשים.
  • (FLT:0) תשתיות בעלות: FLT:1 בחר פלטפורמה שיכולה לגדול אחסון ללא זמן פנויה.מחסני ענן כמו BigQuery ו Snowflake אוטומטי בקנה מידה. Define Data Holding מדיניות (למשל, להעביר נתונים ישנים יותר מ 5 שנים לאחסון קר זול יותר) כדי לשלוט בעלויות.
  • (FLT:0) ניהול נתונים: FLT:1 לשמור קטלוג נתונים המתאר כל שולחן, עמודה, וטרנספורמציה.כולל הגדרות עסקיות (למשל, "קצב קפוא = מספר כישלונות / יחידות הכוללות שנבדקו") זה metadata חיוני כאשר חברי הצוות המקוריים כבר לא זמינים.
  • ניהול מחזור חיים של נתונים: לא כל הנתונים ההנדסיים צריכים להיות חמים.ארכיון יומני חיישן גלם לאחסון אובייקטים זול יותר (אמזון S3 Glacier או Azure Archives) לאחר תקופה מוגדרת, תוך שמירה על סיכומים מצטברים במחסן עבור שאילתה מהירה.
  • (FLT:0)Versioning and Proofance:FreaLT:1) כאשר טעינת נתונים חדשים, לשמור על קובץ המקור המקורי או גירסה. עבור נתוני CAD, לאחסן את מספר הגירסה ואת המזה הייחודי של כלי העיצוב.זה מאפשר לטרף כל ערך דיווח חזרה למקורו.
  • (FLT:0) שיתוף פעולה וקיום משפטי: FLT:1 נבין דרישות רגולטוריות לשימור נתונים (למשל, AS9100, ISO 13485, 21 CFR חלק 11) להבטיח שהמחסן יכול למנוע מחיקה של רשומות כפופות לקיום משפטי.

מקרים אמיתיים לשימוש

יצרן הרכב

יצרנית הרכב שילבה את PLM, מסלול הבדיקה, ואת מערכות איכות הספק לתוך מחסן Snowflake.מהנדסים יכולים כעת לשאול "כל כלי הרכב עם קבוצה נתונה של גופים טבורים שנכשלו בבדיקות חום-כככאק" ולתאם עם שינויים עיצוב מ-5 שנים קודם לכן.המחסן הקטין את זמן הניתוח שורש-כי שבועות עד שעות ושיפור קבלת החלטות.

מעקב אחר בריאות

חברת הנדסה אזרחית אוספת נתונים ממדדים ומדקלדרמונים המותקנים על גשר.הם משתמשים ביישום ישיר-מגובה של Directus כדי לנהל את רשת החיישן ולדחוף נתונים נקיים לאמזון רדופה.המחסנים מקצרים עשור של קריאה, המאפשר ניתוח טרנדי דמנציה לטווח ארוך.מודלים חיזויים הפועלים על דפוסי הדגל החריגים, מזהירים צוותים לפני שמפתחים הם.

אנרגיה וסובלנות

מפעילת חווה רוח לטעון נתונים SCADA (turbine RPM, טמפרטורה, פלט חשמל) לתוך Google BigQuery. המחסן מחסנים דגימות 10 שניות במשך שנה אחת, ולאחר מכן מתגלגל אותם לממוצעים שעה עבור עשר השנים הבאות. גישה זו מאזן פרטים עם עלות. אנליסטים יכולים להשוות את ייצור האנרגיה השנתית על פני טורבינות ונקודות תחת ביצועים שנגרמו על ידי ההשפלה.

מסקנה

הפסקת נתונים היא אסטרטגיה מוכחת לאחסון ארוך טווח של נתונים הנדסיים.על ידי ריכוז מקורות מגוונים לתוך מאגר מובנה, ידידותי לשאילתה ידידותי, ארגונים לשמר את ההיסטוריה ההנדסית שלהם ותובנות המניעות חדשנות, איכות וציות.היישום דורש תכנון זהיר - מתוך הבנה השאלות שאתה צריך לענות, כדי מודלים של הschema, כדי לבחור פלטפורמה מדרגית.

צוותי הנדסה שמשקיעים במחסן המתאים היום ימצאו את עצמם מצוידים טוב יותר כדי להתמודד עם דרישות הנתונים של מחר: יותר חיישנים, יותר סימולציות, ועוד לחץ להפוך נתונים היסטוריים לתועלת תחרותית.התחל על ידי ביקורת על נכסי הנתונים הקיימים שלך, לבחור מקרה קטן אך גבוה, ולבנות משם.השלם ארוך טווח הוא מקור יחיד של אמת שמשרת מהנדסים וארגון לשנים שיבואו.