מינוף מידע על הנדסה Analytics ודיווח

אתגר הנתונים בהנדסה המודרנית

ארגוני הנדסה מייצרים כמויות עצומות של נתונים ממקורות מגוונים: מודלים של CAD, פלטי סימולציה, קריאות חיישן ממכשירים IoT, מערכות ייצור, פלטפורמות ניהול מחזור חיים, ו יומני תחזוקה.כל מערכת משרתת מטרה מסוימת, אבל כאשר הנתונים נשארים נעולים ב-Silos, הארגון מפספס הזדמנויות לתובנות פונקציונליות של נתונים מתקדמים שיכולה להניע חדשנות, להפחית עלויות ולשפר את איכות המוצר.

מדוע הנדסה צריכה מחסן ייעודי

מתוך נתונים מפוסקים ל-Integrated Insights

צוותי הנדסה עבדו באופן מסורתי בסביבות ספציפיות כלי. מהנדס עיצוב משתמש בתוכנות CAD, מהנדס ייצור מבוסס על MES, וצוות תחזוקה משתמש CMMS נפרד.כל אחד מייצר נתונים יקרי ערך, אבל חוסר שילוב מסתיר דפוסים קריטיים.לדוגמה, שינוי עיצוב במודל CAD שגורם פגם ייצור למטה של ייצור למטה עשוי לעבור ללא הפרעה במשך שבועות כי שום מערכת אחת מתחברת נתונים לייצור איכות נתונים.

תמיכה Advanced Analytics ו- Machine Learning

מעבר לדיווח בסיסי, צוותי הנדסה יכולים להכשיר מודלים למידת מכונות כדי לחזות תקלות, לייעל את לוח הזמנים של ייצור, או להמליץ על שיפורים בעיצוב.המחסן משמש כמו ההזנה ההיסטורית של המודלים האלה, להבטיח גישה לנתונים נקיים, עקביים ומקיף.ללא מחסן, מדענים יבלו את רוב הזמן שלהם שרביט של מודלים אלה במקום זאת.

ניהול Analytics עצמי

מחסני נתונים מודרניים תומכים בניתוח שירות עצמי, המאפשרים למהנדסים ולאנליסטים להשתמש בכלים BI מוכרים כמו Tableau, Power BI, או Apache Superset לחקור נתונים ללא כתיבת SQL מורכבים או להסתמך על IT עבור כל דוח.דמוקרטיזציה זו של נתונים מאיצה קבלת החלטות ומפחיתה צווארי בקבוק על צוותי נתונים מרכזיים.כאשר מהנדסים יכולים לשאול ישירות נתונים, מדדי איכות, ביצועים, הם יכולים לזהות שיפור בהזדמנויות של שבועות במקום שבועות.

תבניות אדריכליות להנדסת נתונים

עיצוב: Star vs. Snowflake

הבחירה בין צ'מה כוכבים לבין שקתת שלג תלויה בטבע של נתונים הנדסיים.כוכב צ'מה, עם שולחן עובדות מרכזי מוקף טבלאות ממד, הם פשוטים ומהירים יותר לשאילתה. הם עובדים טוב עבור מדדים תפעוליים כמו ספירות ייצור, שיעורי פגם וציוד מציג רק את הזמן של Snowflake schemasize ממדים לתוך טבלאות קשורות מרובות שלג, צמצום נתונים אדומים אבל גדל מורכבות עבור מספר רב יותר של היררכיה של נתונים כגון היררכיה או שילוב של היררכיה של מערכות אחסון רגיל.

פורמטים אחסון ואופטימיזציה של ביצועים

נתוני הנדסה כוללים לעתים קרובות נתונים של זמן מחיישנים, אשר גדל כרכים מסיביים.עמודי אחסון כמו פארקט ו ORC הם אופטימיזציה עבור שאילתות אנליטיות על נתונים גדולים ויכולים להפחית עלויות אחסון וזמני השאילתה עד 75% בהשוואה לפורמטים מונחי שורות.חלוקה על ידי טווחי זמן כגון שנה, חודש, או יום ושימוש אסטרטגיות אינדקס מתאימים הם גם קריטי לשמירה על ביצועים כמו קנה מידה, לדוגמה, כדי להפחית שאילתות רלוונטיות של טבלאות, מאשר שאילתות נתונים כגון לוח זמנים, מאשר שאילתות.

Cloud-Native vs. On-Premises Deployments

מחסני נתונים מבוססי ענן כמו Snowflake, אמזון רדופה, גוגל BigQuery, ו- Azure Synapse מציעים דרוג גמישות, תשתיות מנוהלות, ותמחור תשלום כמו-אתה-ג'ו-ג'ו-ג'ו-על (Gamst) עבור ארגונים הנדסיים עם רכוש רגיש או דרישות רגולטוריות, על גבי פתרונות על-premises כגון Apaches או Click House עשוי להיות מועדף.

זמן אמיתי לעומת עיבוד בוץ

מקרים רבים של ניתוח הנדסיים מועילים מהנתונים לטווח קצר בזמן אמת פלטפורמות הזרמת מידע כמו Apache או Amazon Kinesis יכולים להאכיל נתונים לתוך המחסן עם שקיפות מינימלית, המאפשר ניטור בזמן אמת של קווי ייצור או התראות תחזוקה חיזוי.עם זאת, עבור ניתוח היסטורי ודיווח מגמה, עיבוד אצווה עם עבודות ETL הלילה הוא לעתים קרובות מספיק. A כאדריכלות כבשה התומך בזרימה ואפווה ללא ביצועים מתקדמים, המאפשרים לשימוש עבור ארגונים המתאימים לשימוש בכל מקרה, כדי להשתמש במקרים המתאימים.

המונחים: Engineering Data Storage

מידע על הנדסה מערכות

הצעד הראשון הוא זיהוי כל מקורות הנתונים הרלוונטיים לניתוח הנדסי.אלה עשויים לכלול:

• מערכות CAD ו- PLM כמו PTC Windchill, סימנס Teamcenter, או Dassault ENOVIA
• מערכות ייצור כגון Siemens Opcenter או Rockwell Automation
• SCADA ו-IoT חיישן פלטפורמות איסוף נתונים בזמן אמת
• מערכות ניהול מידע במעבדה לתוצאות בדיקה והסמכת חומרים
• מערכות תכנון משאבים ארגוניות בעלות, מלאי ונתוני הספק
• משוב לקוחות ומערכות אחריות מעקב אחר ביצועי שדה

כל מקור נתונים דורש להתאים או מחברים כדי לחלץ נתונים ולהטען אותו לאזור מחסני המחסן. Directus יכול לשמש שכבת API מאוחדת המחברת את המערכות הללו ומאפשרת תנועת נתונים, צמצום מספר האינטגרציה המותאמות אישית הנדרשת.

עיצוב ETL /ELT Pipeline

לחלץ, Transform, Load (ETL) ו- Extraction, Load, Transform (ELT) הם שתי הגישות העיקריות. ב- ETL המסורתית, הנתונים משתנים לפני טעינה, הבטחת נתונים נקיים בלבד, מאומתים נכנסות למחסן. ELT, נפוץ יותר במחסנים מודרניים, עומס נתונים גולמיים ראשון ולבצע שינויים בתוך המחסן באמצעות SQL או כלים כגון dbt (data) מציע גמישות רבה יותר עבור בדיקות נתונים מורכבים, כי ייתכן כי יש צורך בתקני ניתוח נתונים מתקדמים עבור טיפול תרופתיים עבור טיפול תרופתיים.

מודלים להנדסת חשמל

מודלים של נתונים כוללים תכנון טבלאות ומערכות יחסים המשקפות את זרימת העבודה הנדסית.מודל מעוצב היטב מקל על אנליסטים לענות על שאלות כמו:

• איך שיעור הפגם משתנה על ידי קו הייצור ושינויים במהלך הרבעון האחרון?
• אילו ספקים יש את השיעור הגבוה ביותר של חומרים שאינם מתואמים?
• מה הקשר בין תדירות תיקון עיצוב וייצור זמן?
• איך גיל הציוד משפיע על הזמן בין כישלונות?

דפוסי מודלים נפוצים כוללים שולחנות עובדה לאירועים כגון פועלי ייצור, בדיקות, פעילויות תחזוקה; טבלאות ממד עבור ישויות קונטקסטואליות כמו מוצרים, מכונות, ספקים; ושולחנות גשר עבור מערכות יחסים רבות-לגברים כגון BOMs ומפרטים הבדיקה. תיעוד מודלים אלה עם תיאורים ברורים מבטיח כי אנליסטים יכולים לנווט את הschema ללא בלבול.

מידע על איכות ואיכות

ללא ממשל תקין, מחסן נתונים הופך במהירות לביצה נתונים שבה צוותי ההנדסה חייבים להקים בעלות ברורה על כל תחום נתונים, להגדיר כללים איכותיים של נתונים, וליישם בדיקות אימות אוטומטיות.כלי כמו FLT:0 Open Data DiscoveryFLT:1 יכול לעזור לעקוב אחר קופס נתונים, מראה היכן מקור הנתונים וכיצד הוא השתנה.

הנדסה אמיתית בעולם משתמשת במקרים

תחזוקה חיזוי

אחת היישומים המוערכים ביותר היא תחזוקה חיזויית.על ידי איסוף נתוני חיישן היסטוריים של ציוד יחד עם יומני תחזוקה ורשומות כישלונות, צוותי הנדסה יכולים לבנות מודלים החיזוי כאשר מכונה צפויה להיכשל. מחסן נתונים מספק את הבסיס על ידי אחסון שנים של נתונים של זמן והופכים אותו זמין עבור הכשרה מודל ו בזמן אמת בארגונים באמצעות דוח תחזוקה צפוי של 30 עד 50 אחוזים של תחזוקה ותחזוקה ישירות עלות עד 10 אחוזים של ציוד.

אופטימיזציה איכות ייצור

איכות הייצור תלויה במשתנים רבים: תכונות חומריות, הגדרות מכונה, תנאים סביבתיים, ופעולות המפעילה.מחסני נתונים מאחדים את הנתונים מכל המקורות האלה, ומאפשרים למהנדסים איכותיים לזהות שורש של פגמים.לדוגמה, על ידי ניתוח נתונים מאלפי מחזורי ייצור, צוות עשוי לגלות כי טווח טמפרטורה ספציפי במהלך ריפוי מתואם עם שיעור גבוה של 15% עם תובנה זו, הם יכולים להתאים את התהליך ולהפחית, שיפור עלויות החומריות והורדת.

מחזור חיים של המוצר Analytics

מהרעיון ועד סוף החיים, מוצרים מייצרים נתונים בכל שלב. מחסן נתונים מאפשר למהנדסים לנתח את מחזור חיי המוצר כולו, החל משינויים בעיצוב לביצועי שדה.זה חושף דפוסים כגון אילו תכונות עיצוב קשורות ביותר לתביעות אחריות או אילו תהליכי ייצור מייצרים את המוצרים האמינו ביותר. תובנות אלה ניזונים חזרה לשלב העיצוב, יצירת לולאה שיפור מתמשך המפחיתה את זמן לשוק ומשפרת את איכות המוצר על פני דורות מוצלחים.

דיווח על אנרגיה וקיימות

כארגונים המחויבים למטרות של אפס נטו, צוותי הנדסה חייבים לעקוב אחר צריכת האנרגיה, פליטות פחמן ודור פסולת על פני פעולות. מחסני נתונים ingests נתונים ממטר אנרגיה, מערכות ניהול פסולת, ומאגרי מידע של שרשרת האספקה כדי לייצר דוחות קיימות מקיפים.מהנדסים יכולים לזהות הזדמנויות להפחית את צריכת האנרגיה, אופטימיזציה של השימוש בחומרים, ולמזער את ההשפעה הסביבתית. ארגונים רבים משתמשים כעת בלוחדיונים המופעלים על מנת לעקוב אחר התקדמותם נגד ESG (Environal, מטרות חברתיות, Socialance, Socialance), ומטרות חברתיות, ממשליות) ומטרות בזמן Govern).

שרשרת אספקה ואופטימיזציה של ממציא

מחסני נתונים הנדסיים גם תומכים בניתוח שרשרת האספקה על ידי שילוב נתונים של רכש, מלאי, וביקוש מערכות.מהנדסים יכולים לנתח זמני להוביל, ביצועים ספקים, מחזור מלאי לזהות צווארי בקבוק ולהמליץ על שיפורים.כאשר מרכיב קריטי הוא על backorder, המחסן יכול לעזור לאשר אילו הזמנות ייצור לקבל מלאי מוגבל על בסיס ההשפעה של הכנסות או התחייבויות לקוחות.

יישום מחסן נתונים: מפת דרכים מעשית

שלב 1: גילוי ודרישות

התחל על ידי ראיון עם בעלי עניין על פני הנדסה, ייצור, איכות וצוותי תחזוקה.עד את השאלות העסקיות העיקריות שהם רוצים לענות, למפות אותם מקורות הנתונים שיכולים לספק תשובות, ולהעריך את איכות הנתונים במערכות קיימות.שלב זה צריך גם לזהות פערים שבהם נתונים קריטיים לא נתפסים כרגע.הפלט הוא רשימה קודמת של מקרים שימוש ומקור נתונים המדריכים את היישום.

שלב 2: תשתיות ובחירת פלטפורמה

בחר פלטפורמה של מחסני נתונים שמתאימה לגודל שלך, תקציב ומומחיות טכנית. עבור ארגונים כבר בענן, שירותים מנוהלים כמו אמזון רדופה או Google BigQuery מציעים את הדרך המהירה ביותר לייצור.עבור פריסות על-ידי ארגונים עם עומסי עבודה עת כבדים, Apache Druid הוא בחירה חזקה.חשב כיצד כלים כמו Directus מתאים למערכת האקולוגית: Directus יכול לשמש כשכבת מידע אנליטית לקיצור נתונים ולהפחית את ה- API תפעולי.

שלב 3: פיתוח נתונים

בנו צינורות שמניבים נתונים ממערכות מקור, הופכים אותו לפורמטים שניתן להעלות על הדעת, ודוחפים אותו לתוך המחסן.התחל עם מקורות הנתונים בעלי הערך הגבוה ביותר ומכשירים לשימוש כמו זרימת האוויר של אפאצ'י לתזמורת, לטבול עבור שינויים, וקטלוג נתונים לניהול metadata.אוטומטי ככל האפשר כדי להפחית מאמץ ידני ולהבטיח עקביות.

שלב 4: מודלים וטרנספורמציה

עיצוב מודלים נתונים התומכים בשאלות העסקיות שזוהו בשלב 1. זהו תהליך של הנדסת מודלים כאשר מודלים מעודן כמו אנליסטים מתחילים להשתמש בהם. להתמקד בבניית מודלים ממדיים קלים להבנה ושאילתה. לתעד כל שולחן ועמודה עם הגדרות עסקיות ברורות. לערב אנליסטים בשלב זה כך המודלים תואמים עם המודלים המנטליים שלהם של הנתונים.

שלב 5: ויזואליזציה ושירות עצמי

לחבר את מחסן הנתונים לכלי BI ולבנות לוחות נתונים המספקים תובנות לבעלי העניין.ספקו הכשרה למהנדסים ולאנליסטים כדי שיוכלו ליצור דוחות משלהם וחיפושים. ניתוח שירות עצמי מעצימה צוותים לענות על שאלות במהירות מבלי לחכות לצוות נתונים מרכזי.

שלב 6: מעקב ושיפור מתמשך

ברגע שהמחסן הוא מבצעי, לקבוע מעקב אחר טריות נתונים, כשלי צינורות, צווארי בקבוק ביצועים. לאסוף משוב של משתמשים ולקדם שיפורים.עקוב אחר מדדי אימוץ כגון משתמשים פעילים, נפח השאילתה, ושימוש בלוח המחוונים כדי להבין אילו תחומים מספקים את הערך הרב ביותר. Data Warehousing הוא לא פרויקט חד פעמי, אלא יכולת מתמשכת שיש להתפתח עם הארגון.

אתגרים משותפים

שוברים נתונים סטטיסטיים

סילקו נתונים הם לעתים קרובות תוצאה של מבנה ארגוני ולא מגבלות טכניות.שילוב בין-תפקודי והתאמה של תמריצים סביב מטרות נתונים משותפות מסייע לשבור את המחסומים האלה.מחסני נתונים מספק את הבסיס הטכני, אך שינוי תרבותי הוא הכרחי לאימוץ.ממנת מנהלים ותקשורת ברורה על ערך של נתונים משולבים הם נהגים חיוניים.

הבטחת איכות נתונים

איכות נתונים ירודה מערערת את האמון במחסן.האימות האוטומטי בכל שלב: הפקת מקור, עוקץ, טרנספורמציה, טעינה. בנה לוח נתונים איכות נתונים שעוקב אחר מדדים כמו שלמות, דיוק, וזמן. כאשר נושאים נמצאים, לתקן אותם במקור ולא לתקנו אותם במחסן. גישה זו מונעת בעיות חוזרות ומשפרת את איכות המערכות התפעוליות כתועלת צד.

ניהול סקאביות ועלויות

ככל שנתוני נפח גדלים, אחסון ועלויות חישוביות להגדיל.שימוש בחלוקת, איסוף ודחיסה כדי להפחית את צריכת האחסון. Leverage Auto-scaling תכונות במחסנים בענן כדי להתמודד עם עומסים ללא שימוש יתר. Monitor וקביעת התראות תקציב כדי להימנע מחשבונות בלתי צפויים.עבור נתונים הנדסיים גדולים, לשקול יישום מדיניות ניהול חיים של נתונים כי ארכיון או נתונים ישנים כי הוא כבר לא רלוונטי עבור ניתוחים פעילים.

אבטחה וביטוח

נתונים הנדסיים כוללים לעתים קרובות נתונים רגישים קניין רוחני ונתונים של לקוחות.ליישם בקרת גישה המבוססת על תפקידים כדי להגביל מי יכול להציג או לייצא נתונים מוצפן במנוחה ובמעבר.לוודא עמידה בתקנות כגון GDPR, המק"סA או סטנדרטים ספציפיים בתעשייה כגון ITAR. ביקורת אבטחה רגילה צריכה להיות חלק משגרת התפעולית. מחסן נתונים עם בקרת גישה חזקה יכול למעשה לשפר את האבטחה בהשוואה לשיתוף של DA-hoc של גליונות אלקטרוניים וקבצים שטוחים.

הטוב ביותר להצלחה ארוכת טווח

הקמת מסגרת ניהול נתונים

Define שבבעלותו כל תחום נתונים, אילו סטנדרטים איכותיים חלים, וכיצד יש להשתמש בנתונים.מועצת ממשל נתונים עם נציגי הנדסה, IT וצוותים עסקיים מספק פיקוח ופתרון סכסוכים. לנסח קטלוג נתונים המסייע למשתמשים לגלות ולהבין נכסים נתונים זמינים. מסגרת זו מבטיחה כי המחסן נשאר אמין ומתואם עם סדרי עדיפויות עסקיות ככל שהוא גדל.

השקעה ב Data Lineage

מעקב אחר מסע הנתונים ממקור לתובנות.זה בלתי חוקי עבור בעיות פיזור, ביצוע ניתוח השפעה, ו עמידה בדרישות תאימות.כלי כמו FLT:0 OpenLineageFLT:1 יכול ללכוד קואזאז באופן אוטומטי על פני הצינור. כאשר דוח מראה מספרים בלתי צפויים, קואז' מאפשר אנליסטים לעקוב אחורה למקור ולקבוע אם הבעיה היא בנתונים, או טרנספורמציה חזותית.

בדיקה אוטומטית ובדיקה

לטפל צינורות נתונים כמו תוכנה: לכתוב בדיקות, להפעיל אותם באופן אוטומטי, לפקח על תוקפנות.מבחן לשינויים סכימה, ערכי אפס, רשומות כפולות, ושלמות התייחסות. להגדיר התראות עבור תקלות צינורות והשפלה ביצועים. קבוצות רבות להשתמש מסגרות איכות נתונים כמו ציפיות גדולות כדי לאחד בדיקות אלה ולשלב אותם לתוך זרימת עבודה CI /CD.

עקבו אחרי Data-Driven Culture

מחסן נתונים הוא רק יקר אם אנשים משתמשים בו.ספק הכשרה, דוגמאות מסמכים, וחוגגים הצלחות.כאשר צוותים רואים כי החלטות המונעות על ידי נתונים להוביל לתוצאות טובות יותר, אימוץ עוקב באופן טבעי.עיצוב אלופים נתונים בכל צוות הנדסי המסייע לעמיתים להפיק את המרב מהמחסן.

כיצד Directus Enhances Engineering Data Warehousing

גישה לא-API

Directus מספק שכבת API עקבית RESTful ו- GraphQL המחברת למחסן הנתונים שלך ומקורות נתונים אחרים.במקום לבנות מחברים נפרדים לכל כלי, צוותי הנדסה יכולים להשתמש ב-Directus כדי לחשוף נתונים של מחסנים באמצעות נקודת קצה אחת, לפשט את האינטגרציה עם פלטפורמות BI, יישומים מותאמים אישית ומערכות צד שלישי.זה מקטין את זמן הפיתוח ותחזוקה.

מידע על Aggregation and Transformation

Directus תומך בפיצות נתונים וטרנספורמציה ישירות בתוך הפלטפורמה שלה, ומאפשר לצוותים הנדסיים ליצור שדות מקובעים, רולקס וגזרה מדדים ללא שינוי המחסן הבסיסי של schema.זה שימושי במיוחד עבור יצירת KPIs בזמן אמת או שילוב נתונים מטבלאות מרובות מחסנים.לדוגמה, צוות יכול ליצור תצוגה שהצטרפות לנתונים עם תוצאות בדיקה, חשיפת מדד עבור מאוחדת עבור תשואות ראשונות.

ניהול משתמשים ובקרת גישה

הרשאות גרנוריות מבטיחות שכל משתמש או צוות רואה רק את הנתונים שהם מורשים לגשת אליהם.זה קריטי עבור ארגוני הנדסה שצריכים להגן על קניין רוחני תוך מתן ניתוח עצמי. Directus מאפשר למנהלים להגדיר תפקידים ורשאות בטבלה, שדה או מדרגה שורה, להבטיח כי נתוני עיצוב רגישים מוגבלים לאנשי צוות מורשים בעוד מדדים תפעוליים זמינים באופן רחב.

פשטות מהירה וההרסה

עם Directus, צוותי הנדסה יכולים במהירות לאחזר דוחות חדשים ומחונים ללא המתנה ל- IT. ממשק no-code מאפשר למשתמשים להגדיר מבני נתונים, ליצור מערכות יחסים ולבנות ויזואליזציה בתוך דקות.זה מאיץ את המחזור מהנתונים לתובנות, ומאפשר לצוותים לבחון השערות ולהסתנן על פתרונות ניתוח במהירות העסק.

מסקנה

הפסקת נתונים היא הכרח אסטרטגי עבור ארגונים הנדסיים שרוצים לרתום את הנתונים שלהם לטובת תחרותית.על ידי איחוד נתונים ממערכות CAD, פלטפורמות ייצור, רשתות חיישן, ויישומים ארגוניים, צוותי הנדסה פותחים תובנות שמניעות חדשנות, לשפר את האיכות, ולהפחית עלויות.המסע מהנתונים המפרקים לפלטפורמת ניתוח מאוחדת דורש תכנון קפדני, תשתיות חזקות ומחויבות לממשל נתונים.