הגדלת מידע האינטרנט של דברים (IoT) עם מסדי נתונים הנדסיים היא אתגר קריטי עבור מערכות הנדסה מודרניות, המאפשר ניתוח בזמן אמת, תחזוקה חיזוי ויעילות תפעולית. בעוד הגודל והמגוון של דרישות נתונים של נתונים של IoT דורש אסטרטגיות מסד נתונים חזק, פלטפורמות כמו Directus לספק חזרה ללא ראש שיכול לגשר על הפער בין מכשירים heterogeneous ומסד נתונים הנדסיים מובנות.

הבנת נתונים והנדסת נתונים

מכשירים IoT - החל מחיישנים תעשייתיים ומונים חכמים לרכבים מחוברים ומעקבי איכות הסביבה - נתונים מתחדשים במגוון פורמטים: קריאה מספררית, פעמים, GPS, קואורדינטות, מטענים בינאריים, וקודמי סטטוס המכשיר.הנתונים האלה הם לעתים קרובות עת עתירי IoT, מובנים באופן רופף, ומחייבים מסדי נתונים מיוחדים לטיפול, על הידיים האחרות, בדרך כלל מצפה טבלאות עיצוביות (DMS) או טבלאות).

מסדי נתונים הנדסיים משמשים כחנות סמכותית עבור מדדים תפעוליים, תצורות נכסים, יומני אירוע ומגמות היסטוריות.הם לוחצים כוח, כלי דיווח ומודלים למידה מכונה.כאשר תוכנן כראוי, צינור בסיס IoT-ל-נתונים מבטיח כי מכשיר גולמי מטלמטארי נקי, מותאם אישית ומאוחסנים באופן תומך הן שאילתות בזמן אמתיות וניתוח ארוך טווח.

שיקולים עיצוביים

נפח נתונים ו Velocity

ציי IoT תעשייתיים יכולים לייצר טרה-ביאטים של נתונים מדי יום מאלפי חיישנים.המסד הנתונים חייב להציף את השיטפון הזה מבלי לגרוע על ביצוע קריאה או דהינגינג (FLT:0database sharding records) לפני ש-AcpLT-Dygic Partitioning Over Nodes), FLT:2pressation FLT 3 (למשל, ata-Feric) כדי לעזור ל-Dygicing נתונים חדשים יותר, כדי לספק נתונים על ידי אחסון ב-DDR) באופן אוטומטי, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000) באופן אוטומטי, 000, 000, 000, 000, 000, 000, 000, 000 של אמזון, 000, 000, 000, 000, 000, 000, 000, 000) באופן אוטומטי, 000, 000, 000, 000, 000, 000 אבטחה אחוריים של אבטחה אחוריים, 000, 000, 000, 000, 000, 000 של אמזון, 000, 000, 000 של אבטחה אחוריים, 000 של אבטחה אחוריים, 000, 000, 000, 000, 000

אבטחת מידע ופרטיות

(המידע של IoT מכיל פרמטרים תפעוליים רגישים, עקבות מיקום או מידע המאפשר זיהוי אישי (PII) כאשר הוא קשור למשתמשים.מודל אבטחה חזק כולל FLT:0en קריאציה ב- RestFLT:1 (AES-256 לאחסון), אשר דורש גם קידוד של נתונים של ניהול ישיר (RLT) 3 (TLS 1.3 עבור ממשק API ותקשורת אלחוטית), ו-ALT:4 עבור גישה מבוססת קוד פתוח (R)

איכות נתונים ושקיפות

חיישנים IoT יכולים לייצר קריאה שגויה בשל התערבות, סחף קליברציה, או תקלות שידור.עיצוב איכות על ידי יישום FLT:0validation RulesFLT:1 בשכבה ה- API ההולכת ומתמשך (למשל, הבטחת קריאה טמפרטורה נופלת בטווח קבוע של נתונים), FLT:2deduplicationsFLT 3: (באמצעות מזהה +tamprea) כמפתחות סטנדרטיות של NLT5 פעמים)

דרישות לגרות ומציאות

מקרים רבים של שימוש ב-IoT - כמו מערכות חסימה תעשייתיות או בקרת רכב אוטונומיים - קבלת החלטות משנה דרישה.אם מסד הנתונים אינו יכול לספק חד-ספרית של מילימטרים לכתוב / לקרוא עצלות, שכבה ניתוק קצה צריך לטבול או לאסוף טלמטארי באופן מקומי.מנועי עיבוד זרם (למשל, Apache Flink, Sparkסטרימינג) יכול לסנן ולהפוך נתונים לפני כתיבת מסד הנתונים, בעוד הודעות טקסט (Mcret), בעת שליחת פקודות לוח זמנים של Microsoft).

אפשרויות ופרוטוקולים

מערכות אקולוגיות IoT משתמשות במגוון רחב של פרוטוקולי תקשורת: RESTQTT (Pap משקל פאב / sub עבור מכשירים מאומנים), CoAP (UDP מבוסס על כוח נמוך), HTTP/2, ופרוטוקולים הקנייניים של SCADA.השילוב חייב לתרגם בין פרוטוקולים אלה לבין שפת שאילתה של מסד הנתונים (Moont) ל-iOS (D) ל-iOS) ל-MQ-Renchexited Access) ל-iOS (D) באופן קבוע הוא כדי לפרוססטורף (F:0to-R) ל-R.

אדריכלות: אינטגרציה

צוק מול Cloud-Centric

תהליכי מחשוב קצה בנתוני IoT ברמת המכשיר או שער לפני שליחתו למסד הנתונים המרכזי.זה מקטין רוחב פס ועקביות, ושומר על יכולת לפעול במהלך הפסקות הרשת.לדוגמה, שער קצה יכול לאסוף 10 שניות קריאה לממוצעים של 1 דקות ורק לשדר אזהרות חריגות על הזרם.מסד הנתונים של Directus מרכזי לאחר מכן מאחסן את המדדים המצטברים, צמצום הלחץ בדגם ענן-חומרי גבוה יותר (אך איטי יותר) הוא לעתים קרובות יותר ויותר קבוע יותר ויותר על גבי זרם ה-תרגול (אך) אך ורק על גבי גבי גבי מאגר הנתונים ה-החומרי תיבות של ACC) של ACC (אך הוא דחף באופן ישיר יותר ויותר קבוע יותר).

אדריכלות: Event-Driven Architecture

שילוב IoT באופן טבעי מלווה את עצמו לדפוסי נהיגה אירועים באמצעות FLT:0publish /subscribeigt1 (pub/sub) מערכות.כל חיישן קורא או שינוי מצב הוא אירוע הגורם לפעולות מיידיות (למשל, עדכון לוח זמנים, שלח התראה, שלח הודעה לעיתונות, לכתוב למסד נתונים ספציפי), באמצעות מתווך הודעה כגון קפקא, RabbitMQ, או Directus Webhooking, יכול להוסיף אירועים חדשים של סימולציה ללא מקיפים.

API Gateway ו- Microservices

כאשר מסד הנתונים ההנדסי יושב מאחורי ארכיטקטורה מיקרו-שירותים, שער API (למשל, קונג, Traefik) או תפקידו של Directus כשכבה API מאוחדת הופך מכריע.זה מפשט את יישום האחסון האחורי של האחסון - בין אם זה קבוצות PostgreSQL, MySQL, SQLite, או הרחבה של זמן - ומציג את תקן עקבי / GraphQL לממשק, יישומים ניידים, ו-Directes, גם את הפונקציה של קוד פתוח.

בחירת טכנולוגיית מסד הנתונים הנכונה

מסדי נתונים של Time-Series לעומת Relational Databases

מסדי נתונים יחסיים כלליים (PostgreSQL, MySQL) יכולים לטפל בנתונים של IoT, אך הם נאבקים עם הקרדינל הגבוה (מספרי זיהויים ייחודיים של מכשירים ותגים) וכותבים באמצעות קידוד טיפוסי של סטרימינג טלמטארי (FLT:0time-series Database) באמצעות מסדי נתונים אוטומטיים של לוח זמנים (TS) כגון InfluxDB, זמן מורחב (אשר Postgredata), או תצורה מתאימה ל-DBS) באמצעות שימוש בתבניות אחסון אוטומטיות, מותאמות אישית, מותאמות אישית, מותאמות אישית, cc-DBS, או cc-DBS, cc-DBS, , , , , cc-D, , cc-D, , cc-D.

התפקיד של Directus כ-Unified Data Layer

Directus מצטיין כמנהל בסיס CMS/dataentialbase של CMSFLT:1 המאפשר למהנדסים להגדיר schemas, ליצור APIs, ולנהל משתמשים - כולם ללא כתיבת קוד גיבוי.

  • לשמש מקור יחיד של אמת עבור metadata ותצורה של המכשיר (באמצעות schema היחסי שלה).
  • תוצאות חיפוש > Exse/GraphQL עבור שני צלקות נתונים חושיים ושאילתות לוחיות.
  • לספק תמיכה Webhook כדי לעורר הודעות בזמן אמת או microservices על הוספת נתונים.
  • להציע RBAC וניהול מפתח API לתקשורת בטוחה למכשירים ל-DB.
  • שינוי נתונים אוטומטי באמצעות נקודות קצה מותאמות אישית או תוכנות ביניים של צד שלישי.

על ידי הסרת מנוע מסד הנתונים הבסיסי, Directus מאפשר לצוותים לעבור, למשל, PostgreSQL ל-TimescaleDB ללא אינטגרציה של לקוחות - גרימת עלויות תחזוקה ארוכות טווח.

מודלים לשילוב IoT

המונחים:

מודלים של נתונים על IoT חייבים לאזן את הנוקשות (הפחתת עקביות הנתונים) ואת הגמישות (באמצעות עומסי תשלום מגוונים).

  • (FLT:0)Device TableveFLT:1: חנויות המזהים, מספרים סידוריים, גרסת קושחה, מיקום ומעמד.Linked לאוסף המדידות באמצעות מפתח זר.
  • (FLT:0)Measurements TableFLT:1: מכיל פעמיםtamp, מכשיר id זר מפתח, ואחד או יותר עמודות מטריות (למשל, טמפרטורה, לחות) עבור נתונים מסוג משתנה, השתמש בטבלה זוג ערכי מפתח (EAV אנטי-פנס) או עמודה JSON עבור תשלומים לא מובנים.
  • (FLT:0) סיומות / אלמרוס שולחן 1 (אלמחיל 1): חנויות אירועים דיסקרטיים (למשל, מכשיר לא מקוון, נשבר) עם דגימות וחומרה.

עבור לוחות זמנים של ענן, לשקול חלוקה על ידי טווחי זמן (למשל, יום או חודשי) כדי להאיץ שאילתות ותחזוקה.שימוש ב בונה הschema של Directus, טבלאות אלה ניתן ליצור ולקשר באמצעות מערכות יחסים רבות-לאחד או רבות-לגברים במידת הצורך.

ניהול מחשוב וניהול מכשירים

(ד'ר קושחה, נתוני כפייה, תאריך אחריות) הוא בדרך כלל פחות תנודתי מאשר קריאה. שמור אותו בschema יחסי נורמלי כדי לאפשר תצפיות יעילות ולהצטרף שאילתות. השתמש ב-Directus's FLT:0m2mFLT:1 (דיווחים על-to-many) כדי לקשר מכשירים עם תגים, קבוצות, קושחה או גירסאות אלה מאפשר ל-Resperapoint כדי לספק חיישנים חד-זמנית עם הזמן הנכון עם הזמן הנכון.

אסטרטגיות יישום

שימוש בתבניות סטנדרטיות של נתונים

(ב) [17] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

טכנולוגיות מיידיות ו- API

במקום שיש מכשירים IoT לכתוב ישירות למסד הנתונים (שייצר חששות הפיכה ואבטחה הדוקים), להציג שכבת מודעות בינונית שמאמתה, משנה וכבישים נתונים. Directus יכול לתפקד כאמצעי זהירות באמצעות ממשק ה- API שלה: מכשירים POST JSON ל-FLT:0 והפלטפורמה מטפלת באימות, בדיקות ועקשנות.

Real-Timeסטרימינג (MQTT, קפקא, WebSockets)

עבור יישומים הדורשים חשיפה מיידית - כמו לוחות נתונים של רצפת חיים או זיהוי אנומלי - שימוש ב-FLT:0 (MQTTFLT:1 עבור פרסום המכשיר-ל-ברוקר:2KafkaFLT 3 עבור מינוף זרמים גדולים.ה- Directus WebSocket API (אם אפשר לדחוף עדכונים לנספחים לאחר נתונים מאוחסנים באופן מיידי, הוא יכול ליצור אספקת מסד נתונים ישירות ל-Directce-Directus.

עיבוד Batch לניתוח היסטורי

לא כל הנתונים של IoT זקוקים לטיפול בזמן אמת.עבור ניתוח מגמה היסטורי, הכשרת מודלים או דוחות חודשיים, עיבוד אצווה הוא יותר יעיל משאבים.זמנה ETL משרות (למשל, באמצעות זרימת האוויר של אפאצ'י או Directus Custom Flows) המאגדת קריאה גולמית לסימפוזיון שעה או יומי ולאחסן אותם בטבלאות נפרדות. Directus יכול לחשוף את ההשקפות המצטברות הללו באמצעות אותו API כמו נתונים חיים, ומאפשרת להחלפה חלקה בין הזמן בין הזמן.

אבטחה אינטנסיבית

כל נקודת אינטגרציה - החל מ- Gateway, Gateway ל- API, API למסד נתונים - יש לנעול את השימוש ב-DLC:0API מפתחי ראשי התיבות של ההרחבה 1 (עם יקפי מינימליים) עבור כל קבוצת מכשירים. EnforceFLT:2TLSFLT:3 לכל תקשורת.

מקרה מחקר: Integrating IoT Sensor נתונים עם Directus

שקול פרויקט בניין חכם עם 10,000 חיישנים שדיווחו על טמפרטורה, לחות, CO2, ושימוש באנרגיה כל 30 שניות.צוות ההנדסה היה צורך מסד נתונים מרכזי כדי לשרת לוחצים בזמן אמת וביקורת אנרגיה חודשית.

  • (FLT:0) שערות של קונסול 1:1 רץ מוסקקוויטו MQTT כי מצטברים 1 דקות בממוצע מתוך נתוני 30 שניות הגולמיים ושולחים אותם אל אשכול בענן קפקא.
  • (ב) "הלקוח של קק"ל" (ב"ג) כתב ב"Go" שהפך את רשומות האברו ל-JSON ומאגד אותם ל- 100-רשומות בבקשות ל-FLT:2DirectusFLT 3
  • (ב) ,0) ,DirectusofLT:1 , מוגדר עם הרחבה PostgreSQL + TimescaleDB.הקובץ מסד הנתונים כלל טבלת 1FLT (metadata), aFLT:2 Hypertable (זמן), ושולחן AFLT 3: 3 (אירועים בזמן אמת).
  • (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (FLT:0) ראול גישה מבוססת גישה ל- 1FLT: מנהלי בנייה יכולים להפעיל שאילתות מותאמות אישית, בעוד חיישנים רק כתבו גישה לנתונים שלהם באמצעות מפתחי API מעודכנים מראש.

האינטגרציה טיפלה בבקשות של 500k ליום עם <10ms ממוצעות לרמה של Directus, ואת עיכובי עדכון לוח המחוונים שנותרו מתחת ל 2 שניות - תוך מתן דרישות ניתוח בזמן אמת והיסטורי.

מסקנה

הגדלת נתוני IoT עם מסדי נתונים הנדסיים דורש תשומת לב זהירה לנפח, מהירות, אבטחה ומודל נתונים. על ידי שימוש בפלטפורמה כמו Directus כשכבת הנתונים המאוחדת, הצוותים יכולים להסיר את המורכבות הבסיסית, לאכוף את בקרת הגישה ולספק ממשק API גמיש מתפתח עם הצי.עם דפוסים אדריכליים ואסטרטגיות המתוארות כאן - התחדשות, עבודה מונחה, אופטימיזציה של זמן, אופטימיזציה, ושילובים של עיצובים, יכולים להמשיך לפתח את אותם עקרונות יציבים.