Table of Contents

فهم عملية تجهيز البيانات الهندسية في الوقت الحقيقي

وتستلزم عملية تجهيز البيانات الهندسية في الوقت الحقيقي نظماً تلتقط وتحلل وتتصرف في البيانات لحظة توليدها، وعلى عكس تجهيز الباتش، حيث يتم جمع البيانات على مدى فترة ثم تجهيزها في مرحلة السوائب، يتطلب تجهيزها في الوقت الحقيقي فترات متأخرة دون الثانية، وهذا التمييز حاسم في حالات الاستخدام الهندسي مثل الصيانة المتوقعة، حيث يؤدي التأخير في تحليل بيانات اليقظة من توربين إلى حدوث إخفاق في الإجهاد.

ولتلبية هذه الطلبات، يجب تصميم نماذج البيانات بفهم عميق لسرعتها وتنوعها وحجمها، وكثيرا ما تصل القراءات الحساسة من أجهزة الإنترنت إلى ملايين الأحداث في الثانية، كل مرة تتضمن مصابيح، ومحددات، وقياسات متعددة، ويجب أن يلتقط نموذج البيانات هذا التيار بكفاءة، وأن يقلل من الرؤوس العامة للتخزين، وأن يتيح استرجاع سريع للأنياب في المراحل السفلية.

وتشمل التحديات الرئيسية معالجة البيانات خارج نطاق الطلب، وإدارة الأحداث المتأخرة في الارتحال، وضمان تجهيزات السيمنات بدقة عندما لا يمكن التغاضي عن الازدواجية، كما أن نموذج بيانات مصمم تصميما جيدا يلخص هذه التعقيدات، ويوفر وصلة بينية نظيفة للمهندسين للاستفسار ويصور البيانات في الوقت الحقيقي.

المبادئ الأساسية لنموذج البيانات التصميمي في نظم التسلسل الحقيقي

ويتطلب تصميم نموذج للبيانات المتعلقة بالهندسة في الوقت الحقيقي تحقيق التوازن بين المفاضلات بين عدة مبادئ أساسية، وتسترشد هذه المبادئ بالقرارات المتعلقة بتصميم المواد الكيميائية ومحركات التخزين وأنماط الاستفسار.

القابلية للتقسيم والتواضع

ويجب أن يُقَدَّم نموذج البيانات أفقياً بحيث يستوعب أحجام البيانات المتزايدة دون تردي الأداء، وهذا كثيراً ما ينطوي على تقسيم البيانات عبر عقد متعددة، مثلاً، يمكن تقسيم بيانات السلسلة الزمنية حسب النطاق الزمني أو بواسطة حافة من الهويات المشعرة.() وتسمح المرونة للنظام بإضافة أو إزالة العواميد تلقائياً كتغييرات في الحمولة، وهو أمر مهم بصفة خاصة في البيئات الهندسية التي تحدث فيها انفجارات البيانات أثناء التجارب أو عمليات الإنتاج.

قراءه وكتابة ألعاب

وتحتاج التطبيقات في الوقت الحقيقي إلى عمليات الكتابة والقراءة على السواء لإكمالها في غضون ثوان، كما أن هياكل البيانات التي تدعم الكتابة فقط، مثل الأشجار الدمجية ذات الهيكل السوقي، شائعة في قواعد البيانات مثل InfluxDB ] أو أجهزة قياس التوقيت، وفيما يتعلق بالرسائل، يجب أن يدعم النموذج النطاقات الفعالة للمسح على النوافذ الزمنية، وأجهزة البحث المشتركة.

اتساق البيانات ونزاهةها

وفي السياقات الهندسية، لا يمكن التفاوض على دقة البيانات، ويجب أن يُفرض نموذج البيانات قيوداً على الاتساق، مثل ضمان أن تكون قراءة درجة الحرارة ضمن نطاق محدد سلفاً، وتُطبق استراتيجيات حل النزاعات، مثل التوائم من الطراز الأخير أو ناقلات النسخ، عندما تصل البيانات من مصادر متعددة، غير أن الاتساق في نهاية المطاف يكون مقبولاً في كثير من الأحيان لرصد لوحات الدفع، في حين أن الاتساق القوي إلزامي بالنسبة لثبات التحكم التي تُصِق مباشرة.

المرونة في أماكن الإقامة

وكثيرا ما تضيف المشاريع الهندسية أجهزة استشعار جديدة أو معدلات أخذ العينات أو إدخال أنواع قياس جديدة، كما أن هناك انقطاعا حادا ومحددة سلفا للكيما عندما تتغير البيانات، كما أن نماذج البيانات المرنة، مثل النهج الكيميائي على الشاشة (مثل استخدام قاعدة البيانات المشتركة بين المصارف في نظام " بوستغري " أو الأعمدة الدينامية في كاساندرا) تتيح للمهندسين الحصول على بيانات دون تغيير قاعدة بيانات قياسات.

اختيار هيكل البيانات الصحيحة ومحركات التخزين

إن اختيار هياكل البيانات يؤثر تأثيرا مباشرا على قدرة النظام على تجهيز البيانات في الوقت الحقيقي، ويقلل ذلك من الهياكل الأكثر استخداما في نماذج البيانات الهندسية، إلى جانب مبادلاتها.

قواعد بيانات السيرة الزمنية

(ب) قواعد بيانات السلسلة الزمنية (الحواجز التقنية) هي عبارة عن مصممة الغرض لتخزين واستفسار نقاط البيانات المتتابعة التي تم تصنيفها حسب الزمن، وهي عادة ما تضغط البيانات بكفاءة باستخدام التزيين والتزين في الدلتا، وتخفض تكاليف التخزين.() كما تدعم الحواجز غير التعريفية سياسات أخذ العينات واستبقاء البيانات التي تجمع تلقائياً أو تحذف منها.()

Key-Value Stores

والمخازن ذات القيمة الرئيسية ممتازة بالنسبة للمراقبين في الوقت الحقيقي لحالة الأجهزة أو تشكيلها، وهي توفر درجة منخفضة للغاية من حيث قراءتها وكتابتها، وفي نماذج البيانات الهندسية، كثيرا ما يكون المفتاح مركبا من أجهزة الهوية ومؤخرات التأريخ، بينما تكون القيمة مزيجا متسلسلا من قراءات أجهزة الاستشعار، غير أن مخازن القيم الرئيسية أقل كفاءة بالنسبة للاستفسارات عبر أجهزة متعددة أو نوافذ زمنية معروفة.

Stream-Processing Native Stores

فالتكنولوجيات مثل مواضيع آباتشي كافكا المدمجة أو متجر ولاية أباتشي فلينك تسمح بتجهيز البيانات وتخزينها في المجرى نفسه، وهذا الهيكل يقلل من الحاجة إلى قواعد بيانات منفصلة عندما تكون حالة الاستخدام الأولي محللين وتنبيهات في الوقت الحقيقي، فعلى سبيل المثال، يمكن لنموذج البيانات الذي ينفذ باستخدام كاميرا " كافكا سترامز " أن يحافظ، في مخزن محلي، على عشر دقائق من بيانات اليقظة.

النُهج الهجينة

وتستخدم نظم هندسية كثيرة استراتيجية هجينة: استخدام مجهز للتدفقات للمحللين في الوقت الحقيقي، وجهاز تدفئة الديموغرافيا للتخزين التاريخي، ومخزناً ذا قيمة رئيسية للدولة الحالية، وهذا الهيكل يوفر قدراً ضئيلاً من المرونة بالنسبة لوحات الطلاء التشغيلي، مع إتاحة تحليل تاريخي عميق، ويجب أن يحدد نموذج البيانات كيف تتدفق البيانات بين هذه الطبقات، وكثيراً ما تستخدم فيها بيانات التغيير أو الأنماط ذات المقاييس المزدوجة.

استراتيجيات تصميم نماذج البيانات الهندسية

وتصمم نماذج البيانات الفعالة للبيانات الهندسية في الوقت الحقيقي مع استراتيجيات محددة تعالج القيود الفريدة التي يفرضها المجال.

أجهزة النمذجة وأجهزة الاستشعار

ومن النهج المشترك وضع نموذج لكل جهاز مادي أو جهاز استشعار ككيان متميز يجسد مساراً من أحداث القياس، وفي نموذج متصل، يمكن أن يكون لديك جدول مع بيانات مائية (الموقع، والمصنع، والموعد النهائي) وجدول مع الوقت، والنوع المستشعر، والقيمة، غير أنه في السيناريوهات الحالية، يمكن أن ينمو جدول القياسات.

مثال على سجل قياس مسطح:

timestamp: 2025-03-09T14:30:01.234Z, tool id: "sensor-42", metrics: {"temperature": 68.2,"humidity": 45.1, "pressure": 1013.2}

]

التطبيع ضد التحلل

فالتطبيع يقلل من تواتر البيانات ويحسن الأداء الشطبي عن طريق تخزين البيانات الوصفية بصورة منفصلة، غير أن نظام القياسات في الوقت الحقيقي كثيرا ما ينضم إلى مسار القياس مع البيانات الوصفية للأجهزة يمكن أن يُحدث درجة من عدم الدقة.

التجزئة والتقاسم

وتقسيم البيانات أمر حاسم بالنسبة للتقسيم، فالتجزئة القائمة على الوقت هي الأكثر شيوعاً بالنسبة لبيانات السلسلة الزمنية: تغطي كل عملية تقسيم فترة زمنية محددة (مثل ساعة أو يوم واحد)، وهذا يتيح للنظام إسقاط التجزؤ القديم بسرعة وإجراء الاستفسارات المتعلقة بالنطاق بكفاءة.() ويوزع التجزؤ القائم على أساس التفريق بين الأجهزة بالتساوي على جميع المنواحي، ولكن يمكن أن يؤدي إلى ظهور مواقع ساخنة أكثر من بعض الأجهزة.

فهرس أداء القرآن

ويجب أن تصمم استراتيجيات الفهرسة بحيث تتناسب مع أنماط التساؤل الأكثر شيوعا: "إعطاء جميع البيانات عن الجهاز X خلال الساعة الأخيرة" أو "إحداث جميع الأجهزة التي تتجاوز درجة حرارتها 100 درجة مئوية في اللحظة الأخيرة" فهرس زمني مقترن بمؤشر لعلامات الأجهزة هو نموذجي، وتشمل التقنيات المتقدمة استخدام مؤشر لقوائم النبائط في قواعد البيانات الخاصة بسلاسل زمنية معينة أو مؤشرا للثامب المنخفض.

التنفيذ مع تكنولوجيات تجهيز المراحل

وكثيرا ما تبنى نماذج البيانات الهندسية في الوقت الحقيقي على أساس أطر تجهيز المجرى التي توفر الترميزات الدقيقة، والتسامح إزاء الأخطاء، وإدارة الدولة، وتُستخدم هذه النماذج في التكنولوجيات الرئيسية وكيفية تأثيرها على تصميم نماذج البيانات.

Apache Kafka

فالكافكا تعمل كقاعدة أساسية لاستنفاد البيانات، وينبغي أن يكون نموذج البيانات الخاص بمواضيع كافكا متوافقا مع المستهلكين في المجرى السفلي، فعلى سبيل المثال، قد يكون لكل نوع موضوع خاص به، أو أن جميع الأجهزة تتقاسم موضوعا واحدا مع تقسيم لكل مجموعة من الأجهزة، كما أن شيما الرسالة (مثلا، Avro أو Protobuf) يشمل أحدث البيانات المتعلقة بمخزونات المبيدات يمكن أن تحتفظ بعلامات قياسية.

(ب) عمليات الربط التي تبث البيانات ذات التردد المنخفض وتدعم عمليات الحساب الحكومية، ويحدّد نموذج البيانات في فالينك بأنواع الحدث ومصفّفات الدولة، مثلاً، لكشف أنماط الاهتزاز الشاذة، يحتفظ الصندوق بدولة تخزن آخر 100 قراءات تسارع لكل جهاز، وينبغي تصميم نموذج البيانات لتقليل حجم الدولة إلى أدنى حد؛ كما ينبغي استخدام القاموس في تجهيز الندوات الحساسة والمواقع المتكررة.

Apache Spark Streaming

(ب) بيانات عمليات الدمج (أو الترميم الهيكلي) في البطاقات الدقيقة، ويمكن تمثيل نموذج البيانات على أنه خط بيانات أو مجموعة بيانات، مع تحديد الكيماويات في الرموز، وفي حين أن الصيد في الميكروبات يُدخل درجة أعلى من التصفير النقي (مثلاً، Flink)، فمن الأسهل استخدامه في عمليات التحليل التي ينبغي أن تُحدِّد الجداول التاريخية.

تكامل قاعدة البيانات

وكثيرا ما يكتب مجهزو الخرائط إلى قاعدة بيانات في الوقت الحقيقي، ويجب أن يحدد نموذج البيانات رسم الخرائط من مسار الحدث إلى هيكل قاعدة البيانات، فعلى سبيل المثال، فإن وظيفة فيلينك تقرأ بيانات الاستشعار الخام من كافكا، وتطبق بعض التصفية، وتكتب إلى شركة إنفوكس دي ب باستخدام بروتوكولها الخطي، وتُصمم أسماء القياسات الخاصة بقاعدة البيانات، والعلامات، والميادين بحيث تتطابق مع الأسئلة المتفاوتة باستمرار.

دراسة حالة: نموذج بيانات لنظام الصيانة الافتراضية في الوقت الحقيقي

النظر في مصنع يحتوي على 000 10 آلة، وكلها مجهزة بمستشعرات قياس درجة الحرارة، والهزاز، والسرعة التناوبية، والهدف هو التنبؤ بالفشل قبل 30 دقيقة وتنبيهات الصيانة.

وقد صمم نموذج البيانات على النحو التالي:

  • Ingestion Layer: ] each machine sends a JSON message every second to a Kafka topic partitioned by machine group. The message includes a timestamp, machine ID, and three metrics.
  • Stream Processing:] A Flink job consumes the topic. It maintains a sliding window of 30 minutes per machine using Flink’s state store and the state is keyed by machine ID and stored as a list of the last 1800 readings (30 minutes x 60 seconds). For each new reading, the job computes a moving average devi.
  • Database: ] The Flink job also writes everyخام reading to TimescaleDB. The table schema uses a hypertable partitioned by time (1- hours chunks) and indexed by machine ID. Tags like machine group and location are stored in a separate metadata table, joined only for analysis queries.
  • Real-Time Dashboard:] The dashboard queries TimescaleDB for the last hour of data per machine, using a continuous aggregate that precomputes min, max, and avg per minute. Alerting rules are evaluated by the stream processor, not the database, to keep latency under 100 ms.

ويوازن هذا النموذج الهجين بين الحاجة إلى تنبيهات منخفضة السرعة (عن طريق تجهيز المجرى) مع تحليل تاريخي مرن (عن طريق قاعدة بيانات لسلاسل زمنية) ولا يزال نموذج البيانات بسيطا: جدول زمني واحد للبيانات الخام، مع فهارس تُستخدم على النحو الأمثل لنمط التساؤل الأكثر شيوعا (المقياس الزمني + الهوية الآلية).

أفضل الممارسات لنشر الإنتاج

ويتطلب الانتقال من التصميم إلى الإنتاج الاهتمام بالرصد، وتطور الكيماويات، وإدارة التكاليف.

أداء الرصد والملامح

استخدام أدوات خاصة بقاعدة البيانات (مثلاً، جهاز توقيت الـ دي بي [(FLT:3]، مفتشي الاستفسارات من شركة إنفوكس دي بي) لتحديد الاستفسارات البطيئة، ورصد عملية الإنتاج والتساهل؛ والنظر في زيادة عدد التجزؤ أو مراعاة استراتيجية التوحيد، عند كتابة المقتطفات، ووضع إنذارات بشأن فترات الاستفراغ.

خطة تطور شيما

وكثيراً ما يتغير شكل البيانات الهندسية، حيث تستخدم سجلات الكيماويات (مثل سجل الكيماويات المؤثرة) لإدارة الكيماويات الفروية أو بروتوف، وللاطلاع على قواعد البيانات التي تدعم تطور الكيماويات (مثل إضافة حقول جديدة إلى عمود من عمود مشترك بين مجلس أوروبا وشمال البوسنة)، تكفل التوافق معكوساً، وتتجنب التغييرات المدمرة في جداول الإنتاج، وبدلاً من ذلك إضافة أعمدة جديدة أو إنشاء جداول جديدة وتها في شكل بيانات متحرك على نحو متزامن.

التكلفة على الوجه الأمثل

ويمكن أن تكون بيانات السلاسل الزمنية باهظة التكلفة لتخزينها في نطاق ضيق، وتنفيذ سياسات للاحتفاظ بها لتحذف تلقائيا البيانات التي تتجاوز عتبة معينة، واستخدام العينات المخفضة: تخزين البيانات الخام لمدة 7 أيام، ثم متوسطات دقيقة لمدة 30 يوما، ثم متوسطات ساعة لمدة سنة واحدة، والنظر في التخزين البارد (مثلا، أمازون سلاسير) بالنسبة للبيانات المحفوظة التي نادرا ما يُطرح عليها تساؤل.

اختبارات مع مجموعات البيانات الحقيقية

(ج) تبسيط معدل البيانات المتوقع في بيئة متنقلة قبل الإنتاج، قياس توزيع الحماسة (الصفحة 50، الصفحة 99، الصفحة 999) لكل من الكتابات والقراءات، وضمان أن يتمكن نموذج البيانات من معالجة الحمولات القصوى (مثلاً أثناء بدء تشغيل الآلات عندما يرسل العديد من أجهزة الاستشعار بيانات في وقت واحد).

الاتجاهات المستقبلية في نماذج البيانات الهندسية في الوقت الحقيقي

ويتطور هذا المجال بسرعة، وتشمل الاتجاهات الناشئة استخدام قواعد البيانات التي يُستقَلَم بها [(FLT:0]) من قبل الاتحاد العالمي لجمعيات الأشخاص ذوي الإعاقة () لتحليل البيانات في الوقت الحقيقي عن مجموعات البيانات الكبيرة، واعتماد نظام حاسوبي حاف حيث يجب أن تعمل نماذج البيانات على الأجهزة المزودة بالموارد، وثمة اتجاه آخر يتمثل في إدماج نماذج الأشعة فوق البنفسجية مباشرة في خط البيانات، مما يتطلب نماذج لتتبع للبيانات يمكن أن تخدم المعالم الافتراضية.

وينبغي للمهندسين أن يبقوا على علم بالتقدم المحرز في تيار الترددات SQL (مثلاً، وضع ماد، ]] [RisingWave]) مما يتيح للمحللين في الوقت الحقيقي تحليلات ذات معايير SQL، مما يقلل من الحاجة إلى مدونة معالجة المسارات الجمركية، وهذه الأدوات تُنفِّذ نموذج بيانات توضيحية يدير تلقائياً الولايات والأرقام القياسية.

خاتمة

إن تصميم نماذج البيانات لتجهيز البيانات الهندسية في الوقت الحقيقي مهمة معقدة ولكنها مجزأة، ومن خلال الالتزام بمبادئ القابلية للتقسيم، وقلة المرونة، والمرونة، والاتساق، ومن خلال اختيار هياكل البيانات الصحيحة وتكنولوجيات تجهيز الجداول، يمكن للمهندسين أن يبنيوا نظما توفر البصيرة في الوقت المناسب وتحافظ على استمرارية العمليات، والعامل الرئيسي هو فهم أنماط الاستفسارات المحددة ومتطلبات التكرار التي تنطوي عليها تطبيقكم، والنموذج الأولي للنظم الهندسية الحقيقية.