أفضل الممارسات لمعالجة البيانات غير المنظمة في المشاريع الهندسية

وقد أصبح التعامل مع البيانات غير المنظمة تحدياً رئيسياً في المشاريع الهندسية الحديثة، إذ أن البيانات المصممة التي تناسب قواعد البيانات ذات الصلة، لا تمثل سوى جزء من عمل مهندسي المعلومات، كما أن معظم الملفات الثمينة لتصميم البيانات الهندسية، وسجلات الاستشعار، والبريد الإلكتروني، وتقارير الصيانة، والصور، بل وتسجيلات الفيديو لا تتفق مع الكيمياء الجامدة، وتحسين كفاءة المشاريع.

فهم البيانات غير المنظمة في مجال الهندسة

وتفتقر البيانات غير المنظمة إلى نموذج بيانات محدد سلفا أو إلى شيمة، مما يجعل من الصعب تنظيم وتحليل استخدام نظم قواعد البيانات التقليدية، وتظهر في الهندسة بأشكال عديدة: رسومات الادخار المركزي، ونواتج تحليل العناصر الزهيدة، وصور التفتيش الميداني، وسجلات تذبذب المعدات، ومحاضرات للمحادثات من زيارات الموقع، وعلامات فنية أخرى لا حصر لها، وكثيرا ما تحمل هذه البيانات أكثر المعلومات ثراء في سياقها بشأن تاريخ المشروع المحتمل،

فعلى سبيل المثال، قد يكون لدى فريق صيانة الطائرات جيغابايت من أدلة PDF، ومداخل سجلات خط اليد، وسجلات صوتية من الإحاطات التقنية، ويتضمن كل قطعة بيانات حيوية عن السلامة والأداء، ولكن استخلاص معلومات عملية يتطلب أكثر من مجرد استفسار عن مستوى الجودة، كما أن القدرة على البحث وتصنيف هذه البيانات وترسخها تؤثر تأثيرا مباشرا على سرعة تحديد الأفرقة لأنماط الفشل، والتحقق من الامتثال، أو تحسين التصميمات المستقبلية.

وتكمن قيمة البيانات غير المنظمة في ثراءها، إذ يمكن أن تظهر الصور التي تُستخرج من موقع البناء علامات إجهاد هيكلي لا تُذكر، قد تفتقد البيانات العددية وحدها، ويمكن أن تكشف مسارات الاستشعار من الآلات الصناعية عن وجود شذوذ عند الجمع بينها وبين مذكرات مشغلي النصوص الحرة.

التحديات في إدارة البيانات غير المنظمة

وقبل اعتماد أفضل الممارسات، من المهم الاعتراف بالعقبات الرئيسية التي تواجهها المشاريع الهندسية ببيانات غير منظمة، حيث إن حجم البيانات التي تنتجها أجهزة الاستشعار الحديثة، والأجهزة التي تستخدم تكنولوجيا المعلومات، والأدوات الرقمية يمكن أن يحجب نظم التخزين والتجهيز القديمة، وتختلف أشكال الصور، والفيديو، والسمع، ووثائق المكاتب، وقطع الأشجار الثنائية الخام - مما يجعل من الصعب تنفيذ استراتيجية إدارية موحدة، كما أن المقاييس ذات الزمن هي عامل آخر:

فبعد البيانات الضخمة الثلاثة، تطرح البيانات غير المنظمة تحديات هندسية محددة، وبدون وجود مادة كيميائية، لا يمكن التساؤل مباشرة عن البيانات بلغات الاستفسار الموحدة، ويصبح البحث عن المعلومات ذات الصلة مشكلة بحث بدلا من البحث عن قاعدة بيانات، ويتطلب في كثير من الأحيان فهرسة كاملة أو تصنيفا قائما على التعلم الآلي، كما أن البيانات المتعلقة بالصور التي كثيرا ما تكون مفقودة أو غير متسقة، مما يؤدي إلى وجود ملفات مجهزة بالفيديو أو إلى ازدواجية في الجهود الأمنية.

ويمكن أن تتسبب هذه التحديات في تأخيرات في الجداول الزمنية للمشروع، وزيادة تكاليف التخزين والتجهيز، وتفويض الأفكار التي يمكن أن تمنع حدوث الإخفاقات، وتتطلب معالجتها بصورة منهجية مجموعة من الممارسات المثبتة المصممة حسب المجال الهندسي.

أفضل الممارسات لإدارة البيانات غير المنظمة

1 - جمع البيانات واستعمالها

وتبدأ عملية جمع البيانات بطريقة جيدة غير منظمة، إذ إن إعادة تحميل الملفات اليدوية أو ملحقات البريد الإلكتروني تؤدي إلى أشكال غير متسقة، وإلى فقدان البيانات الوصفية، وإلى فقدان البيانات، وينبغي أن تنشر الأفرقة الهندسية خطوط أنابيب ابتلاع مؤتمتة تسحب البيانات من مصادر مختلفة مثل بوابات إيوت، ونظم التصوير، وأدوات المختبر، ومنابر إدارة المشاريع - إلى مستودع مركزي.

(ب) استخدام نماذج موحدة للملفات كلما أمكن ذلك، واعتماد معايير ضغط مشتركة مثل نظام تبادل المعلومات الجغرافية أو PNG، ولكن الاحتفاظ بنسخ غير مفقودة للتحليل، فيما يتعلق بالسجلات والبيانات النصية، واستخدام نظام " يو إن " أو " XML " مع تعاريف ميدانية متسقة، كما أن المعايير المسبقة وأسئلة الرسائل (مثلاً، MQTT، وKfka) تتيح الاستغناء في الوقت الحقيقي من أجهزة الاستشعار والأجهزة، بما يكفل عدم رفض البيانات الزمنية.

كما أن التلقائية تقلل من الخطأ البشري وتسرع تدفق البيانات من الميدان إلى التحليل، كما أنها تتيح للفرق أن تتوسع دون زيادة متتالية في النفقات الإدارية العامة، وعلى سبيل المثال، يمكن لأسطول اختبار المركبات المستقل أن يصادر كل سيارة لتحميل بيانات أجهزة الاستشعار، وصور الداشكام، وسجلات النظم إلى بحيرة بيانات السحاب بمجرد عودتها إلى المخزن، مما يزيل عمليات النقل اليدوية للمركبات من طراز USB وخطر فقدان البيانات.

2 - حلول تخزين البيانات

إن اختيار بنية التخزين الصحيحة أمر حاسم بالنسبة للبيانات غير المهيكلة، فالنظم التقليدية للتخزين المزود بالشبكة أو الشبكة الوطنية لمكافحة سعة مجموعات البيانات الهندسية الحديثة وتنوعها، وخدمات تخزين المواد المزدوجة مثل تخزين الأمازون S3، أو تخزين أزور بلوب، أو تخزين الكلاب في جوجل شبه محدود، أو خدمات البرمجيات ذات الشكل الذي تستخدمه في استخدام البحيرات، والمنبر المثالي.

ويوفّر هيكل بحيرة البيانات مصدر واحد للحقيقة لجميع البيانات غير المهيكلة، إذ توجد ملفات راو في منطقة هبوط، ويمكن عندئذ تنظيمها في أجزاء منطقية حسب المشروع أو التاريخ أو نوع البيانات.() وتكمل فهرس البيانات (مثلاً، نظام غلو، أو أباتشي، أوف) المستخدمين اكتشاف البيانات واستفسارها دون تحريكها، فيما يتعلق بالأفرقة الهندسية التي تتطلب وصولاً عالي الأداء إلى ملفات كبيرة.

(ب) إدارة التكاليف هي اعتبار هام: استخدام سياسات دورة الحياة لنقل البيانات القديمة أو الأقل تردداً إلى مستويات منخفضة التكلفة (مثلاً، S3 Glacier) ويمكن الاحتفاظ بسجلات تاريخية أو ملفات مشاريعية قديمة نادراً ما تسترد ولكن يجب الاحتفاظ بها للامتثال، وينبغي أن يكون التخزين قابلاً للتصعيد والخفض، ويجب أن يدعم الاتساق القوي لمنع حدوث أخطاء هندسية مماثلة فيما بعد الكتابة.

3 - منظمة البيانات والبيانات الوصفية

وبدون هيكل، يمكن أن تصبح بحيرة البيانات مستنقعا للبيانات بسرعة، فالبيانات المُنظمة هي مفتاح جعل البيانات غير مُهيكلة قابلة للكشف، ويمكن الوصول إليها، ويمكن استخدامها من جديد، وتشمل استراتيجية مُحكمة للبيانات الوصفية اتفاقيات متسقة للتسمية، ووسم الكيماويات، واستخراج البيانات الميكانيكية (حجم الزوال، وتاريخ الإنشاء، والمسح) فضلا عن البيانات الوصفية (الاسم المُعدوى، وفشل في المشروع، والمعدات الأولى).

وينبغي أن تحدد الأفرقة الهندسية مفرداً أو علم بعلم الوراثة الخاضعة للرقابة على نطاقها، فعلى سبيل المثال، يمكن لمشروع رصد التربينات الريحية أن يستخدم بطاقات مثل الاضطرابات [FLT:]

كما أن البيانات الوصفية المتماسكة تتيح سمات بحث قوية، إذ أن الفهرسة الكاملة للوثائق والسجلات (التي تستخدم البحث عن المرشد أو السول) تتيح للمهندسين إجراء استفسارات عن كلمات رئيسية عبر ملايين الملفات، أما بالنسبة للصور والفيديوات والبيانات الوصفية المستمدة من بيانات الشبكة الدولية للأخشاب، أو مكتب الممثل الخاص للأمين العام، أو محاضر الكلمات، فيمكن أن تضيف بطاقات قابلة للبحث، وتتأكد من أن التغييرات في البيانات الوصفية لا تزال محدث.

4 - تجهيز البيانات وتحويلها

وتصبح البيانات غير المنظمة ذات قيمة أكبر بعد تحويلها إلى أشكال قابلة للتحليل، ويمكن أن تحول خطوط الأنابيب المعالجة إلى نصوص، أو تؤدي دور مكتب تنسيق العمليات على أجهزة PDF الممغنطة، أو استخراج الأشياء من الصور، أو أجهزة الاستشعار بالقطع إلى سلسلة زمنية من الجداول، وتتيح هذه التحويلات للمهندسين تطبيق التحليل الإحصائي، أو نماذج التعلم الآلى، أو أدوات التصوير على البيانات التي كانت مفتهورة في السابق.

وتصبح خوارزميات التعلم الماكنة فعالة بشكل خاص في تصنيف وتوسيم البيانات غير المهيكلة على نطاق واسع، فعلى سبيل المثال، يمكن تدريب شبكة جديدة تابعة للثورة على كشف الشق في الخرسانة من الصور الملتقطة للمواقع، ويمكن أن تستخرج عملية تجهيز اللغات الطبيعية رموزا للفشل من سرد الصيانة، وعند تجهيزها يمكن تخزين البيانات المستخرجة المنظمة في مستودع بيانات أو مخزن بيانات خاصة بها، في حين تظل الملفات المرجعية الأصلية غير الهيكلية.

وينبغي أن تنظر الأفرقة الهندسية في استخدام محركات الترميم لأغراض البحث عن المواد الرملية، وبدلا من الاعتماد على مطابقات الكلمات الرئيسية الدقيقة، فإن التزيينات تلتقط معنى النصوص أو الصور، ويمكن أن يعاد الاستفسار مثل " التسخين في التجمعات المتحركة " استرجاع سجلات الاستشعار ذات الصلة وتعليمات التصليح والصور من مشاريع مختلفة تماما.

الأدوات والتكنولوجيات

ويمكن أن يؤدي اختيار المجموعة الصحيحة من الأدوات إلى تسريع إدارة البيانات غير المهيكلة، بينما تتيح البحيرات والبحيرات التي تبنى على صيغ الجداول المفتوحة (أباتشي إيسبرج، وديلتا ليك، وهودي) للمهندسين معالجة الملفات غير المهيكلة كجداول قابلة للاستجواب.

ويمكن أن تتواصل أدوات التحليل والتصوير مثل نظام " أباتشي سوبرست " أو " ميتاباس " أو " منابر التعاون التقني التجارية " مباشرة مع البيانات المجهزة، أما بالنسبة للتنقية في الوقت الحقيقي، فإن " كافكا " ، مقرونة ب " فلينك " أو " سبارك سترامنغ " ، فإنها تتناول بيانات عالية السرعة، وعندما تطبق هذه التكنولوجيات بالممارسة الممارسات المذكورة أعلاه، فإنها تترك الأفرقة الهندسية تركيزا على النتائج بدلا من البنية التحتية.

إدارة البيانات والأمن

ويمكن أن تتضمن البيانات غير المنظمة الملكية الفكرية أو المعلومات التي يمكن تحديدها شخصياً أو الأسرار التجارية، ويجب أن تمتد أطر الحوكمة لتشمل ملفات في بحيرات البيانات ومخازن الوثائق، وأن تطبق ضوابط على الوصول على مستوى الملفات والملفات باستخدام سياسات السحب المتعلقة بالأخشاب الضارة أو الأذونات الخاصة بالبستات في أماكن العمل، وأن تستخدم التشفير في فترات الراحة والعبور، أما بالنسبة للبيانات التي يجب الاحتفاظ بها لأغراض الامتثال (مثلاً، ينبغي أن تشمل دورة المياه الجوفية 900).

وتتتبع أدوات تحديد البيانات مدى تدفق البيانات غير المُنظمة من المصدر إلى التحليل، ويمكن لأباسات أو كوليبرا أن تلتقط خطاً لكل من مجموعات البيانات المنظمة وغير المُهيَّلة، بما يكفل للمهندسين التحقق من ثبات أي نظرة مستمدة، وتساعد عمليات المراجعة المنتظمة والمسح الآلي للمحتوى الحساس (استخدام أنماط إعادة التصنيف أو تصنيف حركة التحرير) على منع التعرض العرضي، مع وجود إدارة سليمة، يمكن لأفرقة الهندسة أن تتقاسم البيانات عبر المشاريع دون مخاطر.

التطبيقات العالمية الحقيقية في مجال الهندسة

وفي صناعة الفضاء الجوي، يقوم مصانع المحركات بجمع تيرابايت من بيانات الاستشعار، وسجلات الصيانة، وعمليات التفتيش على المكابح بواسطة الفيديو لكل رحلة، وبتطبيق التوسيم الفوقية والتعلم الآلي في هذه الملفات غير المهيكلة، يمكن للمهندسين التنبؤ بإخفاقات جزئية قبل حدوثها، وقد خفضت إحدى الشركات الصيانة غير المقررة بنسبة 40 في المائة بعد تنفيذ بحيرة بيانات مزودة باختلاس آلي من أسطولهم وشركة NLP في الملاحظات التقنية.

وفي مجال الهندسة المدنية، تولد مشاريع رصد الهياكل الأساسية آلاف الصور وقراءات قياس الإجهاد، وقد استخدم فريق تفتيش الجسر رؤية حاسوبية لتآكل العلم في شعاعات الفولاذ من صور الطائرات بدون طيار، وقد أُخرج النظام صورا غير مُهيكلة، مثل إحداثيات النظام العالمي لتحديد المواقع ومراحل، ودار نموذجا للشبكة لتصنيف شدة التآكل، وكانت النتائج مثبتة على لوحة بيانات مثبتة تتصل بالصور الأصلية.

الاتجاهات المستقبلية

وسيستمر التشغيل الآلي في إدخال تحسينات على إدارة البيانات غير المنظمة، وستمكن نماذج المؤسسة التي يتم تدريبها على البيانات المتعددة الوسائط (النسخة والصورة والصوت) المهندسين من التفاعل مع المحتوى غير المنظم باستخدام الاستفسارات اللغوية الطبيعية، وسيتيح حساب الحوسبة في الوقت الحقيقي تجهيز بيانات الاستشعار في الموقع، مما يقلل من الحاجة إلى نقل ملفات كبيرة إلى السحابة، مع تزايد حجم البيانات غير الهيكلية، ستستفيد الأفرقة الهندسية التي تستثمر الآن في تركيبات قابلة للتكسير.

خاتمة

وتقتضي إدارة البيانات غير المنظمة في المشاريع الهندسية استراتيجية مدروسة على نطاق جمعها وتخزينها وتنظيمها وتجهيزها، وباعتماد خطوط أنابيب ابتلاع مؤتمتة، وبحيرات بيانات قابلة للتوسع، وعلامات البيانات الوصفية الشاملة، وتقنيات التجهيز الحديثة مثل التعلم الآلي والبحث عن ناقلات، يمكن للأفرقة أن تحول البيانات الخام إلى أصول استراتيجية، وتكفل الحوكمة وحرس الأمن أن تظل البيانات محمية وممتثلة لها، وبعد اتخاذ هذه أفضل الممارسات التي تمكن المهندسات التشغيل من تحقيق المزيد من تحقيق الاتساق.