Table of Contents
إن إدارة مجموعات البيانات الهيدروغرافية الكبيرة في البيئات السحابية تطرح تحديات وفرصاً فريدة، حيث أن الصناعات البحرية والوكالات البيئية ومشغلي الطاقة في المناطق البحرية يعتمدون بصورة متزايدة على الدراسات الاستقصائية ذات الاستبانة العالية، وحجم البيانات المستقاة من السونار المتعدد الأطراف، و " ليدار " ، و " التأشيرات الساتلية " ، و " قياس المد " ، التي تحقق بسرعة الترسبات السحابية، وترتكز على هذه البيانات.
فهم البيانات الهيدروغرافية في السحاب
وتشمل البيانات الهيدروغرافية المحدودة قياسات عمق المياه (المسح)، وتكوين قاع البحار، وإعاقة المياه، وتغيرات المد والخصائص العمودية المائية، ويمكن لكل حملة مسح أن تنتج سحابات من نقاط، وشبكات للزراعة، ورسوم مقسمة، وبيانات عن فترات زمنية، كما أن حجم النسيج وسرعة الوصل (من أجهزة الاستشعار في الوقت الحقيقي) وتنوع أشكاله (مثلاً، وكلوز، في نفس الوقت).
غير أن مجرد رفع البيانات الهيدروغرافية إلى السحابة دون إعادة تصميم سير العمل يمكن أن يؤدي إلى ارتفاع تكاليف التراجع، وبطء أداء الاستفسارات، وأوجه الضعف الأمنية، وتعالج أفضل الممارسات الواردة أدناه هذه الشواغل عن طريق مواءمة الخدمات السحابية مع الخصائص المحددة للبيانات الهيدروغرافية.
المصانع المخزنة القابلة للتسوية
تخزين الاعتراض كمؤسسة
وبالنسبة لمجموعات البيانات الهيدروغرافية الكبيرة، فإن خدمات تخزين المواد مثل Amazon S3]، أو تخزين السحابة، أو تخزينها، هي الأساس الموصى به، وهي توفر إمكانية الحصول على بيانات غير محدودة، و999999999 في المائة من القابلية للتداول (حتى تسعات) وملفات مقسمة حسب الطلب.
التجزئة والفهرسة المكانيين
وتأتي البيانات الهيدروغرافية في جوهرها جغرافيا مكانيا، ولتمكين الاستفسارات الفعالة )مثلا " إعادة جميع النقاط داخل هذا الصندوق المقيد " (، وتنظم بيانات في أجزاء مكانية مثل البلاط أو الكراسي أو الخلايا السداسيوية H3، وتخفض مؤشرات قياسية السحابة المستخدمة: Amazon DynamoDB مع مؤشر لحجم السحب الجغرافية، أو مؤشر السحب الثابت بالنسبة للأرقام الثابتة
تخزين معدّل بسياسات دورة الحياة
تنفيذ استراتيجية تخزين متعددة المستويات - تقام الدراسات الاستقصائية التي جرت مؤخرا والتي يتردد الاطلاع عليها على الدرجات الساخنة (تخزين الجسم العالي الأداء أو نظم الملفات المدعومة من القطاع الخاص) وبعد سنة أو سنتين، تنقل البيانات إلى المداخن الباردة أو الأرشيفية، مثلا، يمكن لمكتب الهيدروغرافي أن يضع قاعدة دورة حياة في أمازون س-3: أشياء انتقالية تتجاوز 180 يوماً، حتى تُكفل تكاليف الاكتشاف في أعماق S3 Glacier.
ضغط البيانات وتحقيق الاستخدام الأمثل
ضائعة ضد الضياع
وكثيرا ما تتطلب بيانات المقاييس الجامدة دقة عالية (مثلاً، أجهزة التحلل بالسنتيمترات) ويمكن أن تؤدي الخوارزميات المضغوطة التي لا تستخدم في الفقد (الدفات، LZMA، BLOSC) إلى بيانات المصدر للحفاظ على قيم العمق الدقيق.
صيغ مستعملة مستعملة
(ب) اعتماد نماذج مصممة للوصول إلى السحابة. Cloud Optimized GeoTIFF (COG)]() يسمح لمدى شركة HTTP بطلبات من أجل أن تنزيل أدوات التصوير فقط البلاط المطلوب، وليس الملف الكامل، أما بالنسبة للبيانات المتعددة الأبعاد (مثلاً، الملامح العمودية للملوحة عبر الزمن)، فتستخدمين الزرار أو HDF5 مع سائقي تجهيزات ذات البرمجيات.
تخزين مُعدّل للكلاب النّقطة
ويمكن تخزين السحب المسماة " لي دي آر " و " غيوم متعددة النقاط " كـ " لاز " (النظام المكثف لليد العاملة) لكل إطار، واستخدام خط أنابيب لتضخيم البيانات عن الاغتيالات، مثلاً، باستخدام PDAL مع موصلات تخزين السحاب، وتحسين سرعة الاستفسارات والسماح باستكمالات إضافية، كما أن الخدمات مثل شركة Amazon S3 Object Lambda لا يمكن أن تعيد سوى النقاط في تصفية المكانية دون نقل الملف الكامل.
تجهيز وتحليل المواد المغلقة
خطايا متسلسلة
(ب) الشطب، التحول: استخدام الوظائف التي لا تخدم الحاسوب (AWS Lambda، ومهام غوغل كلود) لإحداث تحولات في البيانات عندما تصل ملفات جديدة إلى تخزين الجسم، مثلاً عندما يتم تحميل ملف جديد للمسح النوعي لتحديد المواقع، يمكن أن تحوله وظيفة لامبدا إلى COG، وتجميع شبكة مستمدة من قياس الأعماق، وتحديث مصممة لتكلفة.
Managed Compute Clusters for Big Data
For large-scale re processing-such as gridding millions of soundings into a digital terrain model (DTM)-use managed clusters. Amazon EMR, Google Dataproc, or Azure HDInsight poup Apache Spark or Hado
حاسوب مواز مع داسك
(ب) مكتبة (بيتون) [(FLT:0]Dask) مناسبة تماماً لعمليات السكك والسحب الكبيرة، ويمكن أن يوازي داسك الحسابات عبر العديد من أجهزة التصوير المحتوية على سحابات غير متطلبة على رموز منخفضة المستوى، وأن تنشر مجموعة داسك على كوبرنيتات (مثلاً، باستخدام نماذج إنتاجية متحركة أو متحركة) لتنطلقات من الحجم المحلي.
تدفقات العمل المستدامة من أجل إعادة الإنتاج
(ج) برامجيات تجهيز الهيدروغرافيات التعبئة (كوريس، وكيميرا، وفلمديرموس، وجهاز إم بي - سيستم مفتوح المصدر) في حاويات دوكر أو الخلود، وخزن هذه البرمجيات في سجل للحاويات السحابية (سجل غوغل آرتك)، ويمكن أن تقوم خطوط الأنابيب التابعة للجنة/معهد التنمية النظيفة ببناء ونشر نسخ مستكملة، مما يكفل استخدام كل عملية تجهيز برمجيات متطابقة، مع عملية مراجعة الحسابات.
أمن البيانات ومراقبة الوصول
التشفير في كل مكان
(ج) بيانات هيدروغرافية مشفرة في مكان الراحة باستخدام التشفير الجانبي (SSE-S3 مع نظام إدارة المعارف لتخزين الأجسام) بالنسبة لطبقات ومرور العابر باستخدام TLS 1.2+ بالنسبة لجميع الاتصالات بين نظام المعلومات الإدارية المتكامل وقواعد البيانات، ولبيانات المناطق الاقتصادية الخالصة الشديدة الحساسية، تستخدم التشفير الجانبي للعميل قبل تحميله بحيث لا يرى مقدمو الخدمات السحابية مفاتيح النسيج.
سياسات الحد من الفقر
(ج) تحديد الأدوار بإذن من الجمردية: مثلاً، قد يكون لدى المساجين إمكانية الاطلاع على دلائل محددة تتوافق مع مشروعهم، وقد يكون لدى مصوري الخرائط إمكانية الوصول إلى المنتجات المجهزة وليس إلى غيوم النقط الخام، واستخدام نظام الرصد الدولي لذوي السحب، أو نظام Azure RBAC، أو نظام تحليل المعلومات الإدارية المتكامل في غوغل (مثلاً، المصدر IP، وقت العمل).
أمن الشبكات
(ب) استخدام نقاط نهاية فيلق حماية البيئة البحرية أو النسيج الخاص في الوصول إلى مخزن المواد دون أن يخترق الشبكة العامة، وتنفيذ شبكة معلومات عن السفن أو المواقع النائية، أو شبكة معلومات عن هوية الأشخاص ذوي الإعاقة (مثل شبكة معلومات عن هوية العملاء التابعة للشبكة) أو مضيف للشحن، أو استخدام شبكة معلومات عن الأسلحة النووية أو أسلحة السحب الخاصة لحماية المواقع الإلكترونية.
الامتثال ومراجعة الحسابات
ويجب على العديد من المكاتب الهيدروغرافية الامتثال للمعايير الوطنية أو الدولية (مثلاً، مكتب المملكة المتحدة في المملكة المتحدة، وكالة ناورو للأرصاد الجوية، منظمة الصحة للبلدان الأمريكية S-100)، وتقدم خدمات السحاب شهادات امتثال (منظمة الصحة العالمية، شركة PCI، FedRAMP)، ويمكن لمرصد كلود ترايل أو أزور تسجيل جميع البيانات وأجهزة النداءات المتعلقة بالطلبات، ووضع تنبيهات بشأن أنماط غير عادية، مثل تحميل مستخدم واحد بيانات في ساعة.
تبادل البيانات والتعاون
كتالوجات البيانات المزودة بأجهزة مدمجة
استخدام مدوّن بيانات مُستفيض (AWS Glue, Azure Data Catalog, or STAC API) لفهرس جميع مجموعات البيانات الهيدروغرافية، وينبغي أن يشمل كل مدخل النطاق المكاني، وتاريخ الاحتياز، وحل نوع الاستشعار، وخط التجهيز، مما يمكّن العلماء والمنظمين من اكتشاف البيانات ذات الصلة فوراً.
APIs for Interoperability
(ب) استكشاف البيانات من خلال خدمات شبكة الويب الموحدة (WMS، WFS، WMTS) أو المعادلات السحابية (مثلاً، [(FLT:0]) API - الرسومات، الخرائط، تيل ) وهذه المؤشرات تتيح تطبيقات نظام المعلومات الجغرافية على الحاسوب المكتبي ومشاهدي الشبكة العالمية لبث البيانات مباشرة من التخزين السحابي دون أن تشترط على المستخدمين أن يفرغوا ملفات معلومات موحة.
استراتيجيات البيانات المتعددة الكلورة والموحدة
تشمل المشاريع الدولية الكبيرة (مثلاً، قاعدة 2030) شركاء عبر مختلف مقدمي السحب، واستخدام نهج اتحادي: يحتفظ كل شريك بسطل سحابته الخاصة به وكملوج، ولكن مؤشراً مركزياً (مثلاً، مجموعة بيانات قياسية من السحب والعلامات الفوقية) يمكن أن يُنصب نقل البيانات بين السحب باستخدام خدمات مثل نظام حوالة غوغل أو نموذج من نظام تبادل البيانات (AWS).
توزيع البيانات والخطوط
وتخضع مجموعات البيانات الهيدروغرافية لتحديثات متكررة مع إجراء دراسات استقصائية جديدة أو تطبيق التصويبات، ويمكن إصدار نسخ من دلائل التخزين للحفاظ على النسخ السابقة، واستخدام أدوات مثل الـ دي في سي أو بحيرة في إس لتتبع التغييرات، وتسلسل الوثائق باستخدام W3C PROV-O أو سجل إثبات بسيط زمني، وهذا أمر أساسي للامتثال القانوني عند تحديث الخرائط البحرية.
الرصد وإدارة التكاليف
إنشاء نظام إنذارات الميزانية ولوحات إدارة المرافق
ويمكن أن تتصاعد تكاليف السحب إذا لم يتم رصد حدوث تجاوزات في البيانات أو ساعات قياسية أو مستويات تخزين، وأجهزة إنذار في ميزانية الاتحاد في ميزانيات الوكالة المعنية بغسل الأموال، أو ميزانيات كلوريد غوغل، أو إدارة تكاليف الزيور، وإنشاء لوحات بيانية تبين استهلاك التخزين لكل دلو، وتكاليف نقل البيانات، واستخدام المجموعات.
إدارة دورة الحياة الآلية
وكما ذكر آنفا، فإن سياسات دورة الحياة تنقل أو تحذف البيانات تلقائيا، ولكنها تنظر أيضا في حذف الملفات الوسيطة المؤقتة (مثلا، السحب غير المكتظة أثناء التجهيز) بعد فترة الاحتفاظ بها، واستخدام وظائف لامبدا المقررة للتحقق من الموارد الأيتام (مثل المجموعات العالقة، والأحجام غير الملوَّثة).
رصد الأداء
استخدام أدوات رصد السحاب (مرصد الأمازون، وعمليات كلود غوغل، ومرصد أزور) لتتبع حالات التأخر في استخدام نظام المعلومات الإدارية المتكامل، والنواتج، ومعدلات الخطأ في التخزين والحساب، ولعمليات تجهيز البيانات، وضع أجهزة إنذار لفشل العمل أو التباطؤ، واختيار النوع المناسب من الحالات (مثلا، التلاعب بالذاكرة على نحو متقن).
الاتجاهات الناشئة في إدارة السحاب الهيدروغرافي
AI/ML for Automated Bathymetry Prediction
ويمكن أن تقدر نماذج التعلم في مجال الآلات الأعماق في المناطق التي توجد فيها بيانات المسح عن طريق الجمع بين الصور الساتلية وبين الصوتيات المحدودة للسوارق، وهذه النماذج تتطلب مجموعات كبيرة من بيانات التدريب التي من الأفضل تخزينها وتجهيزها في السحابة، ويمكن تخزين نماذج النشر باستخدام نظام ساج ماكر أو فيرتكس آي أو أو أو أو أو أو أو أوزوير ماشين للتعلم مع نماذج يمكن استخدامها في استخدام نظام غالب للاختبارات السحابية.
نظام " آيوت " و " إيدج " للحساب الإلكتروني
وتولد السفن المستقلة ذاتيا والمركبات السطحية غير المكشوفة بيانات عن التصفيق، وتستخدم الحوسبة الحادة (مثلا، شركة AWS Greengras، Azure IoT Edge) لتجهيز البيانات وضغطها في الوقت الحقيقي القريب قبل تحميلها على السحابة، مما يقلل من تكاليف النطاق الترددي ويتيح إجراء فحص فوري للجودة.
سير العمل الجيولوجي المكاني غير المتوفر مع مركز الدراسات المتقدمة وشركة COG
ويتيح الجمع بين فهرسات مركز الدراسات والمعلومات المتعلقة بالنقل البحري وملفات فريق التنسيق الإقليمي الوصول الكامل إلى البيانات التي لا تخدم أي خدمة، ويمكن أن يستفسر تطبيق على شبكة الإنترنت عن تطبيق نظام المعلومات المسبقة عن علم، والحصول على وحدة معلومات عن أسعار الصرف، وجعلها تستخدم مكتبة من جانب العملاء مثل ليفلت مع تمديد مجموعة الخدمات العامة، ولا يلزم توفير خادم احتياطي للبيانات التي تخدمها، وقد استخدمت هذه البنية بالفعل بيانات البيانات الأرضية التي وضعتها وكالة ناسا واعتمدتها الوكالات الهيدروغرافية بسرعة.
خاتمة
إن إدارة مجموعات البيانات الهيدروغرافية الكبيرة في البيئات السحابية على نحو فعال تتطلب مزيجا استراتيجيا من التخزين القابل للتقدير، والصيغ المثلى، والتجهيز الموازي، والأمن القوي، والأدوات التعاونية، واعتماد نظام تخزين المواد السحابية، وتنفيذ سياسات دورة الحياة، واستخدام أشكال جغرافية مكانية مركبة، واستخلاص المعلومات، والمقارنة المدروسة، يمكن للمنظمات أن تحسن بشكل كبير إمكانية الوصول إلى البيانات، وتخفض التكاليف، وتعجل التحليل المتعلق بالاستقرار من خلال العقد.