البيئة والتنمية المستدامة الهندسة
التكامل بيانات السواتل مع بيغ منابر بيانات للبحوث البيئية
Table of Contents
مقدمة: التآزر بين الرصد الساتلي والتحليل الكبير للبيانات
وتولد سواتل رصد الأرض كمية غير مسبوقة من البيانات كل يوم، فالأدوات الموجودة على متن منابر مثل لانداسات وكالة الفضاء الأوروبية، وأسطول الاستشعار التابع لوكالة الفضاء الأوروبية، وسلسلة " جي إس " التي تلتقط صوراً متعددة الأطياف، وجهازاً احتياطياً للرادارات، وتوقيعات الأشعة دون الحمراء الحرارية، وموجزات الغلاف الجوي، غير أن البيانات الساتلية الخام وحدها هي مجرد مجموعة من المعالمية من المعالمية من المعالم يمكن قياسها.
ويجمع هذا التكامل بين الثراء المكاني والزمني للبيانات الساتلية وبين القدرة على تجهيز أطر مثل أباتشي هادووب وأباتشي سبارك، ويتيح للعلماء معالجة أنواع الصور، وتطبيق نماذج التعلم الآلاتي، وإنتاج أفكار عملية لعلوم المناخ، وإدارة الكوارث، والزراعة، والتخطيط الحضري، وتستكشف هذه المادة الأسس التقنية، وسير العمل العملية، وتطبيقات العالم الحقيقي للزواج من البيانات الإيكولوجية الساتلية، مع البيانات الضخمة.
الدور الحاسم للبيانات الساتلية في العلوم البيئية الحديثة
وتوفر السواتل نقطة تحول فريدة لرصد نظم الأرض، فخلافا للمحطات المتفرقة في الموقع، تقدم الأدوات الساتلية تغطية متسقة وشاملة مع فترات إعادة النظر تتراوح بين ساعات وأسبوعين، وتشمل أنواع البيانات الرئيسية ما يلي:
- Optical imagery] — visible and near-infrared bands for vegetation health, land cover, and water quality.
- Synthetic Aperture Radar (SAR)] - جميع التصوير بالأشعة فوق الوراثية لتشوه السطح، ورسم خرائط الفيضانات، ورصد الجليد.
- Thermal infrared] - sea surface temperature islands, urban heat islands, and wildfire hotspots.
- Atmospheric sounders] - تركيزات غازات الدفيئة، والهيروسولات، والخواص السحابية.
فعلى سبيل المثال، جمعت أداة وزارة الدفاع والأمن الغذائي على متن تيرا وأكوا على مدى 20 عاما من البيانات العالمية في شكل 000 250 متر، مما أدى إلى تأجيج البحوث بشأن صافي الإنتاجية الأولية واتجاهات إزالة الغابات.() ويوفر مرصد الأرض التابع للرابطة ] بانتظام تحديثات بصرية تعتمد على مسارات البيانات هذه.
منابر البيانات الضخمة كمؤسسة للتحليلات القابلة للتكرار
وتصبح قواعد البيانات التقليدية ذات الصلة ونظم نظام المعلومات الجغرافية ذات الحافظة الواحدة من الاختناقات بسرعة عند التعامل مع محفوظات السواتل المتعددة الأطياف، وتتغلب منابر البيانات الكبيرة على هذه القيود من خلال التخزين الموزع والحساب الموازي، ويوفر النظام الإيكولوجي لتصنيف أباتشي هادوب نظاما موزعا للملفات ونموذج البرمجة الخاص بمنتجات الخرائط، بينما تقدم Apache Spark في شكل تجهيزات موزعة
كما أن الخدمات التي تديرها أجهزة الكلاب قد خفضت الحاجز أمام الدخول. Google Earth Engine]، على سبيل المثال، تجمع بين فهرس متعدد الأطراف من الصور الساتلية وبين منصة تجهيز موازية يمكن الوصول إليها من خلال جهاز حاسوبي مصغر النطاق أو جهاز حاسوبي ثابت للبيانات المكانية.
منهجيات إدماج البيانات الساتلية مع نظم البيانات الضخمة
استنفاد البيانات وتجهيزها
وتُنقل البيانات الساتلية عادة إلى المحطات الأرضية في أشكال خام (مثلاً، مجموعات من المستوى صفر) ويجب تحويلها إلى منتجات جاهزة للتحليل، وتشمل خطوات التجهيز الرئيسية تصحيحات قياسية جغرافية، ومعايرة قياسية إذاعية، وتصحيحات في الغلاف الجوي، وبالنسبة لبيانات منطقة البحث العلمي، يلزم اتخاذ خطوات إضافية مثل تصفية المضاربة وتصويب التضاريس السحابي، ويمكن أن تُدرج أدوات مثل ملفات خط الأنابيب GDAL وRparioDF في مجموعة.
استراتيجيات تخزين البيانات الجغرافية المكانية الضخمة
ويشتمل التخزين الأمثل على تقسيم البيانات حسب المكان (مثلاً، البلاط الشبكي أو الحدود الإدارية) والخصائص الزمنية (سنة وشهرية ويوم)، وتستفيد عدة من المنصات من أشكال الأعمدة مثل أباتشي باركيزات جغرافية مكانية (مواقف جيوبركيت) للتعجيل بالاستفسارات.() وفيما يتعلق بتحليلات السلسلة الزمنية، فإن قواعد البيانات المتعلقة بالصفائف مثل سداسي البروم أو شكل مفاعلات المعالجة بالسل.
تجهيز المواد الموزعة والتعلم الماكني في مجال التصوير الساتلي
ويمكن أيضاً منابر البيانات الضخمة التي تُستَغَل وتُخزَّن، أن تتيح تحلليات متطورة، وباستخدام نظام سبارك MLlib أو PySpark مع نظام تينسورفلو/كيرا، يمكن للباحثين تدريب الشبكات العصبية المتجمعة لتصنيف الغطاء الأرضي أو كشف التغيرات أو تقدير الكتلة الأحيائية.
تصور النتائج ونشرها
وتتمثل الخطوة الأخيرة في خط خط التكامل في إيصال المعلومات إلى الباحثين وصانعي القرار، كما أن مكتبات رسم الخرائط القائمة على شبكة الإنترنت مثل ليفلت، وشركة " أوف ليرز " ، والورقة المشتركة " مابوكس " (Pabox GL)، تقدم مجموعات بيانات ذات إطارات كبيرة، تتسم بالكفاءة، أما بالنسبة لوحات إدارة المواد الانشطارية الدينامية، فإن هذه الأطر مثل " سوبليو " يمكن أن تتواصل مباشرة مع محركات الاستفسارات (Pre-T) (Presto) لتوفير قطع غيضوءة، وهي تعمل حالياً).
التطبيقات العالمية الحقيقية ودراسات الحالات الإفرادية
Climate Change Research and Monitoring
وتظهر سجلات التأجير الساتلية من جيسون - 3 و Sentinel - 6 ارتفاعاً متوسطاً عالمياً في مستوى سطح البحر يبلغ 3.3 ملم في السنة، وتضع برامج بيانات كبيرة تُعد هذه القياسات إلى جانب نواتج نموذج المناخ لإنتاج التنبؤات والإسقاطات، وبالمثل، تنتج مبادرة الوكالة الأوروبية لتغير المناخ مجموعات بيانات مؤقتة طويلة الأجل عن تغير المناخ عن طريق صمامات متعددة من السواتل، وهي مهمة تعتمد على أوجه التحيز الموزع.
الاستجابة للكوارث وتقييم المخاطر
وخلال الفيضانات التي وقعت في باكستان في عام 2023، استخدم الباحثون بيانات " سينتينيل - 1 " التي تم تجهيزها في مجموعات " سبارك " لتوليد خرائط مدى الفيضانات في غضون ساعات من توافر الصور، ومن خلال دمجها في طبقات الكثافة السكانية وقواعد البيانات المتعلقة بالهياكل الأساسية، قدروا عدد الأشخاص المتضررين والطرق المضرورة، ومن المستحيل إجراء هذا التحليل السريع دون استخدام سحاب قابل للات قابلة للتكرار، كما أن الميثاق الدولي بشأن الفضاء والكوارث الكبرى ينشط هذه الخدمات بصورة روتينة.
الرصد والأمن الغذائي
ويعتمد رصد السياسات الزراعية المشتركة للاتحاد الأوروبي على الصور الساتلية المقترنة بالتعلم الآلاتي، ويستخدم خطوط أنابيب البيانات الضخمة مؤشرات الغطاء النباتي على الصعيد الميداني في جميع البلدان، ويكشفون عن الإجهاد المحصولي أو التحقق من الامتثال للإعانات، ويستخدم جهاز الاستعلامات الكهرومغناطيسية منصات قائمة على الأقدام الصلبة لربط أسعار المعونات الساتلية، وأجهزة الاستنبات الأرضية.
التوسع الحضري والتنمية المستدامة
وقد تم تجهيز بيانات الاضواء الليلية من نظام " س " (SRS) (Visible Infrared Imaging Radiometer Suite) على منابر البيانات الكبيرة لرسم خرائط للتطور الحضري خلال العقد الماضي، ومن خلال ربط كثافة الضوء بالمؤشرات الاجتماعية والاقتصادية، وضع الباحثون خرائط للفقر عالية الاستبانة، وهذا يسترشد بأهداف الأمم المتحدة للتنمية المستدامة من خلال تسليط الضوء على المجالات التي يتجاوز فيها التوسع الحضري توفير الهياكل الأساسية.
التغلب على التحديات التقنية والتنظيمية
وعلى الرغم من الوعد، فإن إدماج البيانات الساتلية مع منابر البيانات الضخمة يشكل عقبات عديدة، إذ يمكن لحجم البيانات وسرعة استخدامها أن يحجبا خطوط الأنابيب إذا لم يكن مصمما بالارتقاء بالسيارات، ولا تزال قابلية التشغيل البيني مشكلة - تستخدم بعثات ساتلية مختلفة أشكالا للملكية )مثلا، شكل شركة ستينيل SAFE( التي تتطلب خطوات تحويلية، بالإضافة إلى نقص المهنيين المهرة في كل من التحليلات الجغرافية المكانية، والتبني التدريبي(
كما أن إدارة التكاليف هي شاغل آخر، ففي حين توفر منابر السحب الأسعار عند الطلب، فإن تجهيز المحفوظات التاريخية الكبيرة يمكن أن يتراكم فواتير هامة، كما أن التقنيات مثل ضغط البيانات، والاختبار الذكي، واستخدام الأماكن المخصصة للأماكن البارزة تساعد على احتواء التكاليف، كما أن نوعية البيانات والمعايرة تتطلب الاهتمام - ويجب أن تكون القطع الأثرية من تدهور أجهزة الاستشعار أو غطاء السحب مثبتة بصورة منهجية.
الاتجاهات المستقبلية: معهد التعليم العالي في مرحلة التعليم والتعلم الموحد
وتشمل الحدود التالية نقل بعض التجهيزات مباشرة إلى السواتل، ويمكن أن تُجرى على متنها حمولات حاسوبية من قبيل وحدات غاتسون التابعة لشركة إنتل أو شبكة إنفيديا، نماذج منخفضة الوزن من أجل استخدام أجهزة الاستنشاق، مما يقلل من حجم البيانات الموصلية، فعلى سبيل المثال، يمكن للسواتل أن تكتشف مواقع حرائق حرائق برية في الوقت الحقيقي، وأن تنقل الإحداثيات الملزمة فقط، كما أن التعلم الموحد يتيح تبادلا إضافيا للصور النموذجية بين الوكالات المتعددة دون قيود.
ومع توسع مجموعات السواتل )مثلا، الطول ٢٠٠+دور، وحزام ايسيي، سيتسارع معدل توليد البيانات( ويجب أن تتطور برامج البيانات الضخمة لمعالجة فترات إعادة النظر في الوقت دون الساعة ودمج مسارات التصوير البصري والرادار وأجهزة الاستشعار التي تستخدم في ايوت، وتعمل هذه الشبكة على مشاريع مثل نظام " بيونغ " الموحد.
الاستنتاج: مسار البيانات - الدرب الأحمر إلى الإدارة البيئية
وقد انتقل إدماج البيانات الساتلية مع منابر البيانات الضخمة من التجارب إلى الجوهرية، وهو يمكّن العلماء من تتبع التغيرات الكوكبية في القرارات والموازين التي لم يكن بالإمكان تصورها في وقت مضى، ومن الإنذار المبكر بالجفاف إلى الرصد الدقيق لمخزونات الكربون، يوفر هذا الجمع قاعدة الأدلة اللازمة للسياسات والإجراءات المستنيرة، وبما أن التكنولوجيا الساتلية والهياكل الأساسية الكبيرة للبيانات قد بلغت مرحلة النضج، فإن الحاجز الذي سيستمر في الدخول سيفتح الباب أمام المزيد من الدول والمؤسسات للمشاركة في البحوث البيئية العالمية.
وينبغي للباحثين وصانعي القرار الاستثمار في الهياكل الأساسية الحاسوبية اللازمة، واعتماد معايير البيانات المفتوحة والتعاون عبر التخصصات لتحقيق إمكانات هذا التآزر على نحو كامل، فالأرض نظام معقد - ولكن مع الأدوات المناسبة، يمكن فك رموز إشاراتها وفهمها واتخاذ إجراءات بشأنها.