أثر مركبة ذاتية الدفع تجهيز البيانات في الهندسة

تحدي البيانات في الهندسة المستقلة للمركبات

وتمثل المركبات المستقلة ذاتيا واحدا من أكثر التحديات الهندسية كثافة البيانات التي واجهتها على الإطلاق، ويمكن أن تولد سيارة واحدة ذاتية الدفع ارتفاعاً قدره 1 تيرابايت من بيانات الاستشعار الخام في ساعة التشغيل، وتجمع بين المدخلات من كاميرات عالية الاستبانة، ومصفوفات ليدار، ونظم رادارية، ومجسات فوق الصوت، وأجهزة قياس تليفزيون المركبات، وبالنسبة لفرق التقدم في مجال البحث والتطوير التي تعمل على نظم القيادة المستقلة، والقدرة على التجهيز،

وظهرت شركة أباتشي سبارك كقاعدة أساسية في هذا المجال، حيث توفر العضلات الحاسوبية الموزعة اللازمة للتعامل مع خطوط أنابيب البيانات المستقلة للمركبات، خلافا لأطر تجهيز الدفعة التقليدية، يقوم محرك تجهيز البخار داخل الذاكرة بإيصال السرعة اللازمة لتطوير الخوارزميات المتكررة، والتحقق من المجازفة الواسعة النطاق، وتحليل البيانات في الوقت القريب، وتدرس هذه المادة دور شركة سبارك للصناعة في المركبات المستقلة

Understanding Apache Spark in the Context of Autonomous Systems

حواسيب موزعة للبيانات الحساسة

إن شركة Apache Spark هي محرك تحليلي موحد ومخصص لتجهيز البيانات الموزعة عبر مجموعات الحواسيب، وبالنسبة لهندسة المركبات المستقلة، فإن قيمة شركة Spark تكمن في قدرتها على تقسيم مجموعات البيانات الضخمة مثل ملايين غيوم اللدائن الجاهزة للتسجيلات الصوتية أو ساعات التصوير بالفيديو - عبر عقدات متعددة، وتصويرها بالتوازي، فإن نموذج الحساب غير الافتراضي يخفض الاختناق.

(سبارك) يدعم لغات برمجة متعددة بما فيها (بيسبراك) و(سكالا) و(جافا) و(ر) مما يعطي الأفرقة الهندسية المرونة في اختيار بيئتها الإنمائية، وتوفر مؤشرات تقنية (البيانات) و(المجموعة) خلاصات عالية المستوى لتجهيز البيانات بشكل منظم، والتي تحد بطبيعة الحال من سجلات الاستشعار المنظمة وشبه الهيكلية التي تنتجها المركبات المستقلة.

لماذا "سبارك" يُعنى بـ "أف آر دي"

دورة حياة المركبات الذاتية تتضمن ثلاث مراحل مختلفة لتجهيز البيانات: حرق البيانات وتخزينها، تدريب الخوارزميات والتثبت من المحركات، والاختبارات القائمة على المحاكاة، وكل مرحلة تضع مطالب مختلفة على البنية التحتية للتجهيز، وأثناء الابتلاع، يجب على الأفرقة أن تُعالج مسارات البيانات العالية السرعة من أساطيل الاختبار التي تعمل في مختلف المدن، وخلال التدريب، يحتاجون إلى معالجة مجموعات البيانات التاريخية التي يمكن أن تُصفّد المُخات.

مقارنة بالأدوات المتخصصة مثل أطر التعلم العميق التي تحظى بموافقة GPU، فإن Spark لا يصمم لتدريب الشبكات العصبية من الصفر، ولكن هذا يبرز في إعداد البيانات، والهندسة الخاصة، ومهام التقييم الواسعة النطاق التي تستهلك أغلبية وقت فريق البحث والتطوير، وبتسارع هذه العمليات في المراحل المتقدمة والوسطى، تمكن شركة Spark المهندسين من التركيز على تصميم النماذج وتصميم النظم بدلا من تركيز البيانات.

بيانات المركبات المستقلة: المصادر، والفولم، ومتطلبات التجهيز

طرائق الاستشعار وخصائص البيانات

وتشمل عادة مواصفات الاستشعار الحديثة ذات الاستقلال الذاتي للمركبات ما يلي:

• LiDAR:] Generates 3D point clouds at 10-20 Hz, producing millions of points per second with spatial coordinates and reflectionivity values.
• Cameras:] Multiple cameras capture high-resolution video at 30-60 fps, with each frame containing millions of pixels and color channels.
• Radar:] Provides object detection and velocity data at ranges up to 200 meters, operating reliably in adverse weather conditions.
• Ultrasonic sensors:] Used for close-range obstacle detection during park and low-speed maneuvers.
• GPS-IMU:] Provides vehicle position, orientation, and velocity data at 100-200 Hz for localization and odometry.
• Vehicle can bus:] Reportsteering angle, throttle position, brake pressure, and other control signals at sub-millisecond intervals.

وتنتج كل نوع من أجهزة الاستشعار بيانات ذات هيكل وتواتر وخصائص حجم مختلفة، والبيانات غير مهيكلة ودقيقة، وبيانات الكاميرات كثيفة، وبيانات عالية الأبعاد، وبيانات الرادار أقل حلا، ولكنها تتضمن معلومات عن سرعة دوبلر، وتتطلب معالجة هذه مجاري البيانات المتباينة معا منصة لتجهيز البيانات يمكن أن تعالج أنواعا متنوعة من البيانات مع الحفاظ على الاتساق الزمني والاتساق المكاني.

Scale of Data in Production AV Fleets

وبالنسبة لفرق الهندسة التي تعمل أساطيل اختبار المركبات من 50 إلى 100، يمكن أن يتجاوز معدل توليد البيانات 50 تيرابايت يوميا، ويستلزم تخزين هذه البيانات وفهرسها واستجوابها من أجل تطوير الخوارزميات نظم تخزين موزعة مثل مخازن المواد السحابية، مقترنة بطبقة تجهيز يمكن أن تفحص البيانات بطريقة فعالة، وقدرة سبارك على قراءة البيانات من نظم تخزين متعددة، وتطبيق التحولات المناسبة في الذاكرة، وكتابة النتائج

وتستخدم أفرقة البحث والتطوير عادة نظام " سبارك " لمهام مثل استخراج أمثلة تدريبية ملصقة من سجلات الاستشعار الخام، وإحصاءات حاسوبية عبر مجموعات بيانات كبيرة للتحقق، وإجراء عمليات مسح البارامترات الكبيرة أثناء تعليم الخوارزم، وبدون قدرات التجهيز الموزعة، ستستغرق هذه المهام أياما أو أسابيع على نظم الملاح الوحيد، مما يبطئ دورة التنمية ويحد من عدد أفرقة التجارب التي يمكن أن تجري.

مصممة (سبارك) لخطوط البيانات

استنباط البيانات وتقنية البيانات

المرحلة الأولى من أي خط بيانات (إف) هي استخراج وتحويل وتحميل بيانات الاستشعار الخام إلى شكل مناسب للتحليل، ويمكن لـ (سبارك) أن يقرأ بيانات من (باركيت) و(أفرو) و(شيون) والأشكال المشتركة الأخرى مباشرة، مما يسمح لفرق تجهيز الأشعة دون خطوبة تحويل متوسطة، أما بالنسبة للمنظمات التي تستخدم الخزن السحابي، فيمكن لـ(سباربليو) أن تقرأ من مخزن المقياس (أوزبربوجو)

خط الأنابيب المعتاد لبيانات لي دي آر قد ينطوي على قراءة ملفات السحابة الأولية، وتصفية النقاط الأرضية، وخصائص حاسوبية مثل الإحصاء السطحي وإحصاءات كثافة البيانات، وكتابة ملفات المتغيرات لمهام التعلم الآلي في أسفل المجرى، نموذج التقييم الكسول الذي يُعدّ هذه التحولات إلى خطة تنفيذية مُثلى، مع تحديد الشكل الأمثل لاختيار استراتيجيات فعالة للالتحاق وتأجيل تلقائياً.

لبيانات الكاميرات، الفرق الهندسية غالبا ما تحتاج إلى استخراج أطر زمنية محددة، وتطبيق التصويبات الأرضية، وتوليد البيانات الوصفية للصور بما في ذلك بارامترات الكاميرا، وطرح المعلومات، والدعم الذي يقوم به (سبارك) لمهام محددة للمستخدمين يسمح لفرق دمج مكتبات تجهيز الصور المفتوحة أو المكتبات الخاصة بتجهيز الصور في إطار نظام البيانات الإستراتيجي، على الرغم من أن إدارة الذاكرة المتأنية مطلوبة لتجنب الاختناقات الجانبية عند تجهيز حمولات الكبيرة.

تجهيز البيانات في الوقت الحقيقي مع عملية " سبارك سترامنغ "

وفي حين أن معظم وحدات تجهيز المركبات المخصصة للتصنيف الصناعي يركز على التحليل غير المباشر للبيانات المستخرجة، فإن قدرات التجهيز في الوقت الحقيقي ضرورية لبعض حالات الاستخدام، ولا سيما أثناء اختبار المركبات والتحقق منها، ويوفر نظام " Spark Streaming " نموذجا لتجهيز الميكروبات يقسم مسارات البيانات الواردة إلى مضارب صغيرة (نحو 500 ميلي ثانية إلى ثانيتين) ويعالجها باستخدام نفس نظام البيانات الموسع المستخدم في إطار دفعات العمل.

وفي سياق آلية مستقلة لإدارة المركبات، تشمل حالات استخدام المركبات التالية:

• Real-time anomaly detection:] Monitoring sensor health and data quality during test drives, flagging corrupted or missing sensor readings immediately.
• ] إجراء تحليل للمقاييس عن بعد: ] تجهيز بيانات حالة المركبات بما في ذلك السرعة، والتسريع، ومراقبة المدخلات لكشف أنماط القيادة غير الآمنة أثناء التشغيل المستقل.
• Edge-to-cloud data filtering:] Select and uploading only the most relevant data segments from vehicles to the cloud for further analysis, reducing bandwidth requirements and storage costs.
• Operational monitoring:] Tracking fleet-wide metrics such as miles driven per intervention, driver disengagements, and scenario coverage in real time.

وبالنسبة للأفرقة الهندسية، فإن القدرة على تجهيز البيانات المتعلقة بالدفعات وبث البيانات بنفس الطريقة التي تبسط بها قاعدة البيانات وضع واختبارات، ويمكن نشر تحويل مكتوب لتجهيز دفعات في سياق مجرى ذي حد أدنى من التعديلات، مما يتيح للأفرقة أن ترسم الخطوط الخارجية الأولية ثم الانتقال إلى العمليات في الوقت الحقيقي عندما تكون جاهزة.

تكامل التعلم في مجال نظم الحفر المستقلة

إعداد البيانات لنموذجي التصور

نماذج التصورات التدريبية لكشف الأجسام، وتجزئة الممرات، وإثبات إشارات المرور تتطلب مجموعات بيانات كبيرة ومسمّاة، مكتبة (سبارك) للميلت توفر محولات سمية للارتقاء، وتطبيع المتغيرات القاطعة، ولكن القيمة الحقيقية لفرق (أف) تكمن في قدرة (سبارك) على إعداد بيانات التدريب على نطاق واسع، ويستخدم المهندسون (سبارك) في جمع بيانات عن طريق تقنيات الحقيقة الأرضية.

لنموذج كشف الأجسام، التدريب على إعداد البيانات يتضمن استخراج المناطق ذات الاهتمام من الإطارات الكاميرات، إحداثيات صندوق الحاسوب المتجه نحو نظام تنسيق المركبات، ومواءمة العلامات من طرائق الاستشعار المتعددة، ووزعت شركة Spark عملياتها تسمح لفرق الجمع بين قوائم الأجسام الموجودة في طراز LiDAR وأجهزة الكشف عن الكاميرات وأجهزة الرادار عبر نوافذ زمنية كبيرة، مما ينتج أمثلة تدريبية تلتقط سياق الدمج الكامل للمجس.

ومن النمط المشترك في برنامج " AV RD " استخدام " Spark " لفحص البيانات التي تتضمن أمثلة على ذلك في مجموعة تدريبية تستند إلى التنوع أو الصعوبة أو التغطية في السيناريوهات، ومن خلال حساب النواقل أو إحصاءات السمات في مجموعة البيانات بأكملها، يمكن أن تحدد الأفرقة أمثلة زائدة، وأن تكشف عن أخطاء في البطاقات، وأن توازن بين توزيع الفئات قبل بدء التدريب، وقد أصبح هذا النهج القائم على أساس نوعي لتطوير النموذج أكثر أهمية من حيث النوعية.

التقييم والتقييم النموذجي والتقييم

وبعد تدريب نموذج للتصورات أو التخطيط، يجب على الأفرقة الهندسية أن تقيّم أداءها عبر ملايين الأميال من البيانات الدافعة، وتوفر شركة " سبارك " البنية التحتية الحاسوبية التي تستخدم في إجراء دراسة مقارنة على مجموعات البيانات الكبيرة في نفس الوقت، وتحسب القياسات مثل الدقة، والتذكر، والمعدل الإيجابي الكاذب، ومتوسط الدقة عبر مجموعة الاختبارات الكاملة، وبالنسبة لنماذج التخطيط، تقوم الأفرقة بتقييم قياسات السلامة عبر آلاف السيناريوهات.

قدرة (سبارك) على تنفيذ مهام محددة للمستخدمين على نطاق واسع يعني أن الفرق يمكنها تنفيذ مقاييس التقييم العرفية المصممة حسب متطلبات النظام الخاصة بها، على سبيل المثال، فريق هندسي قد يحسب توزيع مسافات كشف الأجسام كوظيفة من وظائف الأحوال الجوية والإضاءة والوقت المناسب لتحديد الثغرات في الأداء التي تحتاج إلى معالجة من خلال بيانات تدريبية إضافية أو تحسينات في المقاييس،

البارامترات Sweeps and Hyperparameter Opimization

نظم القيادة المستقلة تحتوي على عشرات من البارامترات التي يجب أن تُخصص لأفضل معايير قياس الأداء - أجهزة الاستشعار، وتتبع المكاسب التي تحققت من مرشحي التصفية، والتخطيط لأثقال التكاليف، ومكاسب التحكم، ضمن أمور أخرى، إيجاد التركيبة الصحيحة من البارامترات يتطلب إجراء تجارب عبر أبعاد متعددة، مع كل تجربة تتطلب تجهيز كميات كبيرة من بيانات الاختبارات، نموذج التنفيذ الموزع يتيح لفرق التوازي مع عمليات مسح البارامترات عن طريق تشغيل مختلف مجموعات المواصفات في آن واحد

الفرق الهندسية تستخدم أدوات مثل مقياس (سبارك) للضغط على الموجات الفائقة أو تدمج مع أطر خارجية للتعظيم التي تقدم وظائف (سبارك) لكل تقييم

رسوم من طراز Spark للأفرقة المعنية بالمركبات الآلية

دال - القدرة على التنمية

إن أهم ميزة تعرضها شركة سبارك لفرق البحث والتطوير هي سرعة التنمية، وتتمثل مهام تجهيز البيانات التي تستغرق ساعات أو أياماً في نظم الملاح الواحد في دقائق على مجموعات سبارك، وهذا التسارع يضغط على حلقة التغذية المرتدة بين تكوين الفرضيات والتحقق من التجارب، وهو مهندس يريد اختبار خوارزمية جديدة قبل التجهيز أو تقييم نموذج بديل يمكن أن يحقق نتائج في حين لا تزال فكرة الباتش في انتظار.

إن قذائف (سبارك) التفاعلية تسمح للمهندسين ببحث البيانات بشكل متكرر، وفحص النتائج الوسيطة وتعديل التحولات على الذبابة، وهذه القدرة الاستكشافية قيمة بشكل خاص عندما تعمل مع تشكيلات استشعار جديدة أو بيئات قيادة جديدة، حيث لا تعرف مسبقاً التحولات المناسبة في البيانات، ويمكن أن تُعدل الأفرقة نموذجاً في مفهوم التفاعل، ثم تُنتج الرمز من وقت قصير.

كفاءة التكاليف من خلال تحقيق الاستخدام الأمثل للموارد

فعمليات نشر السباكة القائمة على الكلاب تسمح لأفرقة المركبات بمواءمة الموارد المحسوبة مع متطلبات عبء العمل، ففي فترات الذروة مثلاً، عندما تُعالج مجموعة جديدة من البيانات من حملة اختبار متعددة المركبات يمكن أن تُشغل مجموعات كبيرة تُجهز البيانات في ساعات، وخلال فترات أكثر هدوءاً، يمكن تقليص أو إغلاق المجموعات كلياً، وتجنب التكاليف الثابتة المرتبطة بتكاليف البنية التحتية للمصابيح.

تجهيزات (سبارك) الداخلية أيضاً تقلل من أثر التخزين للبيانات الوسيطة، بإبقاء البيانات في الذاكرة بين مراحل التجهيز، تتجنب الفرق كتابة النتائج الوسيطة إلى القرص، وتخفض تكاليف التخزين، وتحسين الأداء، بالنسبة للمنظمات التي تجهز بيانات أجهزة الاستشعار سنوياً، هذه المكاسب الناتجة عن الكفاءة تترجم إلى وفورات تشغيلية كبيرة.

التكامل مع النظم الإيكولوجية القائمة للبيانات

ومعظم منظمات المركبات المستقلة تستثمر بالفعل في البنية الأساسية للبيانات، بما في ذلك مخازن الجسم، وبحيرات البيانات، وأدوات تنسيق سير العمل، وتدمج شركة سبارك محليا مع هذه النظم، وتقرأ من شركة S3، أو ADLS، أو من نظام GCS، وتكتب إلى بحيرة دلتا أو جداول إيسيبرغ، وتُنسق بواسطة أدوات مثل شركة Apache Airflow أو شركة داغستر، وهذا التكامل يعني أن الأفرقة الهندسية يمكنها أن تعتمد نظاماً قائماً للحد من المخاطر دون الإفراط في إصلاحها.

وبالنسبة للأفرقة التي تستخدم شبكات البيانات، يوفر برنامج " سبارك " المدار قدرات إضافية تشمل مذكرات تعاونية، وإدارة مجموعات آلية، والتكامل مع تدفق حركة التحرير من أجل تتبع التجارب، وفي حين أن هذه الخدمات التي تدار لا تتطلب استخداماً صارماً، فإنها تقلل من النفقات العامة التشغيلية للمجموعات المسدودة، مما يتيح لأفرقة التنمية الإقليمية التركيز على تطوير الخوارزم بدلاً من إدارة الهياكل الأساسية.

التحديات في نشر نظام " سبارك " (Spark) من أجل حمولات العمل المأجور

خدمات البيانات والمصروفات العامة للأداء

أحد التحديات العملية التي تواجه الفرق الهندسية عندما تستخدم (سبارك) لبيانات (إف) هو الرؤوس العامة لتسلسل البيانات، عادة ما تُخزن الغيوم وصور الكاميرات في أشكال ثنائية على النحو الأمثل لسرعتها، لكن بيئة التنفيذ المستندة إلى (سبارك) تتطلب بيانات تُحلى إلى (جفا) أو (بيتون) لتجهيزها.

وتعالج الأفرقة هذا التحدي من خلال تقنيات مثل أجهزة الدفاع المُنتَقَدة (Pandas UDFs for PySpark)، باستخدام الدعم الثنائي للبيانات الذي يُبنى في سبارك، أو تجهيز البيانات الثنائية في شكل أعمدة مثل باركيت قبل تشغيل وظائف ثابتة، ولعقود العمل المُتسمة بالصور، وبعض الأفرقة التي تُعدّل الملامح أو تُدمج باستخدام بنية أساسية متخصصة للتعلم العميق، ثم تتجنب الاختراق فقط.

حدود اللياقة لمراقبة الوقت الحقيقي

ومن المهم ملاحظة أن " التصلب السريع " ليس مناسباً لمراقبة المركبات في الوقت الحقيقي، ويدخل نموذج الميكروبات الحد الأدنى من التأخيرات في مئات الألف ثانية، وهو أمر بطيء للغاية بالنسبة لرد الفعل الحرج للسلامة مثل تجنب العقبة أو التفاخر في حالات الطوارئ، وبالنسبة لهذه التطبيقات، تستخدم نظم مراقبة المركبات مجهزين مجهزين مكرسين لتشغيل نظم التشغيل المحددة في الوقت الحقيقي.

وحتى بالنسبة لحالات استخدام المجارير الأقل مراعاة للوقت، يجب إدارة خصائص التقلبات في إطار نظام Spark Streaming بعناية، وبالنسبة لتطبيقات الرصد التشغيلي التي يكون فيها التأخير الثاني 1-2 مقبولا، يعمل نظام " Spark " جيدا، وينبغي أن تنظر التطبيقات التي تتطلب استخداما للراحة دون 100 ميل في الثانية في برامج تيار بديلة مثل " Apache Flink " أو محركات تجهيزات متخصصة مصممة لحجم العمل المنخفض.

تعقيد إدارة المجموعات

ويتطلب تشغيل مجموعات " سبارك " على نطاق واسع خبرة تنفيذية في النظم الموزعة، ويجب أن تُخصص معايير الاتحاد لتخصيص الذاكرة، وتقسيم الشباك، وتقسيم المنفذ لكل عبء عمل من أجل تحقيق الأداء الأمثل، وبالنسبة لفرق البحث والتطوير التي تتمتع كفاءتها الأساسية بالحركة الذاتية بدلا من الهياكل الأساسية الموزعة، يمكن أن تكون إدارة مجموعات " سبارك " ملحة عن الأهداف الهندسية الأولية.

وتخفف خدمات " سبارك " التي يديرها هذا العبء ولكن تضع قيودها الخاصة، ويجب على الأفرقة التي تستخدم الخدمات المنظمة أن تعمل ضمن حدود موارد مقدم الخدمات، وتشكيلات الشبكات، والسياسات الأمنية، وبالنسبة للمنظمات التي لديها متطلبات صارمة لسيادة البيانات أو التي تعمل في مناطق محدودة توفرها السحاب، فإن المجموعات ذاتية الإدارة قد تكون الخيار الوحيد، مما يتطلب الاستثمار في موظفي العمليات المتفانين.

الاتجاهات المستقبلية: Spark and the Evolution of AV Data Processing

التعليم الحاسوبي الموحد

ونظراً لأن أساطيل المركبات المستقلة ستمتد نحو النشر التجاري، فإن حجم البيانات المولدة سيتجاوز قدرة التجهيز المركزي للسحابات، إذ توزع البنايات الناشئة تجهيز البيانات عبر زوايا حواف المركبات ومجموعات السحب الإقليمية، حيث تعمل شركة سبارك كطبقة تجهيز موحدة، وفي هذا النموذج، تُستخدم تطبيقات السباك الخفيفة على أجهزة حاسوبية من طراز المركبات لتصنيف البيانات الأولية واستخلاصها، بينما تتولى المجموعات الأكبر حجماً معالجة التجميع والتدريب النموذجي عبر الأسطول.

تقنيات التعلم الموحدة التي تُدرب نماذج عبر مصادر البيانات الموزعة بدون مركزية البيانات الأولية ذات أهمية خاصة لتطبيقات الأشعة تحت الحمراء حيث خصوصية البيانات وقيود النطاق الترددي هي شواغل، نموذج الحاسوب الموزع يوفر أساساً لتنفيذ التعلم الموحّد، مما يسمح للأفرقة بدفع رمز التدريب النموذجي إلى مصادر البيانات بدلاً من إدخال البيانات إلى المجموعات المركزية.

Spark 3.x and GPU Acceleration

وقد زادت النسخ الأخيرة من نظام " سبارك " من الدعم لتسريع عملية استخدام نظام الأفضليات المعمم من خلال معجلات برامجيات RAPIDS لـ " أباتشي سبارك " ومكتبة " معجلات " ، مما يتيح للمهندسين استخدام معدات النظام العالمي لتجهيز البيانات، مثل الانضمام إلى نظام " تجميع المعلومات " ، والفرز، وتحقيق تحسينات كبيرة في الأداء فيما يتعلق بعبءات التي تستخدم بالفعل الهياكل الأساسية في مجال التعلم العميق.

مشروع هايدروجين، مبادرة لتحسين تكامل سبارك مع وحدات التخطيط العام وأطر التعلم العميق، من المتوقع أن يحقق تكاملاً أكثر صرامة بين خطوط أنابيب البيانات الخاصة بـ(سبارك) ومكتبات التعلم العميق الشعبية مثل (بي تورتش) و(تينسور فلو)، وهذا التكامل سيسمح للأفرقة الهندسية ببناء خطوط أنابيب نهائية تعالج إعداد البيانات والتدريب النموذجي والتقييم ضمن تطبيق واحد على نطاق واسع، مما يقلل من تعقيد نقل البيانات بين نظم التجهيز المستقلة.

دمج محاكاة الوقت الحقيقي

التعبئة عنصر حاسم من مجموعة (إي في دي) تسمح لفرق اختبار الأنظمة في ملايين السيناريوهات التي ستكون خطرة أو غير عملية لتكرارها في العالم الحقيقي، دور (سبارك) في المحاكاة ذو شقين، أولاً، يُعمم نواتج المحاكاة الواسعة النطاق ويُستخدم لحصر القياسات الإجمالية وتحديد الحالات المُحاكاة؛ ثانياً، يُعد المكتبات السيناريوهات والنماذج البيئية المستخدمة في الحفاظ على سرعة التحفيز.

الاتجاه نحو المحاكاة المغلقة حيث تتفاعل نظم التصوّر والتخطيط مع بيئة محاكاة، تولد مسارات بيانات مستمرة يجب معالجتها في الوقت الحقيقي تقريباً للتحقق من سلوك النظام، وتعميق الدمج، إلى جانب أطر المحاكاة التي تغذي البيانات في خطوط أنابيب Spark، مما يمكّن الأفرقة من تنظيم حملات محاكاة على مدى أسابيع أو أشهر مع رصد أداء النظام باستمرار.

خاتمة

وقد أرست شركة أباتشي سبارك نفسها كأداة أساسية في مجموعة الأدوات المستقلة الخاصة بالهندسة الأرضية للمركبات، حيث وفرت البنية التحتية الحاسوبية الموزعة اللازمة لتجهيز مجموعات البيانات الضخمة التي تنتج عن أساطيل الاختبار المجهزة بالاستشعارات، ومن ابتلاع البيانات وإعداد خطوط أنابيب التعلم الآلي والتحقق من حجمها على نطاق واسع، تدعم شركة سبارك دورة الحياة الكاملة لتجهيز البيانات المتعلقة بالمركبات ذات الترددات العالية باستخدام نظام موحد للمعلومات التطبيقية يبث الدفعات.

والمزايا العملية للأفرقة الهندسية كبيرة: سرعة دورات التنمية من خلال التجهيز الموازي، وكفاءة التكلفة من خلال التوسع في الموارد، والتكامل مع النظم الإيكولوجية القائمة للبيانات التي تحمي استثمارات الهياكل الأساسية السابقة، وفي حين أن التحديات لا تزال قائمة حول النفقات العامة لتسلسل البيانات، والقيود على اللياقة اللازمة للتحكم في الوقت الحقيقي، وتعقيد إدارة المجموعات، فإن مسار تنمية سبارك يعالج هذه الشواغل من خلال تعجيل عملية استخدام النظام العالمي لمراقبة المناخ، وتحسين قدرات تيار البيانات، وتقديم الخدمات المنظمة.

وبالنسبة للمنظمات الهندسية التي تبني نظماً مستقلة للسيارات، فإن الاستثمار في البنية الأساسية لتجهيز البيانات القائمة على أساس سبارك يمكّن أفرقةها المعنية بالتجهيز على أساس السرعة، والتحقق من صحتها بشكل أكثر شمولاً، وفي نهاية المطاف توفير نظم مستقلة أكثر أماناً وقدرة على الاستمرار في النشر التجاري على نطاق واسع، ستظل القدرة على تجهيز البيانات بكفاءة مفرقاً تنافسياً، وسيستمر البرنامج في الاضطلاع بدور مركزي في تلك القدرة.