أثر الحدث هيكل لبحيرة البيانات دمج مستودع البيانات

وقد شهدت الطريقة التي اتبعتها المنظمات المعمارية وتشغيل منصات بياناتها تحولا زلزاميا على مدى العقد الماضي، ومن الأمور الأساسية لهذا التحول اعتماد هيكل لسجلات الأحداث، وهو نموذج تصميم للبرامجيات يغير أساسا كيفية تدفق البيانات بين النظم، وعندما يطبق على إدماج حيات البيانات ومخازن البيانات، تفكك المؤسسة القدرات التي كانت صعبة أو مستحيلة في السابق لتحقيق نهج محسنة ذات وجهة نظر عملية لإعادة تشكيل البحيرات.

فهم البحيرات البياناتية ومخازن البيانات

وقبل أن يغطس تأثير المؤسسة الإنمائية البيئية، من الضروري تقدير الأدوار المتميزة التي تقوم بها بحيرات البيانات ومخازن البيانات في مجموعة بيانات حديثة.

البحيرات البيانات

(أ) بحيرة البيانات هي مستودع مركزي مصمم لتخزين كميات هائلة من البيانات الخام وغير المجهزة في شكلها الأصلي، ويشمل ذلك بيانات منظمة من نظم المعاملات، وبيانات شبه هيكلية مثل سجلات وملفات شركة يو إندون، وبيانات غير منظمة مثل الصور والفيديوات، وتوفر البحيرات البيانات مرونة هائلة من خلال نهج البرمجيات، وهذا يعني أن عبء العمل لا يطبق إلا عندما تكون البيانات جاهزة.

مستودعات البيانات

(أ) مستودع بيانات، على النقيض من ذلك، مخزنات مجهزة ومنظمة ونظيفة البيانات التي تُستخدم على الوجه الأمثل للاستخبارات التجارية والإبلاغ، وتستخدم مستودعات البيانات نهجاً للكيماويات على الطائف، حيث تُحوَّل البيانات وتُنظَّم إلى نماذج بعدية (مثلاً، الكيماويات النجمية) قبل التحميل، مما يكفل أداءً عالياً واتساقاً في البيانات، مما يجعلها من ضمن الحلول العملية.

وقد احتفظت المنظمات عادة بهذه النظامين كسيلتين منفصلتين، حيث تنقل خطوط أنابيب الدفعات من طراز ETL/ELT البيانات بينهما، غير أن تزايد الحاجة إلى تحليلات في الوقت الحقيقي وتزايد سرعة البيانات قد كشفا عن قيود تجهيز دفعات الدفع، مما أدى إلى ارتفاع الهياكل القائمة على الأحداث.

ما هو المُنظمة المُهمة؟

(ج) إن هيكل ألعاب القوى المحركة هو نمط تصميم البرامجيات التي تتواصل فيها المكونات عن طريق إنتاج واستخدام المناسبات - الإخطارات بأن شيئاً من المصالح قد حدث، ويتضمن عادة حمولة تصف التغيير والبيانات الفوقية مثل المؤخرات ومحدد الهوية الفريدة، وتنشر الأحداث على سمسار الأحداث (أو حافلة للمستهلكين) التي تفصل بين المنتجين.

العناصر الرئيسية للهيئة

Event Producers:] Services or applications that detect a state change and publish an event. For example, a change data capture (CDC) tool that publishes database row changes.
Event Broker:] The middleware that receives, stores, and routes events to interested consumers. Popular brokers include Apache Kafka, Amazon Kinesis, and RabbitMQ.
Event Consumers:] Services or processes that subscribe to specific event types and act upon them, such as updating a Data Warehouse or triggering a data pipeline.

وتشجع المؤسسة على الانقلاب غير المستقر، مما يعني أن المنتجين والمستهلكين يمكن أن يتطوروا بشكل مستقل، وهذا الهيكل يبرز في السيناريوهات التي تتطلب تجهيزاً في الوقت الحقيقي، وقابلية عالية للتدرج، والقدرة على معالجة مختلف مصادر البيانات.

The Shift from Batch to Event-Driven Data Integration

ويعتمد إدماج البيانات التقليدية على الوظائف الدورية للدفعات - التي غالبا ما تكون يومية أو ساعة - لاستخراج البيانات وتحويلها وتحميلها من المصادر إلى بحيرة البيانات ثم إلى مستودع البيانات، وفي حين أن تجهيز دفعات الصيد بسيط ومحدد، فإنه يستحدث قدرا كبيرا من المرونة، وقد تكون البيانات قديمة قبل أن تصل إلى نظم الإبلاغ، مما يجعلها غير ملائمة للقرارات الحساسة من حيث الوقت مثل الكشف عن الاحتيال أو التعاقد مع العملاء.

ويحل دمج البيانات التي يقودها الحدث محل دورات الدفع أو يزيدها بتدفقات مستمرة ومتصاعدة للبيانات، وعندما يحدث تغيير في نظام مصادر (مثل وضع أمر جديد أو تحديث بيانات المستخدمين)، يُنشر حدث يُستغل فوراً في بحيرة البيانات، ويمكن للمستهلكين في أسفل المجرى، مثل مستودع البيانات، أن يتفاعلوا مع الحدث من أجل تحديث الآراء المنجزة أو تقليص الجداول الإجمالية في غضون ساعات قريبة من الزمن الحقيقي.

غير أن الانتقال إلى الأنماط القائمة على الأحداث ليس أمراً معقداً، بل يتطلب بنية أساسية قوية لتنظيم الأحداث، ومعالجة السيمنات بدقة، وإدارة الكيماويات، ويجب على المنظمات أن تزن فوائد انخفاض درجة الرطوبة من النفقات العامة التشغيلية للحفاظ على خطوط الأنابيب المتدفقة للأحداث.

أثر المؤسسة على تكامل بحيرة البيانات

The Data Lake, as the raw data repository, is a natural first beneficiary of event-driven ingestion.

استنفاد البيانات في الوقت الحقيقي

ومع وجود وكالة التنمية البيئية، يمكن أن تتدفق البيانات إلى بحيرة البيانات باستمرار، بدلا من انتظار نافذة للدفع الليلي، تتاح بيانات جديدة للاستفسار في غضون ثوان، وهذا أمر حاسم بالنسبة لاستخدام حالات مثل رصد أجهزة الاستشعار التابعة للشركة، وتحليل النقر، ومحركات التكوين الذاتي في الوقت الحقيقي، كما أن أدوات مثل Apache Kafka Connect و Amazon Kinesis Firehose تتيح تنظيم أحداث مباشرة على شكل مجرى قريب من مسارها.

Schema-on-Read Flexibility

يمكن أن تتطور شياطات الأحداث دون كسر بحيرة البيانات لأن بحيرة البيانات تخزن أحداثاً خامية، يمكن للمستهلكين أن يطبقوا مختلفاً من الكيماويات أو التحولات حسب الحاجة، وهذا يتوافق تماماً مع الانقلابات التي تفصل بين وكالة التنمية الاقتصادية - يمكن للمنتج أن يغير شيما الحدث (مماثلاً لأفضل الممارسات) والمستهلكين في المراحل النهائية أن يتكيفوا بشكل مستقل.

دعم تنظيم الأحداث وسلسلة البيانات

وتتيح المؤسسة أنماطاً للاستعانة بالمصادر في المناسبات، حيث تصبح بحيرة البيانات نظاماً لتسجيل جميع التغييرات التي تطرأ على الدولة، وبتخزين كل حدث، يمكن للمنظمات إعادة بناء الدولة الحالية في أي وقت أو إدارة تحليلات تاريخية، وبالإضافة إلى ذلك، تيسر المؤسسة إنشاء هيكل لمسح البيانات عن طريق السماح لأفرقة النطاق بنشر بياناتها كأحداث يمكن أن تستهلكها أفرقة أخرى عن طريق سمسار الأحداث، مما يعزز الملكية اللامركزية ويحسن إمكانية اكتشاف البيانات.

أثر المؤسسة على تكامل مستودع البيانات

وقد جرى تحديث مستودعات البيانات تقليدياً عن طريق وظائف الدفعة الثالثة من التعليم والتدريب المهني، وتحوّل هذه المستودعات عن طريق إتاحة تحديثات تدريجية وقرب الوقت الحقيقي دون التضحية بالأداء والاتساق اللذين تتطلبهما المستودعات.

تغيير قدرات البيانات وتحديثها

ويمكن لأدوات جمع البيانات أن تلتقط تغييرات في قاعدة البيانات (الضمادات، تحديثات، حذف) كأحداث وأن تنشرها إلى وسيط، ثم يطبق المستهلكون في المخازن هذه التغييرات على الجداول المقابلة باستخدام عمليات الدمج أو الرفع، مما يبقي المستودع متزامنا باستمرار مع نظم المعاملات، ويدعم الإبلاغ في الوقت المحدد، فعلى سبيل المثال، يمكن لشركة التجزئة أن تتعقب مستويات المخزون في الوقت الحقيقي باستخدام المستودعات.

الآراء المضبوطة

وتساند منابر المستودعات الحديثة الآراء المتطورة التي يمكن تجديدها تدريجيا، وعندما يشير الحدث إلى حدوث تغيير في البيانات الأساسية، لا يمكن للمخزن أن يعيد حصر التجزئة المتأثرة إلا، ويمكن للهيئة أن تحفز هذه الرشات تلقائيا، وتخفض التكاليف المحسوبة وفترات التجديد مقارنة بعمليات إعادة البناء الكاملة، وهذا النمط قوي بشكل خاص بالاقتران مع الحرق في بحيرة البيانات، حيث يقرأ المستودع من الجداول.

اتساق البيانات وأوامرها

ومن الصعب الحفاظ على الاتساق في مستودع تحركه الأحداث لأن الأحداث قد تُصبح خارج النظام أو تُكرر، ومن أجل معالجة ذلك، يجب على المستودعات أن تنفذ المنطق المستكمل المُحتمل وأن تستخدم البيانات الفوقية للحدث (مثل المصابيح أو الأرقام المتعاقبة) لإرساء التغييرات بشكل صحيح، كما أن العديد من المنابر تدعم الآن ضمانات المعاملات عند معالجة مسارات الأحداث، مما يسمح للمستودعات بأن تحافظ على اتساق قوي مع الاستفادة من تحديثات المنخفضة.

بنية البيانات الموحدة مع هيئة تنمية البيئة: نموذج بحيرة هاوس

ويتسارع تقارب مخازن البيانات والبحيرات في هيكل " لاكيتهاوس " ] بالتكامل القائم على الأحداث، ويستخدم بيت البحيرة بحيرة البيانات كطبقة تخزين واحدة ويضيف سمات شبيهة بالمستودعات - معاملات شركة ACID، واستجواب شركة SQL، وإنفاذ المواد الكيميائية - على رأسها، وتوفر المؤسسة الأنسجة الموصلية التي تمكن من تدفق البيانات في الوقت الحقيقي إلى مبنى.

وفي حي للبحيرات، تتدفق الأحداث مباشرة إلى بحيرة دلتا أو منضدة إيسبغ حيث تكون متاحة على الفور لكل من عبء العمل المتعلق بالتعلم الآلي، ويمكن تحديث الآراء المزودة بالمواد أو طبقات الخدمة عن طريق مهام متداخلة حسب الأحداث، مما يلغي الحاجة إلى نظم منفصلة ويقلل من حركة البيانات، مما يؤدي إلى انخفاض التكاليف وإلى تبسيط الهياكل.

التحديات والنظر في المسألة

وفي حين أن فوائد المؤسسة من أجل تكامل بحيرة البيانات والمستودعات كبيرة، يجب على المنظمات أن تلغي عدة تحديات لتحقيق النجاح.

الحدث المسمى:

وقد تُنفذ الأحداث وفق النظام بسبب تأخيرات الشبكة أو استراتيجيات تقسيمها، وبدون طلب مناسب، يمكن أن تصبح بيانات المستودعات غير متسقة، وتشمل الحلول استخدام تقسيمات الأحداث التي يُعدها جهاز تحديد هوية الأعمال التجارية، والوقت اللازم للتظاهر (لا يستغرق تجهيز الوقت) من أجل إصدار أوامر، واستخدام هياكل البيانات المتسامحة مثل قطع الأشجار المستنسخة، إضافة إلى أن الأحداث يمكن الاحتفاظ بها إلى أجل غير مسمى في السماسرة، مما يؤدي إلى وضع سياسات استبقاء.

بالضبط منذ (سيمانتيك)

فالتوصيل في الشرق أمر شائع في حالة السماسرة، بمعنى أن المستهلكين قد يرون أحداثاً مكررة، وتحتاج مستودعات البيانات إلى سائل مائي مصمم بدقة لتجنب القيد المزدوج في القياسات، ويمكن تحقيق ذلك عن طريق جعل المستهلكين متجانسين - باستخدام مفاتيح الارتداد (مثلاً، الحدث ID) وأداء المكثفات - أو بالاعتماد على مصارف الكاشفات التي تدعم تماماً.

نوعية البيانات وإدارة الشيمة

وكثيرا ما تتغير شيمات الأحداث بمرور الوقت مع تطور متطلبات الأعمال التجارية، وبدون الحكم، يمكن للمستهلكين في المراحل النهائية أن ينهاروا، وتشمل أفضل الممارسات استخدام سجل للكيماويات مع إجراء عمليات تحقق التوافق، وترجمة الأحداث، وتنفيذ سياسات تطور الكيماويات (مثلاً، التوافق الرجعي، المتوافق مع المستقبل).

التعقيد والرصد في العمليات

ومن شأن منبر البيانات الذي يقوده الأحداث أن يشمل أجزاء كثيرة متحركة: المنتجون والسماسرة ومجهزو المجرى والمستهلكون، كما أن رصد الرطوبة والنواتج ومعدلات الخطأ في جميع خطوط الأنابيب أمر صعب، وينبغي للمنظمات أن تستثمر في أدوات للقابلية للملاحظة تتبع مسار الأحداث، وأن تحذر من التخلف، وأن توفر لوحات مشغلة للثباتات، وأن تُدار معالجة المجرى على نحو دقيق (مثلا في توفير الموارد في كافكا) تتطلب مهارات متخصصة.

أفضل الممارسات لتنفيذ برنامج التنمية البيئية في منابر البيانات

ولزيادة فوائد التكامل القائم على الأحداث إلى أقصى حد مع تقليل المخاطر إلى أدنى حد، اتبع هذه الأنماط المثبتة.

بدء تشغيل البيانات

مركز السيطرة على الأمراض العقلية هو نقطة دخول منخفضة التصويب للمؤسسة، وبإدخال تغييرات في قاعدة البيانات من نظم المعاملات، يمكنك أن تجلب فوراً بيانات آنية إلى بحيرة البيانات ومخزن البيانات الخاص بك دون تعديل تطبيقات المصدر، واستخدام أدوات خام للتحكم في الأمراض مثل ديبيزيوم أو نظام إدارة المياه التابع للرابطة والتي تدمج مع كافكا ومخازن البيانات الشعبية.

اختر موكّر الحدث الصحيح

(أباتشي كافكا) هو المعيار الفعلي للمسارات العالية المخرجات، والمسارات الدائمة، وبالنسبة لحالات الاستخدام البسيطة أو البيئات السحابية، ينظر في الأمازون كينيس، أو غوغل بوب/مقدمه، أو في مهابط أحداث أزور، ويقيّم العوامل مثل القابلية للتقدير، ومتطلبات الرطوبة، ويدمج مع الأدوات الموجودة، والرأس العام التشغيلي.

المستهلكون المستفيدون من المخدرات

تصميم جميع المستهلكين للتعامل مع الأحداث المزدوجة بطريقة رشيدة، واستخدام مزيج من عمليات الاتحاد ومنطق الإلغاء، وفي المستودعات القائمة على القانون الخاص، تُستخدم بيانات السوق مع بطاقات هوية الحدث، وفي بيئات البحيرات للبيانات، تستخدم الإيديولوجية على مستوى الملفات (مثل الكتابة إلى مسارات ملفية فريدة) أو سجلات المعاملات.

تنفيذ الحكم المتعلق بالشيمة

اعتماد سجل لتشيما (مثل سجل المؤثرات في نظام AWS Glue Schema) لإنفاذ قواعد التوافق بين إصدار الطلبات واستهلاكها، والتحقق من صحة الكيماويات الآلية كجزء من خط الأنابيب الخاص بك لمنع حدوث تغييرات تحول من الوصول إلى الإنتاج.

المراقبة من النهاية إلى الطوارئ

(ب) وضع مقاييس لبطاقات إنتاج الأحداث، وتوقيت تسليم السمسرة، والوقت اللازم لتجهيز المستهلكين، وتوخي حلقة التغذية المرتدة حيث يزيد معدل حالات الطوارئ من الإنذارات التي تحفز على إحداث الاحترار والارتقاء التلقائي، واستخدام التعقب الموزع (مثلاً، الاختناقات في خطوط الأنابيب المعقدة).

دور منابر البيانات المرنة في عالم الأحداث

ومع اعتماد المنظمات للمؤسسة الاقتصادية لتكامل البيانات، أصبحت البرامج التي تربط مسارات هذه الأحداث حاسمة، حيث يعمل برنامج بيانات مرن مثل شركة Directus كمستهلك ومنتج للحدث، مما يتيح الربط السلس بين سمسارات الأحداث وقواعد البيانات ونظم التحليل، ويمكن أن ينشر مباشرة مسارات للشبكة أو يستمع إلى مسارات للحدث الخارجي لتحديث قاعدة بياناته الأساسية في الوقت الحقيقي، مما يجعلها أداة ممتازة لبناء لوحات إدارة البحيرات في الوقت الحقيقي.

وبعرض نظام موحد للمعلومات المسبقة عن علم على أساس مصادر بيانات غير متجانسة، يقلل التوجيه من تعقيد إدماج أدوات إدارة التنمية البيئية بمنطق الأعمال التجارية، ويمكن أن تركز الأفرقة على القيمة المستمدة من الأحداث بدلا من كتابة رموز الغراء العرفية لكل نوع من أنواع الأحداث.

خاتمة

ويحدث الهيكل المؤثر تغييرا جوهريا في كيفية تكامل وتشغيل البحيرات البيانات ومستودعات البيانات، إذ تنتقل من البات إلى أنماط في الوقت الحقيقي، وأنماط تحركها الأحداث، وتحصل المنظمات على درجة أقل من الرطوبة، وزيادة القابلية للتصعيد، ونظم بيانات أكثر استجابة، وأصبحت البحيرات البيانات تتدفق باستمرار من الأحداث الخام، بينما تتلقى مستودعات البيانات تحديثات إضافية تحافظ على طوابق البد في الهواء.

غير أن النجاح يتطلب اهتماماً دقيقاً لترتيب الأحداث، واتساق البيانات، وإدارة الكيماويات، والرصد التشغيلي، ومع تطور الهيكل المناسب والأدوات - بما في ذلك سجلات المكافحة، وسجلات الكيماويات، والمستهلكين الايدز، والمنابر المرنة مثل " Directus " - يمكن للمنظمات أن تسخر القوة الكاملة لتكامل البيانات القائم على الأحداث، ومع تزايد حجم البيانات وتسريع متطلبات الأعمال، لم تعد المؤسسة ترفاً بل ضرورة للميزة تنافسية.

External Links:]