Understanding Data Lakehouse Architecture

وقد أرغمت البحيرات البياناتية على الدخول في مبادلات صعبة، حيث وفرت تخزينا رخيصا ومرنا للبيانات الخام، ولكنها تفتقر إلى ضمانات المعاملات، وإنفاذ المواد الكيميائية، ومراقبة جودة البيانات، ووفرت مستودعات البيانات محلليات ذات كفاءة عالية، مع الامتثال من قبل لجنة التنمية الدولية، ولكنها فرضت على الكيماويات الصلبة وتكاليف مرتفعة لخزن البيانات شبه الهيكلية أو غير الهيكلية.

وتستخدم قاعدة بيانات في مركزها نسخة واحدة من البيانات - التي تخزن عادة في نظام ملف مفتوح مثل أباتشي باركيت أو أباكشي أورك على تخزين الجسم السحابي - وطبقات على البيانات الفوقية، والفهرسة، والاختناق، وآليات المعاملات، مما يتيح الوصول المباشر إلى أدوات التنفيذ التقليدية وأطر التحليل المتقدمة (خط أنابيب السبارك، وبريستو، وتينسور فلو).

أهم عناصر الهندسة المعمارية

  • ]Object Storage as the Foundation:] Cloud object stores (Amazon S3, Azure Blob Storage, Google Cloud Storage) provide virtually unlimited capacity, high durability (99999999999999% for S3), and pay-peruse pricing. All data — raw streams, medium
  • Open Table Formats:] Technologies like ]Delta Lake], Apache Iceberg, and Apache Hudi add ACID transactions, time travel snaps, schema evolution, and efficient upserts on top of object storage. These formats are essential for making a reliable production for a lakehouse.
  • Unified Catalog and Governance:] A central metadata catalog (e.g., AWS Glue Catalog, Apache Hive Metastore, or Databricks Unity Catalog) tracks table schemas, partitions, access policies, and data lineage. This catalog is the single source of truths.
  • Multi-Engine Access:] The same data stored in the lakehouse can be queried via SQL motors (Amazon Athena, Presto/Trino, Snowflake), DataFrame APIs (Apache Spark, Pandas), or interactive notebooks.

دور التكنولوجيات التي لا تُستخدم

فعندما تطبق التكنولوجيات التي لا تصلح للحواسيب على أساس منطقي للبيانات بدلا من الهياكل الأساسية، يمكن أن يدار كل عنصر - التخزين، والحصر، والتركيب، والاستفسارات - إدارة كاملة من جانب مزود البيانات التحليلية، والارتقاء الآلي إلى الصفر عندما يرتفع مستوى البيانات عن طريق العاطلين والفوريين لمعالجة الظواهر الجيدة في الحمولة.

تخزين غير مكفوف

خدمات تخزين الأجسام مثل أمازون S3، و Google Clourage، و Azure Blob Storage هي في جوهرها خدمات غير مجهزة بالحواسيب، ولا توجد حدود للقدرات لتقلق بشأن (في حدود معقولة من حيث سهولة الحساب)، ولا تستند الفواتير إلا إلى البيانات المخزنة والعمليات المنفذة.

حاسوب عديم الفائدة

خدمات حاسوبية غير متكافئة مثل شركة AWS Lambda، وشركة Google Cloud Functions، وشركة Azure Functions، تتيح تجهيز البيانات التي تحركها الأحداث بأقل قدر ممكن من التشكيل، ويمكن أن تُنشأ هذه المهام عن طريق تحميل ملفات جديدة على التخزين (مثلاً حدث بشأن " S3 PUT " ، أو وظائف قائمة على الجدول الزمني، أو رسائل من أي شكل من أشكال التحوُّل، أو التخُّص، أو تحويلات غير المُصِّل غير المُّة، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمية، أو الكمِّل، أو الكمِّل، أو الكم، أو الكمية، أو الكمية، أو الكمية، أو الكمِّل، أو الكم، أو الكم، أو البرمجية، أو البرمجية، أو البرمجية

(مثلاً، (أوزر سبارك (Glue Serverless Spark، وجوغل ديرافرليس، وAzure Synapse Spark) تزيل الحاجة إلى إدارة مجموعات Spark، وتقدمين وظائف دفع أو تتدفق، وتقارن الأحكام والمقاييس الدينامية الموارد القائمة على عبء العمل، وهذا هو المثال المثالي لخط الأنابيب الثقيلة، مثل خط الأنابيب، في بحيرة

غسيل البيانات

وكثيرا ما يتطلب تنسيق خط بيانات متعدد الخطوات - من المصدر، والتحقق من صحة، والتحول، والتحقق من الجودة، والشحن إلى المناطق المعالجة - أجهزة الدولة التي لها فروع، ومستودعات، ومناولة الأخطاء، وخدمات تدفق العمل التي لا تصلح، مثل قطع الأشجار، وتدفقات عمل كلوريد غوغل، وأجهزة تسجيل الترددات الزورية، طريقة مضللة لتنسيق المهام، ومهام تتبع الحاويات، والمكالمات التي يجريها.

طراز " كوي إنجين "

(أ) محركات غير متكافئة من نوع SQL مثل أمازون أثينا، وغوغل بيكوري (على المستوى المطلوب)، وAzure Synapse Serverless تسمح للمحللين بإدارة SQL مباشرة ضد البيانات المخزنة في تخزين الجسم، ودفع فقط للسؤال الذي تم مسحه، وتعالج هذه المحركات تلقائياً التوازي، وتجميع المعلومات، وتجميعها في شكل من أشكال السحب التفاعلي.

تنفيذ بحيرة البيانات عديمة الفائدة

ويشمل بناء مركز للبحيرات خال من الإنتاج اختيار دقيق للخدمات والالتزام بأفضل الممارسات حول تنظيم البيانات والأمن والأداء، وترسم الخطوات التالية نمطا نموذجيا للتنفيذ.

1 - تصميم محل بيع التخزين

إنشاء دلو تخزين غيوم أو حاوية مع هيكل مطوّر يفصل بين الإغراق الخام، والتصنيع، والبيانات المشفّرة، والبيانات الوصفية الداخلية.

  • - البيانات المستغلة حسب نوعها (CSV, JSON, Avro) مجزأة حسب المصدر وزمن الابتلاع.
  • - منطقة الهبوط المؤقتة لفشل المصادقة أو تجهيز الإدمان.
  • - نظيفة، غنية، وكمية مخزنة في باركيت مع دلتا ليك أو إيسيبرغ.
  • - الآراء الإجمالية والصور المتطورة للإبلاغ.

(ج) إتاحة نسخ صيغ مناسبة لحماية البيانات، وتحديد سياسات دورة الحياة بحيث تنتهي صلاحيتها بعد فترة استبقاء، وتطبيق التشفير على جانب الخادم مع المفاتيح التي يديرها العملاء من أجل الامتثال.

2 - بيانات عن المزروعات التي لا تحصى مع خطوط الأنابيب المتسلسلة

(ج) تركيبة محركة حسب الحالات لتحريكها فور وصول البيانات، مثلاً، وضع إخطار من طراز S3 يتذرع بوظيفة لامبدا لتثبت الملفات (فحص الكيماويات، وحجم الملفات، وحساب الصفوف) ثم تُرسل رسالة في قائمة بيانات SQS من أجل التحول في أسفل المجرى، وذلك من أجل تحديد مسارات عالية (مراجعات، ومواقع غير مثبتة) باستخدام قواعد بيانات " غسيلوزون " .

3 - التحولات والارتقاء بالهيكل الميدالية

(أ) أن تنفذ جداول الذهب (Bronze) باستخدام سبارك الخادم، وتخزن طبقة برونزي البيانات الخام بأقل قدر من التحول، وتطبق الطبعة الفضية على التحلل والتصوير الإصطناعي، وتنظم البيانات المرجعية، وتبني الطبقات الذهبية مجموعات من مستوى الأعمال، والكيبات، وأبعاد النجم الكيميائي المناسبة لوحات الترميز، وتكتب كل طبقة من الفروع الأخرى لتخزين الجسم باستخدام [FLT:

4 - المطاعم وغوفرن

تسجيل جميع الجداول المشفوعة في ملجأ موحد، باستخدام مدوّن بيانات غلوي لتخزين الكيميائيات، ومواقع التقسيم، والمعلومات الموزعة، وإتاحة تراخيص لتشكيل بحيرة أو دبليو إس لضبط الدخول على التوالي أو على مستوى العمود، وإتاحة فهرس مفتوح، ونشر نماذج مثبتة من طراز أباتشيه في شكل ميثاتاستور، تستخدم فيها بيانات غير دقيقة عن نوعية البيانات.

5- الكواليس التي لا يمكن تحملها

(أ) أن يتساءل عن جداول طبقات الذهب عن طريق مدوّن غلوي، ولزيادة التناسق، وسرعة الاستفسارات عن أعباء العمل التفاعلية، يمكن من إصدار محرك " آثينا " 3، واستخدام مجموعات عمل بحدود التكاليف المحيطة بك، وبالنسبة لأفرقة التعلم الآلي، فضح جداول " سيلفر " و " غولد " مباشرة من خلال مذكرات " أباتشي إيفن سبارك " على الترددات أو " ، أو " ، أو " ، أو " سربريس لا توجد " ، و " ، و " ، و " ، و " سايب حواسيب لا توجد بها " ، و " ، و " ، و " ، و " ، و " سايبستري، و " سايبستري، و " ، و " سايبستري، و " ، و " ، و " سايب ريبفرايد سايب ريبفرايد سابريس " ، و " ،

مستلزمات لايكهاوس البيانات التي لا تُقدر

ويحقق الجمع بين بنية البحيرات والتكنولوجيات التي لا تخدم أي خدمة فوائد تشغيلية ومالية متميزة.

الكفاءة في التكاليف

:: رسوم مخازن البيانات التقليدية لكل عقد في الساعة بصرف النظر عن نشاط عبء العمل، فواتير لبيوت البحيرات التي لا تخدمها كل غيغابايت تم مسحها (أثينا) أو في الثانية من وحدات إدارة عمليات حفظ السلام (غلوي سبارك)، وهذا مثالي لأنماط التساؤل المتغيرة: لا يدفع إلا عندما يقوم المحللون بإعداد تقارير أو مهندسين بتشغيل خطوط أنابيب.

Elastic Scalability

ويتعامل الخدمات التي لا تُقدَّم تلقائياً مع حجم الخدمات، ويمكن لبوصة تخزين واحدة أن تُغْرقُ الترابيات في الساعة دون توفيرها، ويمكن لأثينا أن تُجري آلاف الاستفسارات المتزامنة دون تخطيط القدرات، ويمكن أن تُقدَّم وظائف غلوي سبارك إلى آلاف العمال المتزامنين الذين لا يُسمح لهم بالدفء، وهذا النبيل حاسم بالنسبة لحجم العمل الذي لا يمكن التنبؤ به، مثل التسويات المالية في نهاية الشهر.

انخفاض النفقات العامة للعمليات

ولا يمكن لأفرقة البيانات، دون وجود خواديم للتصنيع، أن تكرس مزيدا من الوقت لنموذج البيانات، والتحقق من الجودة، والمحللين المتقدمين، ويتعامل مقدم السحب مع التسامح مع الأخطاء، والتكرار، والتحديثات الأمنية، وهذا أمر له قيمة خاصة بالنسبة للأفرقة الصغيرة أو المنظمات التي لديها موارد محدودة من أجهزة التعبئة.

الوصول الموحد إلى البيانات

ويمكن للمحللين في مركز بحوث واحد أن يطلعوا على مجموعة بيانات واحدة في نفس الوقت، وعلماء البيانات الذين يستخدمون البيتون/بانداس، ووظائف نظام " تراي " (Spark) التي تستند إلى نظام " ترايت " (ETL)، ولا يوجد أي نقل للبيانات أو ازدواجية في النسخ، وهذا التوحيد يزيل من مرونة وتضارب استخدام مجموعات بيانات منفصلة ويقلل من التكلفة الإجمالية لإدارة البيانات.

التحديات والنظر في المسألة

ورغم المزايا، فإن اعتماد مبنى لا يُستخدم في قاعات البحيرة يتطلب الاهتمام بالعديد من المناطق التي يمكن أن تؤثر على الموثوقية والأمن والتكلفة.

أمن البيانات والامتثال

(ج) أن تُخزّن الأشياء متعددة؛ ويمكن أن تؤدي سياسات الدلو غير السليمة إلى تعرض البيانات؛ وأن تنفذ أدواراً أقل أهمية في مجال إدارة المعلومات الإدارية المتكامل لكل خدمة لا تُستخدم فيها أي خواديم، وأن تستخدم سياسات الدلو التي تمنع الوصول إلى المعلومات ما لم تستخدم نقطة نهاية محددة من مصادر فيلق حماية البيئة، وأن تتقيد بمتطلبات بيانات الكلاود ترايل لمراجعة البيانات؛ أما بالنسبة للصناعات المنظمة (HIPA، PCI-DSS)، فتكفل دعم تخزين المواد عند الاستراحة

Vendor Lock-in

وكل خدمة من خدمات الخواديم التي يقدمها مقدمو السحاب هي خدمات ملكية: لامبدا ضد وظائف كلود ضد شركة Azure Functions, Glue vs. Dataproc, Athena vs. BigQuery.

الأداء

ويستثنى من ذلك الهياكل الأساسية الأساسية التي لا تحتمل، ولكن الاختباء يمكن أن يخفي اختناقات الأداء، وبدون إبراز في محتوى الموارد العنقودية، أو عدم وجود استفسارات مكتوبة أو وظائف في مجال التعليم التقني والمهني، يمكن أن تكون أبطأ مما هو متوقع، كما أن أدوات الرصد المقدمة من مقدمي الخدمات (المقاييس المتعلقة بحجم الترددات، وسجلات تنفيذ بطاقات الاستفهام 128، ومقاييس حجم الوظائف في إطار نظام غلوي)

إدارة التكاليف

ويمكن أن يفاجئ التسعير غير المكفوف فرقاً إذا ما راجعت الاستفسارات كميات كبيرة من البيانات مراراً وتكراراً، وبدون ضوابط التكاليف، يمكن أن تُسحب الفواتير من الاستفسارات، وأن تنفذ حدود الميزانية لكل عدد من مجموعات العمل في أثينا، وأن تضع حدوداً زمنية لإلغاء وظائف غلوي، وأن تحدد مواعيد الإنذارات المتعلقة بالهرم، وأن تستخدم أشكال التقسيم، وصيغ الملف (Parquet/ORC)، ومقارنة الأعمدة لتقليل عدد الموظفين الذين تم فحصهم مسبقاً.

الاتجاهات المستقبلية

ويستمر تطور النظام الإيكولوجي لبحيرات لا تخدم الحاسوب بسرعة، وتبرز ثلاثة اتجاهات:

AI/ML Integration

وأصبحت قاعات بحيرة البيانات هي المنبر الرئيسي للتعلم الآلي، وموائد السمات المخزنة، ومجموعات البيانات التدريبية، والسجلات النموذجية.

المرحلة الحقيقية

خدمات التصفيق التي لا توصف مثل AWS Lambda مع سلسلة بيانات كينسيس، وغوغل كلود بووب/Sub مع وظائف كلود، ومحللي أزور سترام تسمح للأعمال التجارية باحتجاز الأحداث والتتابع مع جداول حافة تاريخية في وقت قريب من الواقع، ويمكن أن يمتد فصل خطوط الأنابيب المكمّلة والتخزين إلى ملايين الجداول الأخرى.

المعمار المتعدد الكلور والمجمعات الهجينة

وتتيح أشكال الجداول المفتوحة وخدمات المحفزات السحابية (مثلاً، أباتشي آيسبرج مع نيسي) إمكانية إدارة أعباء عمل البحيرات عبر شبكة المياه الجوفية، والشبكة العالمية للبنك، ومؤسسة Azure في وقت واحد، وتسمح طبقات مقارنات لا تحصى بمقدم السحب الأساسي، بما يسمح بالبقاء في أحد محلات الجسم الرئيسية، مع تجهيزها بصور غير مسبوقة في منطقة أخرى أو منصة المخاطر.

والمنظمات التي تعتمد هياكل لاسلكية للبيانات اليوم مصممة تجهيزا جيدا لمعالجة نمو حجم البيانات في المستقبل والتعقيدات التحليلية دون إعادة هندسة مستمرة للبنية التحتية، ويتيح التقارب بين تخزين الأجسام المنخفضة التكلفة، والصيغ المفتوحة، والحساب المدار بالكامل، طريقا إلى منصة بيانات مُهورة حقا.