أسئلة مقابلة بشأن تخزين البيانات وتجهيزات إيتل

المفاهيم الأساسية لخزن البيانات

فهم قوي لأساسيات تخزين البيانات هو أول شيء يقيّمه المُقابلون، يجب أن لا تحدد المصطلحات فحسب بل تشرح أيضاً كيف تنطبق في سيناريوهات العالم الحقيقي.

ما هو مستودع البيانات؟

ومستودع البيانات هو مستودع مركزي يخزن كميات كبيرة من البيانات المنظمة والتاريخية من نظم المصادر المتعددة، ويُستحسن استخدامه في الاستفسار والتحليل بدلا من تجهيز المعاملات، وتدعم مخازن البيانات أنشطة الاستخبارات التجارية مثل الإبلاغ، واللوحات، والمحللين الخاصين، وخلافا لقواعد البيانات التشغيلية، فإن مستودع البيانات يحتوي على بيانات متكاملة ذات توجه شخصي، ومتغيرة زمنيا، وغير قابلة للاشتراك.

ما هي الخصائص الرئيسية لمستودع البيانات؟

• Subject-oriented:] Organized around major subjects (e.g., clientss, products, sales) rather than application processes.
• Integrated:] Data from disparate sources is cleansed, transformed, and standardized into a consistent format.
• Non-volatile:] Data is read-only once loaded; historical changes are tracked via versioning, not overwrites.
• Time-variant:] Data contains time dimension attributes (e.g., date stamps, periods) to support historical analysis.

كيف يختلف مستودع البيانات عن بحيرة البيانات؟

وتخزن بحيرة بيانات بيانات الخام وغير المجهزة في شكلها الأصلي (المهيكل أو شبه الهيكل أو غير المنظم) - مستودعات بيانات مجهزة ونظيفة ومهيكلة، وكثيرا ما تستخدم المنظمات كلا من: بحيرة التحليلات والتعلم الآلي، ومستودع الإبلاغ المنظم، وقد يسأل المستعرضون عن حالات الاستخدام التي يفضل فيها المرء على الآخر.

ما هو مستودع البيانات العملياتي؟

(أ) نظام الوثائق الرسمية هو قاعدة بيانات مصممة لدمج البيانات المستمدة من نظم تشغيلية متعددة لأغراض الإبلاغ في الوقت القريب من الواقع، وعلى عكس مستودع البيانات، يجري تحديث نظام الوثائق الرسمية بصورة متكررة (في كثير من الأحيان في الوقت الحقيقي) ولا يحتفظ عادة بصور تاريخية، وهو يعمل كمجال للتعبئة للإبلاغ التشغيلي قبل نقل البيانات إلى مستودع البيانات.

نمذجة البيانات في مخزن البيانات

نموذج البيانات هو مخطط مستودع البيانات، ومنهجين مشتركين هما شدة النجوم وشيما الثلج

ما هو خدش نجم؟

ويرتبط شيمة النجوم بجدول وقائع محوري بطاولات أو أكثر عن طريق المفاتيح الأجنبية، وتحلل الأبعاد (مثل جدول واحد لبعد المنتجات يحتوي على فئات وعلامات تجارية وفئة فرعية)، ويبسط هذا الهيكل الاستفسارات ويحسن الأداء، وهو النموذج الأكثر شيوعا في تخزين البيانات.

ما هو خدش ثلج؟

ويطبيع شيم ثلج النكهة جداول البُعد إلى جداول متعددة ذات صلة، مثلاً يمكن تقسيم بُعد المنتج إلى منتجات منفصلة وعلامات تجارية وجداول فئات، وفي حين أن هذا يقلل من تواتر البيانات، فإنه يزيد من عدد الإنضمامات ويمكن أن يبطئ أداء الاستفسارات، ويستخدم عندما يتم تحديد أولويات كفاءة التخزين على سرعة الاستفسار.

ما هي طاولة الحقيقة؟

ويخزن جدول وقائع التدابير الكمية (مثل كمية المبيعات، والكمية، والربح) والمفاتيح الأجنبية التي تربطها بجداول البُعد، ويمكن تصنيف جداول الوقائع على أنها:

• Transactional] - يسجل كل حدث من الأحداث (مثل كل بند من بنود البيع).
• Periodic snapshot] - يلتقط التدابير على فترات منتظمة (مثل مستويات الجرد اليومية).
• Accumulating snapshot] - tracks processes with a fixed start and end (e.g., order fulfillment stages).

ربما يطلب منكِ المقابلات أن تختاري النوع المناسب من الحقائق لتصور عمل معين

ما هي جداول البعد؟ شرح الأبعاد المطابقة.

وتتضمن جداول العزل خصائص وصفية (مثل اسم العملاء، ولون المنتجات، وموقع المخزن) وتتقاسم الأبعاد المتطابقة عبر جداول وقائع متعددة داخل مستودع بيانات أو عبر مختلف مجموعات البيانات، وتتأكد من الاتساق بحيث يمكن الجمع بين التقارير بصورة مجدية، فعلى سبيل المثال، يجب أن يكون للبعد التاريخي المستخدم في كل من المبيعات وقوائم الجرد نفس الهيكل والعقيدة.

بطيئة التغير الأبعاد

ويعتبر تناول التغيرات في خصائص البعد بمرور الوقت مهارة حاسمة في تصميم نظام التعليم والتدريب المهني، وكثيرا ما يسأل المتحاورون عن أنواع الأمراض غير المعدية.

يرجى توضيح الأبعاد المتغيرة ببطء من النوع 1، النوع 2، والنوع 3.

• Type 1:] Overwrites the old value with the new value. No history is retained. Suitable when historical accuracy is not required (e.g., correcting a typo in a product name).
• Type 2:] Adds a new row to track the change, with effective date ranges (start date, end date) and a current flag, this preserves full history. Most common for attributes like client address or employee department.
• Type 3:] Adds a new column to store the previous value while keeping the current value. This allows limited history (usually one previous version). Used for attributes that change infrequently (e.g., product category realignment).

كونوا مستعدين لمناقشة المفاضلات: فالنوع 2 يزيد من عدد الصفوف ولكنه يعطي أثرا كاملا لمراجعة الحسابات؛ والنوع 1 بسيط ولكنه يفقد التاريخ.

استعراض عملية تيمور - ليشتي

وعملية نظام " تيل " هي العمود الفقري لتكامل البيانات، ومن الضروري فهم كل مرحلة من مراحلها والتحديات المشتركة.

شرح كل خطوة من خطوات TL بالتفصيل.

Extract:] Data is drag from various source systems - relational databases, flat files (CSV, JSON, XML), APIs, cloud storage, or streaming platforms. Extraction can be full (all data) or incremental (only new/modified records since last run). Challenges include handling different data formats, latency,

Transform:] Data is cleaned, validated, and converted into a consistent format. Transformations include:

• Data type conversions (e.g., string to date)

• Load:] Transformed data is inserted into the target data warehouse. Loading strategies: full refresh (truncate and reload), incremental append, and upsert (merge). Consider index rebuilding, partition shifting, and transaction management during load.

  ما الفرق بين (تي إل) و(إي إل تي)؟

  ويحوّل نظام التجارة الإلكترونية البيانات قبل تحميلها إلى المستودع، ويحمّل نظام " إي تي " (الخلاص، واللواد، والتحول) البيانات الخام أولا ثم يحوّله باستخدام قدرة تجهيز مستودعات البيانات (مثلاً، SQL أو MapReduce) ويُعدّ نظام إي تي شائعاً في مستودعات البيانات السحابية الحديثة مثل سنوفليك، والبيكري، والريدشيفت، حيث لا تزال توجد نوعية من حيث يُ التحوُّل.

  ما هي الأدوات المشتركة لشبكة الإنترنت؟

  وتشمل الأدوات الشعبية: Informatica PowerCenter, Talend, IBM DataStage, Microsoft SSIS, Apache NiFi, and cloud-native services like AWS Glue, Azure Data Factory, and Google Dataflow. Open-source options: Pentaho (Kettle), Apache Air flow (orchestration), and dbt building tool

  أسئلة مشتركة في المقابلات وأجوبتها المفصلة

  1- ما هي التحديات الرئيسية التي تواجه عمليات نظام التعليم والتدريب المهني، وكيف تخفف منها؟

  وتشمل التحديات ما يلي:

  • Data quality issues] — missing values, duplicates, inconsistent formats. Mitigation: implement profiling and validation rules early; use staging tables to quarantine bad records.
  • Performance bottlenecks - بطء استخراج نظم المصادر، أو التحولات الثقيلة، أو الحمولات غير الفعالة.
  • Data volume growth] – loading terabytes daily. Mitigation: implement partition pruning, compression, and scalable cloud infrastructure.
  • Data latency requirements] - need for near-real-time updates. Mitigation: use change data capture (CDC) and streaming ingestion tools (Kafka, Kinesis).
  • Dependency management ] — ETL jobs that fail due to resource contention or scheduling conflicts. Mitigation: use orchestration tools with retry logical and alerting.

  2 - كيف تُحقق أفضل عمليات نظام التجارة الإلكترونية في الأداء؟

  تحقيق الاستخدام الأمثل للأداء يشمل مجالات متعددة:

  • Extraction:] Use incremental extraction instead of full loads; implement CDC (e.g., log-based or timestamp-based); use bulk copy facilities.
  • Transformation:] Push transformations where possible (e.g., use SQL in the database); avoid row-by-row operations; use set-based logical; parallelize independent tasks.
  • Load:] Disable indexes and constraints during the load and rebuild afterwards; use batch inserts; consider partition shifting for large tables.
  • Infra structure:] Use SSDs, scale compute resources, and use caching layers. Monitor with profiling tools to identify bottlenecks.

  3- ما الفرق بين نظامي خطة العمل الشاملة للأخشاب المدارية ونظام تخطيط البرامج والميزانية والحسابات؟

  (العملية المتعلقة بالمعاملات عبر الخط) مصممة للمعاملات الذرية ذات الحجم الكبير والاختصار (مثل إدخال الطلبات، وتحديث قوائم الجرد) وتطبيع البيانات، والاستفسارات التي تتناول عدداً صغيراً من السجلات، وصممت عملية التجهيز التحليلي (التجهيز التحليلي للخط) للاستفسارات المعقدة التي تجمع كميات كبيرة من البيانات التاريخية.

  4 - شرح مفهوم المفاتيح البديلة مقابل المفاتيح الطبيعية في تخزين البيانات.

  ومفتاح بديل هو جهاز تحديد فريد من نوعه (مثلاً، تسلسل البخار) يستخدم كمفتاح رئيسي في جدول بُعد، والمفتاح الطبيعي هو جهاز تحديد هوية الأعمال التجارية من المصدر (مثلاً، رمز المنتج، هوية العملاء).

  5 - كيف تتعامل مع الخطأ في خط أنابيب ETL؟

  تنفيذ إطار قوي لمعالجة الأخطاء:

  • استخدموا كتل المصيد المحاول وأخطاء التسجيل إلى طاولة أخطاء منفصلة مع هويات العمل، والوقت، وبيانات الصف، ووصف الخطأ.
  • تحديد قواعد جودة البيانات ورفض السجلات التي لا تُثبت في ملف أو طاولة للحجر الصحي.
  • وضع إنذارات (البريد الإلكتروني، سلاك) لحالات الفشل الحرجة.
  • تنفيذ منطق إعادة النظر في الأخطاء العابرة (التوقيتات الشبكية).
  • الحفاظ على جدول تاريخي ثابت لتتبع النجاح/الوضع غير المستقر لكل خطوة من خطوات العمل.

  6- ما هو جمع البيانات عن التغيير؟

  (أ) يمكن أن يكون لدى مركز البيانات الدولي (الاستعراضات، والتحديثات، والحذف) في بيانات المصدر، وتطبيقها على نظام مستهدف.

  المسائل المطروحة في إطار المقابلات المتقدمة

  7 - كيف تصمم عملية لشبكة بيانات من أجل مستودع بيانات يدعم كل من الدفعة والإغناء في الوقت الحقيقي؟

  (أ) استخدام طبقة التصفيق (مثلاً، (كافكا) لالتقاط الأحداث، ثم تطبيق التحولات في الوزن الخفيف والشحن إلى طاولة وقائع في الوقت الحقيقي أو طبقة دلتا (مثلاً في بحيرة)

  8 - شرح خط البيانات وسبب أهميته.

  ويتتبع خط البيانات مصدر البيانات وتحويلها ونقل البيانات من المصدر إلى الهدف، ويساعد في تحليل الأثر (أي ما تكسره التقارير في المراحل النهائية إذا تغيرت مصادرها)، وتدمير (تتتبين سبب الخطأ)، ومراجعة الحسابات (امتثالاً لأنظمة مثل الناتج المحلي الإجمالي أو نظام سوكس)، وقد تطلب شركة الأدوات مثل أطلس أباتشي أو ماركيز أو حلولاً تجارية (Collibra, Alation) خط وثائق آلي.

  9 - ما الفرق بين مستودع البيانات وثلاجة البيانات؟

  ومستودع البيانات هو مستودع على نطاق المؤسسة يغطي مجالات متعددة من المواضيع، كما أن مجموعة فرعية من مجموعات البيانات تركز على وظيفة تجارية واحدة (مثل المبيعات والتمويل)، ويمكن بناء رسوم البيانات على أعلى المستودع (المعتمد) أو المستقل (المعتمد)، ويشمل الاختيار بينها المفاضلات في التكاليف والحوكمة والقابلية للذوبان.

  10 - كيف تتعامل مع الأبعاد المتغيرة ببطء في نظام التعليم والتدريب؟

  ويعتمد النهج على نوع النهج المستقر:

  • Type 1:] Use UPDATE statements to overwrite the record.
  • Type 2: ] Use a MERGE (upsert) to close the previous version (set end date) and insert a new row with start date = now and current flag = true.
  • Type 3:] UPDATE the current column and move the old value to the previous column.

  ولأجل الأبعاد الكبيرة، تنفيذ مخبأ للبحث من أجل تخفيض الرحلات التي تدور حول قاعدة البيانات، والنظر أيضا في استخدام مقارنة مع الحشيش لكشف التغيرات الفعلية وتجنب التحديثات غير الضرورية.

  أفضل الممارسات

  وسيبحث المستجوبون عن خبرة عملية، ويذكّرون هذه الممارسات الفضلى أثناء المناقشات:

  • Modular design:] Break ETL jobs into reusable components (e.g., reusable staging load, standard transformation library).
  • Idempotency:] Ensure that rerunning a job produces the same result (no duplicates). Use upsert logical and transactional boundaries.
  • Metadata management:] Maintain a data dictionary and job dependency graph.
  • Performance monitoring:] Track key metrics: rows processed per minute, duration, error rates, and skew. Use dashboards.
  • Version control:] Store ETL code in Git along with SQL scripts and formation files.
  • testinging:] Write unit tests for transformations, integration tests for end-to-end pipelines, and data comparison tests against source and target.

  Reference external resources for deep learning: IBM on ETL], ] Snowflake: ETL vs ELT, and Martin Fowler on evolutionary data.

  خاتمة

  وتتطلب إجراء مقابلات رئيسية بشأن عمليات تخزين البيانات وتتبعها المعارف النظرية والخبرة العملية معا، والتركيز على المفاهيم الأساسية - خصائص مستودع البيانات، والنمذجة البعدية، والأوبئة المتناقلة، والارتقاء الأمثل بمستوى الحياة الطبيعية - والاستعداد لمناقشة التحديات التي تواجه العالم الحقيقي مع حلول محددة، والتطبيق الذي يفسر عملية تفكيركم بوضوح، والإعداد لهذه المسائل المشتركة والمتقدمة، ستظهرون الخبرة اللازمة لأداء أدوار ناجحة في إدارة البيانات.