دليل شامل لمصنع بيانات أزور من أجل تكامل البيانات

فهم أنماط تشغيل التكامل

وقت الإدماج هو المحرك الذي يدفع خطا خط الأنابيب الخاص بك، اختيار النوع الصحيح قرار أساسي يؤثر على الربط والأمن والتكلفة.

وقت عمل للتكامل الزوري (Azure IR)

إن " إيزوير " هو الخيار غير الافتراضي لمعظم السيناريوهات غير المُغيمة، وهي تعمل في بيئة مُدارة لا تُقدر تلقائياً على عبء العمل، ولا تحتاج إلى توفير مبيدات الآفات أو التعامل مع تحديثات البرامجيات، كما أن " إيزور " هو المثالي لنسخ البيانات بين مخازن البيانات السحابية (مثلاً، يطابق " أزوير بلوب " (Azure SQL) ويدعم أعلى تدفقات البيانات المُرسمية.

وفيما يتعلق بأنشطة النسخ، يمكن التحكم في التوازي عن طريق إنشاء وحدات تكامل البيانات ].() ويمثل وحدة البيانات الرقمية القدرة على التجهيز المخصصة لعملية النسخ، ويستخدم التحالف، عن طريق التقصير، التكتل الآلي، ولكن يمكنك أن تضع يدوياً عدد وحدات البيانات الرقمية لتعظيم تدفقات الارتداد من الرصاص مقابل التكلفة.()

وقت عمل الإدماج المحمي ذاتيا

وعندما تعيش مصادر بياناتكم خلف مراكز بيانات الشركات التي تعمل بجداول الحماية، أو شبكات خاصة افتراضية، أو قواعد بيانات في أماكن العمل - تحتاجون إلى غرفة معلومات ذاتية الحوسبة. وقد تم تركيب هذا الوقت كتطبيق للوزن الخفيف على آلة النوافذ داخل شبكتكم ويمكن نشره في مجموعة عالية التوافر للموثوقية ويدعم كل من حركة البيانات وتنفيذ تدفق البيانات.

ويعمل المعهد الدولي للحساب الإلكتروني المهذب ذاتيا كجسر بين إدارة الدعم الميداني وبياناتكم الخاصة، ويشتمل على جميع حركة المرور ويستخدم الاتصالات الخارجية فقط، بحيث لا تحتاجون إلى فتح الموانئ المحددة، وتشمل حالات الاستخدام المشترك نسخ البيانات من شركة SQL Server إلى Azure، التي تدمج نظم تحديد نقطة البيع مع محللات السحب، وتنتقل الملفات بين أسهم الملفات الداخلية، ويجب أن تُدير شركة Azure لشبكة معلومات مستكملة.

وقت عمل إدماج منظمة " أزور "

إذا كان لديك مجموعات خدمات التكامل الخاصة بشبكة (سي كي سي) (أزور) (إس آي آر) يسمح لك برفعها وتحويلها إلى (أزور) بأقل التغييرات، هذه العملية هي مجموعة من أجهزة التصوير المتحركة التي تدير محرك نظام المعلومات الخاصة بـ(أزور) ويمكنك نشر ملفاتك مباشرة، وستنفذ على المجموعة كما لو أنها ستستخدم في خدمة المؤتمرات.

(أ) دعم المؤسسة الدولية للإحصاء جميع الموصلات المعيارية لنظام المعلومات الخاصة، ويمكن أن تدمج مع قاعدة بيانات أزور SQL SQL، وقاعدة بيانات أزوير SQL، ومصادر على مستوى المشاريع عن طريق مؤسسة مستقلة ذاتياً، تقدم شركة مايكروسوفت ما يصل إلى 88 في المائة من وفورات التكاليف مع شركة Azure Hybrid Benefit إذا كان لديك تراخيص تشغيلية قائمة على نظام SQL.S.

تدفقات البيانات: التحولات الخالية من المدونة

وتسمح لكم رسم خرائط لتدفقات البيانات بتصميم تحويلات معقدة للبيانات بصرياً، دون كتابة خط واحد من الرموز، وهي تدير مجموعات أباتشي سبارك التي تديرها إدارة الدعم الميداني، بحيث يتم توزيعها على نطاق واسع، وتُصدر بيانات عن مجموعات تفاعلية تضيف فيها خطوات التحول، وتسفر الاستعراض الأولي عن حدوث تغيير في الوقت الحقيقي، وتُلغي المنطق قبل نشرها.

الخبرة في مجال التصميم البصري

ويشمل مصمم تدفق البيانات مسحاً (حيث تجرون التحولات وتربطونها)، وفريق تشكيلي (لوضع خصائص مثل خرائط الأعمدة والتعبيرات)، وملف بيانات في الوقت الحقيقي، ويمكنك فحص الناتج بعد كل خطوة، مما يجعل من السهل كشف الأخطاء في وقت مبكر، وتشبه التجربة بناء مخزن للتدفق: تبدأون بمصدر، وتطبقون سلسلة من التحولات، وتهبطون نتيجة للوعة.

سلاسل التحويل

تحالف القوى الديمقراطية ينظم تحولات إلى مجموعات تساعدك على إيجاد الأداة المناسبة بسرعة:

• Multiple inputs/outputs:]join, Conditional Split, Exists, Union, lookup, and New Branch allow you to combine or split data streams.
• Schema modifiers:] Derived Column, Select, Aggregate, Pivot, Unpivot, Window, and Rank let you reshape your data’s structure and content.
• Row modifiers:] Filter, Sort, Alter Row, and Assert focus on selecting, ordering, or tagging rows.
• Formatters:] Flatten, Parse, and Stringify handle complex data types like JSON, XML, and arrays.

ويشمل كل تحول بناء تعبير مُثلى يدعم الخيوط، والموعد، والحساب، والمنطق المشروط، ويمكنك استخدام الوظائف القائمة أو كتابة تعابيركم باستخدام لغة التعبير عن تدفق البيانات التي تستخدمها إدارة الدعم الميداني.

الأداء والقابلية للتكرار

وتضع البيانات، خلف المشاهد، منطقك البصري في وظائف متفرقة على الوجه الأمثل، وتعالج إدارة الدعم الميداني التجزؤ والتوازي وتخصيص الموارد، ويمكنك التحكم في الأداء باختيار نوع المحاسبة (الغرض العام أو الذاكرة المثلى) وعدد النواة الأساسية للمجموعة، وتستخدم إدارة التنمية حالياً مادة Spark 3.3، التي تؤدي إلى تحسين الأداء والوصول إلى أحدث سمات Spark.

Creating a Data Pipeline in Azure Data Factory

بناء خط بيانات نهائي يتضمن ست خطوات رئيسية كل خطوة تعتمد على الخطوة السابقة، تحول منطق دمج البيانات الخاص بك إلى عملية آلية قابلة للتكرار.

الخطوة 1: تحديد الخدمات المتشابكة

أولاً، إنشاء خدمات مترابطة لكل متجر بيانات سيلمس خط أنابيبك، مثلاً، قد تستخدم خدمة مرتبطة بخزنة أزور بلوب في حساب التوثيق الرئيسي، بينما تستخدم خدمة مرتبطة بخدمة في المقر SQL التوثيق وتشير إلى جهاز إعادة إتشغيل ذاتي الهلوسة.

الخطوة 2: إنشاء مجموعات بيانات

وبعد ذلك، تحدد مجموعات البيانات التي تمثل هياكل البيانات المحددة التي ستعملون معها. وتورد مجموعة بيانات إشارة إلى خدمة مترابطة وتضيف تفاصيل مثل مسارات الملفات وأسماء الجداول وخيارات الشكل (CSV, Parquet, JSON) وعلى سبيل المثال، قد تخلق مجموعة بيانات لملف CSV في بلوب ستراب وآخر لمائدة في أزور SQL.

الخطوة 3: تصميم خط الأنبوب

الخطوة 4: المفاوضون المؤمنون

اختر كيف تطرد خط الأنابيب الخاص بك، يمكن أن يُشغله كل صباح في الساعة السادسة صباحاً.

الخطوة 5: الاختبار والدينوغ

وقبل نشرها، تستخدم أسلوب ديرها في إدارة خط الأنابيب بشكل تفاعلي، ويمكنك أن تضع نقاط الانقطاع، وتفتش البيانات الوسيطة، وتستعرض سجلات التنفيذ، ولا تحتاج عمليات التعبئة إلى خط أنابيب منشور، حتى تتمكن من التحمل بسرعة، وتنشر خط الأنابيب إلى خدمة التحالف، حيث تصبح متاحة للتنفيذ المقرر أو اليدوي.

الخطوة 6: الرصد والتفعيل الأمثل

بعد النشر، رصد خط خط الأنابيب الخاص بك في وجهة نظر الرصد التابعة لإدارة الدعم الميداني، ويمكنكم أن تروا الحالة، والمدة، والبيانات القراء/الكتابة، والسجلات المفصلة على مستوى النشاط، ووضع إنذارات (عن طريق مرصد أزور) لإخطار فريقكم عندما يفشل خط الأنابيب أو يتجاوز عتبة معينة، واستخدام هذه البيانات لتحديد المراحل البطيئة، وتعديل نظام المعلومات الإدارية المتكامل أو تحديد المجموعات، وتحقيق أقصى قدر من التكاليف، والرصد المنتظم ضروري للحفاظ على عمليات موثوقة للبيانات.

فوائد استخدام مصنع البيانات في أزور

وتُقدم شركة Azure Data Factory طائفة واسعة من الفوائد التي تجعلها منافسة قوية لأي عبء عمل يتعلق بتكامل البيانات.

القابلية للتسويق والأداء

وقد تم بناء إدارة الدعم الميداني من أجل تحقيق الحجم، ويمكنها معالجة عمليات تناقل البيانات بتوفير الموارد المحسوبة تلقائيا على أساس الطلب، ولا يوجد تخطيط للقدرة الأولية: تحدد خطي أنابيبك، وتدير إدارة الدعم الميداني المجموعات والربط الشبكي والمراكز، وهذا النهج الذي لا يعرف الخواديم يضمن أن تكون لديك الموارد الكافية لتفجيرات البيانات الكبيرة دون دفع تكاليف القدرة المتعثرة بين الجرارات.

قدرات التكامل الواسعة النطاق

With over 90 builtin connectors, ADF can ingest data from virtually any source: big data stores (Amazon Redshift, Google BigQuery, HDFS), enterprise data warehouses (Oracle Exadata, Teradata), SaaS apps (Salesforce, Marketo, ServiceNow), and file shares. Allconnectors built by Microsstaoft handle, so you don’t

التلقائية والتفتيش

وتجدون أنبوباً منافذ العمل المتعددة الخطوات، ويمكنكم أن تحددوا خطوط الأنابيب، وأن تحفزوها على أساس وصول الملفات، أو أن تتذرعوا بها عن طريق نظام " REST API " ، ويدعم محرك التفتيش التوازي، والتفرع المشروط، والثغرات، والتعامل مع الأخطاء، مثلاً، يمكنكم تصميم خط أنابيب يحاول نسخ البيانات، وإذا لم يفعل ذلك، إرسال بريد إلكتروني ونسخة مرتين.

الرصد الشامل والتسامح

كل عملية خط أنابيب تولد سجلات مفصلة يمكنك أن تستعرضها في بوابة التحالف أو تصديرها إلى مرصد أزور ومحللي لوغ، ويمكنك تتبع مسار الأنشطة وقياس أداء حركة البيانات ووضع إنذارات استباقية لحالات الفشل أو التأخير المشبوه، ويتيح التكامل مع مرصد أزور لك إنشاء لوحات قياسية وسياسات استبقاء للامتثال.

نموذج الخصخصة الفعّالة التكلفة

وتستخدم إدارة الدعم الميداني نموذجاً للتسعير يستند إلى الاستهلاك، وتدفع تكاليف تشغيل النشاط، وحركة البيانات (ساعات تبادل البيانات)، والتحولات (الساعة السنوية لتدفقات البيانات)، والقراءات/الكتب التشغيلية، ولا يوجد رسم شهري ثابت، لذا فإن عبء العمل الصغير لا يكلف كثيراً، وبالنسبة للوظائف العالية الحجم التي يمكن التنبؤ بها، يمكن أن تُحدِّد التكاليف إلى أقصى حد ممكن من خلال تقدير حجم العمل بنظام الإبلاغ عن البيانات الرقمية، مما يتيح نقل البيانات إلى مجموعات خطوط الأناً.

الدعم الهجين والمتعدد الكتل

مع غرفة العمليات الذاتية، يمكنك الاتصال بمصادر البيانات الموجودة على الأرض خلف جدران الحريق، مما يجعل إدارة الدعم الميداني مناسبة طبيعية للهيكلات المختلطة، كما أنه يدعم حركة البيانات عبر المحروقة: يمكنك نسخ البيانات من AWS S3 إلى بحيرة بيانات أزور، أو من تخزين غوغل كلود إلى قفل أزور، وكلها ضمن خط واحد.

أمن الشركات والامتثال لها

:: دعم إدارة الدعم الميداني للهوية المدارة (التي تقضي على إدارة الابتكار)، وإدماج البرمجيات الرئيسية في أزور، ومرشدي الخدمات في التوثيق، وجميع البيانات العابرة مشفرة بمقياس TLS 1-2، ويمكنك، بالنسبة للتواصل الخاص، استخدام شبكة Azure Private Link للحفاظ على الحركة داخل شبكة مايكروسوفت، وتمتثل إدارة الدعم الميداني لصناعات الرعاية الصحية المناسبة، مثل شركة SOC 2, HIPA، وغيرها من المعايير.

Azure Data Factory Pricing Explained

فهم كيف تساعدك رسوم إدارة الدعم الميداني على الميزانية وتعظيم التكاليف، نموذج التسعير هو نموذج مضغوط، مع عدة أبعاد تراكمت على أساس الاستخدام.

التفتيش والإنجاز على الخط

تُدفع لكم فواتير لكل نشاط مضافا إليها ساعات العمل التي يستغرقها الإدماج أثناء التنفيذ، وتُحمَّل تكاليف عمليات التنفيذ على أساس كل حالة على حدة (مثل إدارة نشاط البيانات المطبوعة بمجرد أن تُكلّف كمية صغيرة)، وتختلف ساعات العمل في مجال الإدماج حسب النوع: رسوم إعادة الإدماج على حساب المستعمل، بينما تُفرض رسوم على المؤسسة المستقلة ذاتيا فقط على التنصيب (المضيف الرئيسي هو مسؤوليتك).

تكاليف حركة البيانات

وتستهلك أنشطة النسخ وحدات تكامل البيانات، وتُحمَّل رسوم مايكروسوفت 0.25 دولار لكل ساعة من ساعات وحدة الاستنشاق (في آخر تسعير متاح للجمهور)، ويعتمد عدد وحدات الاستنشاق المطلوبة على حجم البيانات، وأداء المصدر/الفكر، وما إذا كانت البيانات تعبر المناطق، فعلى سبيل المثال، قد يستخدم النسخ 10 GB في نفس مركز البيانات عددا أقل من النسخ 100 GB عبر القارات.

تنفيذ البيانات

وتُعدّ رسوماً لتدفقات البيانات المتعلقة برسم الخرائط حسب ساعات العمل، وتختار نوع المقارنات (الغرض العام أو الذاكرة المثلى) وعدد الأعمال التجارية (مثلاً 8 و16 و32)، وتعادل التكلفة الإجمالية تكلفة العملة التي تستهلك في ساعات العمل وتُفرض على المعدل المطبق، ويمكنك خفض التكاليف عن طريق تمكين حركة النقل عبر الحدود من أجل التغيير، التي تحافظ على بقاء المجموعة الباردة على قيد الحياة لفترة قصيرة بعد التنفيذ.

العمليات والرصد

وتكلف عمليات القراءة/الكتابة 0.50 دولار لكل 000 50 كيان معدل أو مرجعي (البيانات، والخدمات المرتبطة، وخطوط الأنابيب) وتكلف عمليات الرصد (استرداد سجلات الجريدة) 0.25 دولار لكل 000 50 سجل، وهذه التكاليف عادة لا تذكر مقارنة بتكاليف التنفيذ، ولكنها يمكن أن تضيف إذا قام فريقكم ببناء مئات خطوط الأنابيب وإجراء استفسارات عن الرصد العميق.

استراتيجيات تحقيق الاستفادة المثلى من التكاليف

• Use the Azure Pricing Calculator] to model costs before building pipelines.
• دمج خطوط الأنابيب الصغيرة المكررة في نماذج مُعدّلة وقابلة لإعادة استخدامها.
• وضع سجل بيانات عن عمليات إعادة الاستخدام في منطقة آسيا الوسطى لتدفقات البيانات للحفاظ على المجموعات الدافئـة (أقل من 10 دقائق على الإنتاج).
• تخصيص وحدة البيانات الرقمية ذات الحجم الصحيح لأنشطة النسخ: البدء بالمستوى الآلي والتكيف على أساس سجلات الأداء.
• خطوط الأنابيب غير الحرجة خلال ساعات العمل إن كنت في منطقة ذات أسعار متغيرة
• مراجعة الحسابات بانتظام وحذف خطوط الأنابيب غير المستخدمة، ومجموعات البيانات، والمحفزات.

Azure Data Factory vs. AWS Glue: A Comparison

وتعد مؤسسة الدفاع الآسيوي ومجموعة الـ (AWS Glue) الخدمات السحابية الرئيسية التي تقدم خدماتها، ولكنها تختلف في الفلسفة والقوام.

فلسفة الهندسة المعمارية والتصميم

وتميل شركة AWS Glue إلى نهج أول مدون: تكتبين نصوصاً من طراز PySpark أو Scala لتحديد التحولات، وعلى النقيض من ذلك، تشدد شركة ADF على تجربة بصرية منخفضة الكترونية، وإن كانت تدعم أيضاً الرمز عن طريق الأنشطة أو المفكرات العرفية، وإذا كان فريقكم مرتاحاً في كتابة Spark، فإن Glue قد يشعر بقدر أكبر من الطبيعة، وإذا كنت تفضلين تدفقات السحب من خلال الخرائط المرئية، فإن شركة ADF هي بيانات " ADF " .

نماذج التسعير

وتستخدم الغلو نموذجا مباشرا لإدارة شؤون الإعلام (وحدات تجهيز البيانات) - لدى إدارة الدعم الميداني عناصر متعددة للتكاليف (التركيبة، وحدة التحليل الميداني، العمليات) يمكن أن تجعل من أكثر تعقيدا تقديرا، ولكن أكثر مرونة بالنسبة لعبء العمل البسيط، فعلى سبيل المثال، قد تكون تكلفة وظيفة نسخية صغيرة غير متكافئة في إدارة الدعم الميداني أقل من وظيفة غلوي، لأنكم لا تدفعون تكاليف مجموعة تحويلية كاملة.

التكامل والنظام الإيكولوجي

إذا كانت منظمتكم تستخدم بالفعل أدوات مايكروسوفت (SQL Server, Active Directory, Power BI, Azure Synapse), ADF تعرض التكامل العميق، ويدخل الغلو بشكل طبيعي في النظام الإيكولوجي لدائرة المياه الجوفية (S3, Redshift, Athena, Glue Catalog) وكثيرا ما يتجه الاختيار إلى أي مقدم سحاب هو منصة بياناتكم الرئيسية.

دعم مجموعة نظام المعلومات الاستراتيجية

وتقدم إدارة الدعم الميداني الدعم المحلي لمجموعة من أجهزة الدعم الذاتي عن طريق شركة Azure-SSIS IR، حتى تتمكن من نقل الرمز القائم دون إعادة كتابة، ولا تقدم شركة AWS Glue أي توافق في نظام المعلومات المسبقة عن علم، بل تحتاج إلى تحويل مجموعات إلى نصوص غلوي باستخدام أدوات يدوية أو أدوات طرف ثالث، وبالنسبة للمنظمات التي لديها استثمارات كبيرة في نظام المعلومات المسبقة عن علم، فإن إدارة الدعم الميداني هي الخيار الواضح.

Scalability and Workload Management

(جلو) غير مكتملة المقاييس والتلقائية لمجموعات " سبارك " (Spark) ويعتمد الصندوق على عمليات التكامل التي تعطيك السيطرة اليدوية على تشكيلة البيئة (الأرقام، والنوع المكمّن، والإحصاء الأساسي) وهذه الرقابة تجعل من إدارة الدعم الميداني أفضل ملاءمة للمجموعات الهجينة التي تعمل على سحاب الجسر ونظم الرؤوس، ويمكن لكل منهما أن يوسع نطاق التعامل مع البيانات، ولكن النفقات العامة التشغيلية تختلف.

أفضل الممارسات لاستخدام مصنع بيانات أزور

وتتبع أفضل الممارسات المتبعة تضمن أن خطوط الأنابيب الخاصة بك قوية وقابلة للاستمرار ومكلفة فعالة.

تصميم خطوط متنقلة قابلة لإعادة استخدامها

بناء خطوط أنابيب صغيرة ذات أغراض وحيدة بدلاً من خطوط الأنابيب الأحادية، واستخدام البارامترات لجعلها قابلة لإعادة استخدامها، مثلاً، إنشاء خط أنابيب مقاس واحد تنسخ البيانات من أي جدول، مع مرور اسم الجدول ووصل المصدر كبارامترات، مما يقلل من عدد خطوط الأنابيب التي تحتاجها للحفاظ على المنطق المستمر ويكفله.

تنفيذ معالجة الأخطاء

:: القيام بأنشطة حاسمة في أنماط الاختبار باستخدام أنشطة الخط المنفذ - وضع سياسات للانتعاش المكثف (مثل إعادة التجوال مرتين مع فترة خمس دقائق) للفشل العابر، إضافة فرع " التلقيم " الذي يرسل إنذارا عبر البريد الإلكتروني أو سلاك، وتلقي رسائل خطية مفصلة إلى طاولة أو ملف لتحليل ما بعد الوفاة.

البارامترات والعنصرية

(أ) استخدام معايير لمسارات الملفات، وسلاسل الاتصالات، وفتح النوافذ الزمنية.

تأمين بياناتك ووثائق التفويض

ولا توجد أبداً أسرار صلبة، إذ تخزنها في خزف أزور الرئيسي وتحيلها من الخدمات المرتبطة باستخدام نوع الاتصال الخاص بالقصر الرئيسي، وتستخدم الهويات التي تدار كلما أمكن ذلك، مما يزيل الحاجة إلى وثائق التفويض بالكامل، ويحد من قدرة المستعملين أو مديري الخدمات على تحرير خطوط الأنابيب أو بدء تشغيلها أو إيقافها، ويمكّن من إقامة وصلة خاصة لجميع حركة البيانات لإبقاء حركة المرور خارج الشبكة العامة.

تحقيق الحد الأمثل من عملية الدمج

وبالنسبة لتدفقات بيانات الإنتاج، فإن إنشاء مركز البحوث الدولي الخاص بك في منطقة محددة، من النوع المقارن (الغرض العام)، وما لا يقل عن 8 + 8 (المجموع 16) في الأعمال التجارية، ووضع مجموعة حرارة مدتها 10 دقائق، مما يقلل من التأخير في البدء من مسافة تتراوح بين 5 دقائق إلى الصفر، أما بالنسبة لأنشطة النسخ، فتبدأ باستخدام وحدة تبادل البيانات الرقمية ذات النطاق الآلي، ثم تُستخدم يدوياً استناداً إلى قياسات الأداء من وجهة النظر المتعلقة بالرصد.

رصد الأداء وتحقيقه على الوجه الأمثل

(ب) استعراض لوحات رصد النفط في منطقة الزيور بانتظام، وتحديد الأنشطة ذات المدة العالية أو الاستهلاك العالي من وحدات الاستنشاق، وتحقيق الاستخدام الأمثل لأنشطة النسخ من بيانات المصادر المقسمة، باستخدام التعبئة من أجل نسخ شاملة، وتمكين نسخ موازية، وللاطلاع على تدفقات البيانات، وتعديل استراتيجيات التقسيم وحجم المجموعات، واستخدام تقرير " الاستهلاك " في عملية الرصد بغية معرفة مكان تركيز التكاليف.

تنفيذ اتفاقية مكافحة التصحر/مكافحة التصحر ومكافحة الارتداد

(أ) ربط مركز إدارة الدعم الميداني الخاص بك بمستودع جيت (Azure DevOps أو GitHub) لتتبع التغييرات والتعاون، واستخدام أمثلة منفصلة تابعة للتحالف من أجل التطهير والاختبار والإنتاج، وبناء خطوط أنابيب للنشر الآلية التي تصدر نماذج الآلية من عمليات التدمير الشامل من عمليات التقسيم، ومن ثم نشرها في الإنتاج، مما يقلل من خطر وقوع أخطاء يدوية ويتيح لمستعملي الجيل 22 إذا لزم الأمر.

وثيقة عناوينكم ومساركم

(ب) استخدام أسماء ذات مغزى لجميع القطع الأثرية (مثلاً، ]) إضافة وصف وشروح للأنشطة المعقدة، والاحتفاظ بوثيقة خط بيانات تبين المكان الذي تنشأ فيه كل مجموعة من مجموعات البيانات وما هي التحولات التي تمر بها، وتساعد الوثائق الجيدة أعضاء الفريق الجدد على متنها بسرعة، وتسهل عملية فرز المشاكل.

الترشيحات والقدرات المتقدمة

وبالإضافة إلى المبادئ الأساسية، تقدم إدارة الدعم الميداني عدة سمات متقدمة تحل تحديات البيانات الحقيقية في العالم.

تغيير موقع البيانات

وتدعم إدارة الدعم الميداني لجنة مكافحة التصحر لاستخراج الصفوف التي تغيرت منذ آخر مستخرج، ويمكنك استخدام موصلات محلية لمراكز الاتصال (للوائح بيانات مثل شركة SQL Server، أوراكل، أو بوستغريسول) أو تنفيذ أعمدة قياس المياه يدوياً.

طريقة ديباغ

طريقة التلاعب في رسم الخرائط لتدفقات البيانات تجعلك تختبر التحولات التفاعلية ضد عينة من بياناتك الحية يمكنك أن تفحص الناتج بعد كل خطوة، وتفحص قيم العمود وتتسارع، وتستعمل جلسات الديون مجموعة صغيرة من الغطاسات الصغيرة تبدأ في ثواني، مما يجعل التنمية أسرع بكثير من تشغيل خط الأنابيب الكامل.

إدارة الشبكة الافتراضية

وتمنحك الشبكة الافتراضية التي تديرها شبكة (VNet) عزلة شبكية لمواردك من قوات الدفاع الأفريقية، ويمكنك إنشاء نقاط نهاية خاصة لخدمات أزور (خزنة بحجم، قاعدة بيانات SQL، إلخ)، وضمان عدم ترك البيانات أبداً للخلفية الدقيقة، وتسمح لك شركة تيرل لإدارة شبكة VNet بالتحكم في المدة التي تظل فيها النقاط النهائية الخاصة نشطة، وتتوازن بين الأمن والتكاليف.

Schema Drift Handling

وكثيرا ما تغير مصادر البيانات من الأعمدة الجديدة، أو تغير أنواع البيانات، أو إزالة الأعمدة، ويمكن لتدفقات بيانات رسم الخرائط التابعة للمؤسسة أن تعالج الانجراف الكيميائي تلقائيا، ويمكنك أن تضبط التحولات لكشف الأعمدة الجديدة عن الذبابة، وتسجلها، وتدرجها في الناتج، مما يجعل خطوط الأنابيب قادرة على إحداث تغييرات في المراحل العليا دون تدخل يدوي.

تيمبلنغ وندو ترايغرز

وتُنتج عن ذلك بيانات عن نوافذ التفريغ في نوافذ زمنية ثابتة وغير متداخلة، وهي مثالية للسيناريوهات التي تُجمع على مدار الساعة بيانات النقر أو تقارير الفواتير اليومية، ويعبر الزناد تلقائياً بداية النافذة وينتهي كبارامترات، ويدعم التصفية (إعادة تجهيز النوافذ التاريخية) إذا لزم الأمر.

التكامل مع محللين من طراز Azure Synapse

ADF is deeply integrated with Azure Synapse Analytics. You can build pipelines directly inside Synapse Studio, sharing the same data flow motor and orchestration capabilities. This allows you to combine data integration, data storageehousing, and big data analytics in a single platform. The Synapse documentation covers how to get started.

حالات الاستخدام الحقيقي في العالم

(أزور) قوى مصانع البيانات التكاملية بين الصناعات، هنا أنماط مشتركة.

تحديث البيانات

وتنتقل الشركات المهاجرة من مستودعات البيانات في المناطق المحيطة بالأماكن (SQL Server, Teradata) إلى منابر غيومية مثل Azure Synapse، إلى إدارة الهجرة، وتنسخ الجداول التاريخية، وتنشئ عمليات إعادة صدع تدريجية، وتحوّل البيانات إلى برمجيات جديدة، وقدرة إدارة التنمية على التعامل مع بيانات البات والميكروبات تجعل الانتقال سلسا.

استغلال بحيرة البيانات

وتستخدم المنظمات التي تبني بحيرات بيانات حديثة (Azure Data Lake Storage Gen2) إدارة الدعم الميداني لمسح البيانات من قواعد البيانات التشغيلية، وتطبيقات نظام ساوس، والأجهزة المتفجرة، والمعاهد الخارجية للمركبات.

تكامل البيانات الهجينة

وتقوم مؤسسات كثيرة بتشغيل نظم السحب على مستوى سطح الأرض، كما تقوم شركة الصناعات التحويلية بتجميع هذه البيئات التي تتمتع بالاستهلاك الذاتي من المؤسسة، مما يتيح تدفق البيانات من نظم التخطيط القديمة إلى خطوط أنابيب التحليل السحابي، وعلى سبيل المثال، يمكن لشركة تصنيع أن تنسخ بيانات الاستشعار في الوقت الحقيقي من قواعد بيانات تاريخية إلى أزور عن نماذج الصيانة المتوقعة.

الاستخبارات التجارية والإبلاغ

وتُعد إدارة الدعم الميداني العمود الفقري للعديد من الحلول المتعلقة بالتنفيذ في مجال الأعمال التجارية، وهي تستخرج البيانات من نظم المصادر، وتطبق منطق الأعمال (الفصليات، الحسابات)، وتُحمّلها في قواعد بيانات تحليلية يمكن أن تتساءل عنها شركة Power BI أو Tableau، وتتأكد المنظمات من أن تقاريرها مستكملة دائماً.

إعداد بيانات التعلم في مجال الآلات

ويستخدم علماء البيانات إدارة الدعم الميداني لتسيير مرحلة إعداد البيانات في مشاريع القانون النموذجي، ويمكن للخطوط الإلكترونية جمع البيانات من مصادر متعددة، والقيام بهندسة خاصة (مثلاً، التزج، والتوسع، وفرز التاريخ)، وتقديم مجموعات بيانات نظيفة إلى تعلم الآزوري ماكين، مما يجعل من السهل إنتاج التجارب ونشر النماذج في الإنتاج.

Migration from Legacy ETL Tools

ويمكن أن يبدو نقل عبء العمل الحالي على الشبكة أمراً مروعاً، ولكن تحالف القوى الديمقراطية يوفر عدة مسارات للهجرة لتخفيف عملية الانتقال.

SSIS Migration

إذا كان لديك مجموعات من أجهزة المخابرات، يمكنك رفعها وتحويلها إلى شركة Azure-SSIS IR مع الحد الأدنى من التغييرات، وإنشاء جهاز للفحص المتكامل، ونشر ملفاتك، وإدارة ملفاتك، مع مرور الوقت، يمكنك استبدال عناصر نظام المعلومات الخاصة بأنشطة أو تدفقات بيانات محلية من أجل الاستفادة من الملامح السحابية، وهذا النهج التدريجي يقلل من المخاطر ويعجل بالتبني.

مساعد لشؤون الهجرة السريعة

ويساعد مساعد الهجرة في منطقة مايكروسوفت (المتاح في بوابة تحالف القوى الديمقراطية) على نقل خطوط الأنابيب والمذكرات ومجمعات سبارك من إدارة التنمية أو شركة سينابس إلى شركة مايكروسوفت فابريك، ويقيّم المعالَم، ويقترح ما يعادلها من مواد ذات أثر فاريك، ويحوّل خطوط الأنابيب تلقائيا، وهذه الأداة مفيدة بصفة خاصة للمنظمات التي تبحث عن اعتماد هيكل بحيرة فابريك.

التقييم والتخطيط

وقبل الهجرة، جرد جميع الوظائف القائمة في مجال التعليم والتدريب، وتوثيق مصادر البيانات والمقصد، وتعاليم الخرائط، وقياس الأداء الحالي، واستخدام أدوات مثل شركة Azure Migrate لتقييم مدى الاستعداد، ثم تصميم هيكل مستهدف يستخدم مكونات إدارة الدعم الميداني، بدءاً بأعلى خطوط أنابيب متعددة القيمة والأدنى تعقيداً، وقد انتقلت الاختبارات إلى خط الأنابيب بصورة دقيقة قبل إلغاء تشغيل نظام الإرث.

بدء مع مصنع بيانات (أزور)

ولبدء استخدام إدارة الدعم الميداني، تحتاج إلى اشتراك في شركة Azure، ويمكنك أن توقع على حساب خالي من الأزور يتضمن ائتمانات لاستكشاف الخدمات، ثم تتبع دليل لخلق مصنع بياناتك الأول، وتعريف خط أنابيب، وإدارة نشاط نسخي بسيط.