چالش های مهاجرت به داده های میراث

سیستم های میراث - چارچوب های اصلی، پایگاه های داده های مبتنی بر پیش بینی، یا سیستم عامل های ERP دهه - اغلب داده های کسب و کار حیاتی را نگه می دارند، اما فاقد انعطاف پذیری، مقیاس پذیری و بهره وری هزینه محیط های ابر مدرن است که این داده ها را بدون مختل کردن عملیات روزانه، یک تلاش برای Azure Data Factory (ADF) فراهم می کند یک اطلاعات به طور کامل مدیریت شده، بی نظیر که به چالش های امنیتی و از منابع داده های ذخیره سازی و از منابع داده های حداقل رساندن اطلاعات و هدایت می کند.

آشنایی با Azure Data Factory

Azure Data Factory عصاره مبتنی بر ابر مایکروسافت، Transform، Load (ETL) و Extract، Load، Transform (ELT) است.این یک رابط بصری و گزینه های کد-first را برای ساخت خط لوله داده است که داده ها را از یک آرایه گسترده از منابع On-prems و Cloud در هسته آن می بلعد، ADF از گزینه های باینری (FLT)، استفاده می کند.

  • Pipelines: گروه بندی منطقی از فعالیت هایی که حرکت داده ها و تحول را انجام می دهند.
  • خدمات پیوند خورده: رشته های اتصال اشاره به منبع و سیستم های مقصد.
  • داده ها: نام گذاری دیدگاه های ساختارهای داده ای که در فعالیت ها استفاده می شود.
  • [[۱] [۱۰] [۱۰] [۱۰] [۱۰] [۱] [۱]] [۱] [۲]] [۲]] [۲]]] [۳] [۱] [۲]] [۱]] [۲]] [۲] [۳]] [۲] [۳] [۱] [۲] [۳] [۳] [۱] [۳] [۳] [۳] [۳] [۳] [۳] [۲] [۲] [۳] [۳] [۱] [۱] [۲] [۲] [۲] [۳] [۲] [۲] [۳] [۱] [۱] [۳]]] [۳] [۳] [۳] [۳] [۲] [۳] [۳] [۳] [۳] [۱] [۲] [۲] [۳] [۲] [۲] [۳] [۳] [۳] [۳] [۳] [۱] [۱] [۱] [۱] [۳] [۲] [۲] [۲] [۳]]]] [۲] [۲]] [۲] [۳]

طبیعت بدون سرور ADF به معنای هیچ زیرساختی برای مدیریت نیست - مایکروسافت مقیاس پذیری، پچ و دسترسی بالا را کنترل می کند.این امر آن را به ویژه برای سازمان هایی با منابع IT محدود جذاب می کند.

Explore the official Azure Data Factory documentation →

قابلیت های کلیدی برای مهاجرت میراث

قابلیت اتصال گسترده

ADF بیش از 100 کانکتور داخلی را پشتیبانی می کند، از جمله اتصالات برای SQL Server، اوراکل، SAP، IBM Db2، MySQL، PostgreSQL ، فایل های مسطح و منابع داده های هسته ای با استفاده از ادغام خود میزبان، شما می توانید به طور ایمن به سیستم های پیش از فایروال دسترسی داشته باشید که نیاز به کد سفارشی یا ابزار اتصال سوم را از بین می برد.

تغییر داده ها در مقیاس

پردازش داده ها اجازه می دهد تا تغییرات بصری، بدون کد با ویژگی هایی مانند پیوستن، تجمع، چرخش و بررسی کیفیت داده ها، برای منطق پیچیده، شما می توانید از اسکریپت جریان داده ها [FLT 1) و یا SQLLT:2Compute Instances (Azure Databricks، HD) استفاده کنید [در پردازش مدرن] مانند ذخیره سازی داده ها و یا ذخیره سازی داده ها را می توان به مناطق انتقال داده های Syn Analytics و یا (Enpware را حفظ کرد.

ارکستر و شائولینگ

برنامه ریزی دقیق باعث می شود تا زباله های افزایشی، بارهای شبانه کامل یا محرک های رویداد محور (FLT:0) بسته های بازگشتی را به شما اجازه می دهد خط لوله زنجیره ای بر اساس موفقیت، شکست، یا تکمیل، ایجاد جریان های کاری قوی و (FLT:2Azure Monitor ارائه هشدار های واقعی، و خطا، و خطا، و خطا.

امنیت و سازگاری

ADF از رمزگذاری در استراحت و در حمل و نقل پشتیبانی می کند، Identities برای تأیید اعتبار ایمن و ادغام با Azure Private Link برای جلوگیری از ترافیک اینترنت عمومی. گواهینامه های انطباق (ISO، SOC، HIPAA، GDPR) آن را برای صنایع تنظیم شده مناسب می کند.

View Azure Data Factory pricing and tiers →

یک رویکرد مرحله ای به مهاجرت میراث

مرحله 1: کشف و ارزیابی

شروع با سیستم های میراث موجودی - طرح های داده، حجم داده ها، الگوهای دسترسی و وابستگی ها (FLT:0) Azure مهاجرت یا اسکریپت های پروفایل سفارشی برای ارزیابی سازگاری. شناسایی مسائل کیفیت داده ها، سوابق یتیم و قوانین کسب و کار جاسازی شده در روش های ذخیره شده یا محرک.

مرحله دوم: طراحی خط لوله و توسعه

ایجاد خدمات مرتبط برای هر منبع و مقصد (شروع با یک خط لوله اثبات مفهوم که یک زیرمجموعه کوچک از داده ها را استخراج می کند، تغییرات ساده را اعمال می کند و اتصال را تأیید می کند. ]parameterization [FLT 1 برای رسیدگی به جداول متعدد یا پارتیشن ها.

مرحله 3: تست و اعتبار

در این صورت، در صورت لزوم، به صورت زیر به صورت زیر و روی صفحه ی زیر و روی صفحه ی (در این مرحله) و [[مسلمان]] و [[مسلط]] و [[مسلطه ی]] و [[مسلطه ی [[مسلط]] و [[مسلط]] و [[مسلطه]]، [[مسلط]]، [[مسلطه ی [[مسلطه]]، [[مسلط]]، [[م]]، [[م]]، [[م]]، [[م]]، [[م]]، [[محی]]، [[مسلطه ی [[مسلطه ی [[مسلط]]، [[مسلط]]، [[مسلط]]، [[مسلط]]، [[مسلطه ی [[مطه ی [[مسلط]]، [[مسلطه ی [[مطه ی [[مطه]]، [[مسلطه ی [[م]]، [[مسلطه ی [[مسلطه ی [[مسلطه ی [[مسلطه ی [[مسلطه ی [[مسلطه ی [[مسلطه ی [[محی]]، [[مسل

مرحله 4: اعدام و Cutover

برنامه ریزی مهاجرت نهایی در طول یک پنجره خرابی برنامه ریزی شده برای استراتژی های صفر-زمان، استفاده از یک الگوی {FLT:1}: ادامه نوشتن به سیستم میراث در حالی که ADF همگام سازی تغییرات افزایشی به Azure پس از همگام سازی نهایی، اعتبار داده ها و تغییر رشته های اتصال. مانیتور خط لوله برای هر شکست و پردازش مورد نیاز به عنوان تغییر.

مرحله پنجم: بهینه سازی و نظارت

پس از مهاجرت، بررسی عملکرد خط لوله (FLT:0) پردازش ، DIU] ، و مکان های مرحله بندی Azure Monitor هشدار برای شکست های خط لوله و تاخیر [FLT3] در نظر بگیرید.

بررسی های پیشرفته برای مهاجرت های پیچیده

و در این میان، حجم و حجم زیاد و ، [[FLT: 1]]

برای اطلاعات بیشتر، از استفاده کنید با چندین نسخه موازی استراتژی های پارتیشن (تا به امروز، هش یا منطقه) از طریق استفاده از (FLT:2Staging از طریق Blob Storage [FLT3] استفاده کنید.

پیچیدگی های تحول داده ها

سیستم های میراث اغلب جداول غیر عادی، داده های سلسله مراتبی یا فرمت های فایل سفارشی دارند.[۱] از Databricks برای تغییرات مبتنی بر پایتون /Scala یا جاسازی شده Azure توابع برای منطق کسب و کار سبک] برای تکامل طرح، در نظر گرفتن مطالعه با [FLT] طرح ریزی است که از دریاچه استفاده می کند:5Delta

امنیت و حکومت در دوران مهاجرت

در این صورت، استفاده از داده های حساس با استفاده از [Fzure Key Vault برای اعتبار استفاده از -Level Masking در Azure SQL اگر محیط های هدف نیاز به استفاده از سیاست گذاری برای حفظ خط لوله و اجرای یک نسخه انطباق.

سناریوهای موفقیت جهانی

  • شرکت تخفیف: مهاجرت یک سیستم موجودی AS /400 ساله به پایگاه داده SQL Azure. ADF به طور شبانه بار دلتا را به کار گرفت و داده های نقشه برداری داده های قیمت گذاری تاریخی تمیز را در 6 هفته با دقت 99.9٪ تکمیل کرد.
  • ارائه دهنده مراقبت های بهداشتی: میراث EHR داده ها را از یک پایگاه داده اوراکل به Azure Synapse منتقل کرد. استفاده از ADF با IR خود میزبان برای پمپ میلیون ها بیمار رکورد روزانه، استفاده از HIPAA رمزگذاری و حسابرسی.
  • شرکت Manufacing: داده های یکپارچه از SAP ECC، سیستم های میراث (z /OS)، و SQL Server به یک واحد پورتر داده ADF یک مهاجرت چند فاز بدون توقف سیستم های تولید هماهنگ کرد.

مقایسه ADF با جایگزین های مهاجرت

در حالی که کارخانه داده Azure [FLT 1] در ارکستر مقیاس پذیر، بدون کد، برتری دارد، سایر ابزارها ممکن است با نیازهای خاص مطابقت داشته باشند:

  • [SQL خدمات ادغام سرور]: بهترین برای سازمان هایی که در حال حاضر در پشته Microsoft BI سرمایه گذاری کرده اند، اما نیاز به مدیریت زیرساخت های بیشتر دارند.
  • [FLT: یک استودیو داده Azure + dbt: توسعه دهنده بیشتر محور، مفید است زمانی که منطق تحول پیچیده است و نیاز به کنترل نسخه.
  • ابزار شخص ثالث (Fivetran، Stitch): ارائه تنظیمات ساده تر برای منابع SaaS اما ممکن است فاقد تحول پیشرفته و ادغام بومی Azure.

ADF تعادل قوی بین سهولت استفاده، ادغام اکوسیستم بومی Azure و کنترل درجه شرکت را به دست می آورد.

See a detailed comparison of Azure Data Factory vs. other migration tools →

بهترین تمرین ها برای مهاجرت آرام

  • (فَلَهُمَهُمَهُمَهُمَهُمَهُمَهُمَهُمَهُوا بِهَهُمَهُمْهُمَهُمْهُمَهُمْهُمَهُمَهُمَهُمَهُوَهُمَهُوَهُوَهُوَهُوَهُوَهُوا مَهُوَهُوا مَهُوا مَهُمْهُوَهُوا مَهُمْهُمْهُمْهُوَهُمْهُوَهُوَهُوَهُوَهُمَهُوَهُوَهُمْهُمْهُوَهُوا مَهُوَهُمَهُوَهُوَهُمَهُوَهُوَهُوَهُوَهُوَهُوَهُو
  • از پارامترهای و متاداده استفاده کنید؛ [FLT 1] خط لوله قابل استفاده مجدد را که توسط جداول پیکربندی هدایت می شود، بسازید.
  • با هشدارها: [FLT1] داشبورد برای سلامت خط لوله و هزینه تنظیم کنید.
  • برنامه ریزی برای رول بک: [FLT 1] سیستم میراث را تا زمانی که اعتبار کامل است، در دسترس نگه دارید.
  • همه چیز را مستند کنید؛ خط مشی داده ها، نمودار خط لوله و روش های اجرای خطا را حفظ کنید.

نتیجه گیری

Azure Data Factory یک پلتفرم قوی و ابر است که کار دلهره آور انتقال داده ها از سیستم های میراث را به یک فرایند ساختاری و کارآمد تبدیل می کند. کتابخانه اتصال گسترده آن، قابلیت های تحول مقیاس پذیر و یکپارچه سازی امنیتی محکم، سازمان ها را قادر می سازد تا زیرساخت های داده خود را با اعتماد به نفس مدرن کنند.