אתגרים הגירה נתונים של Legacy Data Migration Challenges

מערכות Legacy -mainframes, On-premises מסדי נתונים, או פלטפורמות ERP בנות עשרות שנים - לעתים קרובות להחזיק נתונים עסקיים קריטיים אבל חסר גמישות, קנה מידה ויעילות עלות של סביבות ענן מודרניות. Migrating נתונים אלה מבלי להפריע פעולות יומיומיות הוא מאמץ גבוה של Azure Data Factory (ADF) מספק שירות נתונים מנוהל לחלוטין, ללא שרתי אשר מטפל באתגרים אלה, המאפשרים לארגוני אבטחה מקסימליים וטכנולוגיות אבטחה מינימליות עם מקורות אבטחה וטכנולוגיות אבטחה מינימליות עם נתונים אוטומטיים עם אנרגיה אוטומטית.

ניהול Azure Data Factory

Azure Data Factory הוא שירות של Microsoft מבוסס ענן, Transform, Load (ETL) ו- Extraction, Load, Transform (ELT) של Microsoft, הוא מציע ממשק חזותי ואפשרויות קוד-ראשון לבנות צינורות נתונים המקיפים ממערך רחב של על-ידי-premises ומקורות ענן. at the הליבה שלו, ADF משתמשת ב-F:0Integrationtime Run (IR) כדי לחבר בין רכיבי אבטחה ומקורות של Azure: 1.

  • (ב) ⁇ :0) ⁇ : ⁇ לוגיקה של פעילויות המבצעות תנועת נתונים וטרנספורמציה.
  • (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) עיין ב[[המאה ה-20]] ב[[1924]], [[1924]]
  • (ב) ⁇ :0) ⁇ : 1FLT 1 Time- או מנגנונים מבוססי אירועים לביצוע צינורות.

הטבע חסר השרת של ADF אינו אומר תשתיות לניהול - Microsoft מטפלות בדרגות, תיקון וזמינות גבוהה.זה הופך אותו אטרקטיבי במיוחד עבור ארגונים עם משאבי IT מוגבלים.

Explore the official Azure Data Factory documentation →

אפשרויות ל Legacy Migration

קישוריות רחבה

ADF תומך ביותר מ -100 מחברים מובנה, כולל אלה עבור FLT:0 SQL Server, Oracle, SAP, IBM Db2, MySQL, PostgreSQLFLT:1, קבצים שטוחים ומקורות נתונים מרכזיים.שימוש במזג האוויר המוחזק על ידי עצמו, אתה יכול בבטחה גישה על מערכות טרום-מפרס מאחורי חומות אש.זה יש צורך בקוד מותאם אישית או כלי מארגן צד שלישי.

טרנספורמציה נתונים ב- Scale

מיפוי זרימת נתונים מאפשר ויזואלית, לא קוד שינויים עם תכונות כמו להצטרף, ggregations, pivoting, ו-Data Quality Checks. for Complex Logic, באפשרותך להשתמש ב-FLT:0Data Flow ScriptsFLT 1 או FLT:2Compute Instances (אזור Databricks, HDInsight) 3LT) ניתן לבצע נתונים סטטיסטיים או לתקן נתונים מודרניים, כגון Azure, כדי לנקות נתונים מודרניים, כגון טעינה, כגון קידודים, , , , , Microsoft, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ⁇ תחליפי נתונים מנקה, , , , ⁇ ⁇ תחליפי נתונים מנקה, תחליפי נתונים מנקה, תחליפי נתונים מנקה, , , , , ,

תזמורת ושידולינג

תזמון חד-משמעי מאפשר לשפוךות מצטברות, עומסים מלאים בלילה, או גורמים מונעים על ידי האירוע.ה-FLT:0Trigger CostancyFLT:1 מאפשר לך צינורות שרשרת המבוססים על הצלחה, כישלון, או השלמת, יצירת זרמי עבודה חזקים. ניטור ו-FLT:2Zonee MonitorFLT:3 אינטגרציה לספק התראות בזמן אמת על בסיס הצלחה, הצלחות, , , הצלחות, או עצלות, או חתימות, שגיאות, באמצעות שגיאות, ושגיאות.

אבטחה וביטוח

ADF תומך הצפנה במנוחה ובמעבר, FLT:0מנד אידנותFIRLT:1 עבור אימות מאובטח, ושילוב עם FLT:2אזורe Private LinkofLT 3: כדי למנוע תנועה מהאינטרנט הציבורי. Compliance הסמכה (ISO, SOC, HIPAA, GDPR) להפוך אותו מתאים לתעשיות מוסדרות.

View Azure Data Factory pricing and tiers →

גישה שלב ל- Legacy Migration

שלב 1: גילוי והערכה

החל על ידי מלאי מערכות מורשת - נתונים בסיס schemas, נתונים, תבניות גישה, ותלויים. השתמש ב- FLT:0 Zonee MigrateFLT:1 או תסריטים מתאימים אישית כדי להעריך תאימות.זיהוי בעיות איכות נתונים, רשומות יתומים, וכללים עסקיים משובצים בהליכים או גורמים.

שלב 2: עיצוב צינור ופיתוח

יצירת שירותים מקושרים לכל מקור ויעדים.התחל עם צינור הוכחה של תפיסה המוציאה תת-קבוצה קטנה של נתונים, חלה על שינויים פשוטים, ומאמת קישוריות.שימוש ב-FLT:0parameterizationFLT:1 כדי לטפל בטבלאות מרובות או מחיצות.

שלב 3: בדיקה ואימות

(הופנה מהדף ויקרא יט) , עיין ב-[[המאה ה-20]] ו[[1924]], [[1924]], [[1924]]]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]] ו[[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]] [[1924]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]] [[1924]]]]]]]]]], [[1924]]]]]]]], [[1924]], [[1924]]]], [[1924]]]]]] [[[[1924]]]]]]]] [[1924]]]]]]]] [[[[1924]]]]]]]]

שלב 4: הוצאה להורג וקיצוץ

לוח זמנים הגירה סופית במהלך חלון זמן מתוכנן לאסטרטגיות זמן השבת אפס, השתמש בתבנית FLT:0dual-write תבנית תבנית: המשך לכתוב למערכת המורשת בעוד ADF מסנכרן שינויים מצטברים ל- Azure.לאחר הסופי, לסנכרן שלמות נתונים והחלפת מחרוזתי קישור יישומים.

שלב 5: אופטימיזציה ופיקוח

(ב) , עיין בגרף (ב) ב-[[1924]], ב[[1924]], [[1924]], [[1924]], [[1924]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]

שיקולים מתקדמים להגירה מורכבת

כרך ראשון (ב) ויקרא י"ד:

(ב) ב[[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]], [[1924]]]]]], [[1924]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]], [[1924]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]] [[[[1924]]]]

מורכבות Dataטרנספורמציה

(הופנה מהדףים מתואמים, נתונים היררכיים, או פורמטים של קבצים מותאמים אישית. השתמש ב-FLT:0Zonee DatabrickssveFLT:1 for Python/Scala-basedטרנספורמציות, או להטביע FLT:2 פונקציות האזוריות של TERFLT:3 עבור לוגיקה עסקית קלה.

ביטחון וממשל במהלך הגירה

(ב) חשיפה לנתוני רגישים באמצעות שימוש ב-FLT:0 Zonee Key Vaultment FLT:1 עבור אישורים.comituumn-Level MaskingFiLT 3: ב- Azure SQL אם סביבות היעד צריכות למקם את ה- PII. השתמש ב-FLT:4 Zonee PolicyFal Reliffing:5 to נאכפיף ו-Directing.

הצלחה בעולם האמיתי Scenarios

  • (FLT:0) Retail Company:FLT:1) Migrated מערכת מלאי של AS/400 בן 20 ל- Azure SQL.ADF טיפלה בעומסי דלה ליליים, ומיפוי נתונים מנקה נתוני תמחור היסטוריים.
  • (FLT:0) ספק שירותי הבריאות: NDF:1 עבר נתונים של EHR ממסד נתונים של אורקל על-premises כדי Azure Synapse. Used ADF עם IR מעוות עצמי כדי לשאוב מיליוני רשומות חולים מדי יום, החל הצפנה וביקורת של HIPAA.
  • (FLT:0)ניהול חברות:FLT:1 ; נתונים בלתי מזוהים של SAP ECC, מסגרת מורשת (z/OS), ו-SQL Server לתוך אגם נתונים יחיד Azure. ADF תזמורת הגירה רב-phase מבלי לעצור מערכות ייצור.

השוואת ADF עם חלופות הגירה

בעוד ש-FLT:0Zonee Data FactoryFLT 1 מצטיין בתזמורת ללא קוד, כלים אחרים עשויים להתאים לצרכים ספציפיים:

  • (עדכון שירותי אינטגרציה של SQL Server): הטוב ביותר עבור ארגונים שכבר הושקעו בערימה של Microsoft BI, אך דורש ניהול תשתיות נוסף.
  • (FLT:0Zonee Data Studio + dbt:03FLT:1) יותר מפתח-centric, שימושי כאשר לוגיקה טרנספורמציה היא מורכבת וזקוקה לשליטה בגירסה.
  • (FLT:0) כלים של צד שלישי (חמישה טיראן, סטיץ): FLT:1 מציעים הגדרה פשוטה יותר עבור מקורות SaaS אבל ייתכן שחסרה טרנספורמציה מתקדמת ושילוב Azure Native.

ADF משקף איזון חזק בין קלות השימוש, שילוב מערכת אקולוגית של Azure, לבין שליטה ברמת הארגון.

See a detailed comparison of Azure Data Factory vs. other migration tools →

Best Practices for a Smooth Migration

  • (ב) כרך ראשון (ב"ג) "התחילה" (ב"ב) "התב" (ב"ב)"ה', "ה') ,"ה', "ה'" (בראשית כ"ד)" (ב)
  • (ב) ,0) ,Use Parameters ו- Metadata:03:03:1) בנו צינורות הניתנים להחלפה המונעים על ידי שולחנות תצורה.
  • (ב) ,0) מראיין: ⁇ : ⁇ 1 (ב) ,(ה) ,2 ,09 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ⁇ :0) ,Plan for Rollback:FLT:1 שמור על מערכת מורשת נגישה עד להשלמת אימות.
  • (ב) ,0) ביצוע הכל: FLT:1 לשמור על קו נתונים, דיאגרמות צינורות, ותהליכי טיפול בשגיאות.

מסקנה

Azure Data Factory הוא פלטפורמה חזקה, ענן-ניתנה שהופכת את המשימה המרתיעה של העברת נתונים ממערכות מורשת לתהליך מובנה ויעיל.ספריית המחבר הנרחבת שלה, יכולות טרנספורמציה מדרגיות, ושילוב אבטחה הדוק מחזק את הארגונים כדי לחדש את תשתית הנתונים שלהם עם ביטחון.על ידי מעקב אחר גישה מגובשת ומינוף התכונות המתקדמות של ADF, עסקים יכולים להשיג מינימום זמן, עלויות נמוכות יותר, ונתיב ברור כדי להמשיך את דרישות ענן מבוססות על מנת להמשיך גשר מודרני.