Azure מפעל נתונים טריגר וקווי פייפר סוללות עבודה אוטומטיות

Azure Data Factory (ADF) הוא שירות האינטגרציה של הנתונים המנוהל במלואו, מבוסס ענן.זה מאפשר לארגונים ליצור, לקבוע, לתזמן ולארגן את זרימת הנתונים בקנה מידה, להעביר ולשנות נתונים על פני מקורות ויעדים מגוונים.שני אבני הבניין היסודיים של ADF הם FLT:0pipepeFLT:1 ו-FLT:2trissrovalphtsal: אם הם מבצעים רצף עבודה ספציפי, כלומר, כלומר, כלומר, אם הם מבצעים פעולות הפעלה אוטומטיות של מחזור נתונים, או ניתוח, אם הן פועלות באופן אוטומטי, אם הן פועלות באופן ספציפי, או ניתוח, אם הן פועלות באופן ספציפי.

המונחים: Azure Data Factory

מה זה פייפר?

(הצינור) הוא קבוצה הגיונית של אחסון של Azure Blob Storage to Azure SQL Database - או מורכב - כמו הפעלת מחברת Databricks, ביצוע הליך מאוחסן, או קריאה של נתונים מ- Azure Blob Storage to Azure SQL Database - או מורכבות - כמו הפעלת מחברת Databricks, ביצוע הליך מאוחסן, או הפעלת מערך API מותאם אישית, מאפשרת לך להגדיר את זרימת ההוצאה להורג, כולל תנאי, כגון: APTS, או פעולות מקבילות, ניתן לייעלות, או עיבוד, או "על-" (או" (או שימוש) באמצעות שימוש מקבילות, או "מתאים," (Dipc) באמצעות שימושיות," (D) או "מתאים נוספים," (Dipc) או "מתאים נוספים," (D) או "מתאים נוספים," (Dip) באמצעות שימושיות," (D) באמצעות שימוש ב-" (או פעולות מקבילות, או ניהוליות," (D) או "מספקים," (Dip) יכולות להיות שימוש ב-" (AP) או ניהול לוגיקה, או "מספקות," (או שימוש ב-" (DLCF) יכולות להיות שימוש ב-" (DLCF

סוגי פעילות מפתח

Azure Data Factory מקטנת פעילויות לשלוש קבוצות עיקריות:

• (FLT:0) פעילויות תנועה נתונים של תנועת המידע (FLT:1) - נתונים אלה בין חנויות נתונים נתמכת.הפעילות העיקרית היא ה-FLT:2Copy ActivityFLT 3: 3, אשר תומך מעל 90 מחברים (לדוגמה, אמזון S3, Google BigQuery, Snowflake, SAP).
• (ב) [17] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
• (ב) [17] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

על ידי שילוב פעילויות אלה, אתה יכול מודל כמעט כל זרימת עבודה של אינטגרציה נתונים - החל מטבלאות אגם נתונים פשוטים למשרות מרובות שלבים ETL עם טיפול שגיאות וחזור.

עלויות פעילות והוצאה להורג של פייפר

פעילויות בתוך צינור לבצע בהתבסס על התלויות שלהם.על ידי ברירת מחדל, פעילויות לרוץ ברצף.כדי להפעיל פעילויות במקביל, אתה יכול להשמיט תלותיות. תכונה חזקה היא היכולת להשתמש בביטויים דינמיים ופרמטרים.לדוגמה, אתה יכול להעביר שם נתונים, פרמטר תאריך, או חיבור משתנה, מה שהופך צינורות מחדש סביבות פעילות.

Azure Data Factory Triggers: Event-Driven and Calendared Execution

בעוד צינורות מגדירים את ה-FLT:0 (מה ש- 1FLT) מה לעשות, גורמים מגדירים את ה-FLT:2 כאשר FLT 3: 3 לעשות את זה. טריגר ב- ADF אחראים על הפעלת צינורות באופן אוטומטי.

לוח זמנים Triggers

לוח זמנים מפעיל צינורות בלוח לוח שנה קבוע - לדוגמה, כל 15 דקות, שעה בראש השעה, או יום בשעה 3:00 AM, אתה מגדיר את ההישנות באמצעות ביטוי דמוי גולגולת או מרווח פשוט ( דקות, שעות, ימים, שבועות, שבועות, חודשים), לוח זמנים גם תומך אפשרויות מתקדמות כמו התחלה, זמן סיום, ושעה.

אירוע טריגר

אירוע גורם להגיב לאירועים חיצוניים, לרוב האירועים הנפוצים של Azure Blob Storage או Azure Data Lake Storage Gen2.לדוגמה, באפשרותך ליצור גורם ששריפות כאשר קובץ חדש מגיע למכל מסוים, או כאשר קובץ מעודכנת. ADF תומך בשני קטגוריות של גורמים לאירוע:

• (FLT:0) אירוע ה-TrggersFLT:1) - מופעל על ידי אירועי אחסון נפוח (כלומר, BlobCreated, BlobDeleted) אתה יכול לסנן אירועים על ידי שם נפוח, suffix, והדרך.זה משמש נרחב עבור דפוסי אי-פעם בזמן אמת, כגון עיבוד בקבצי CSV המתקרבים ממערכת מכירה.
• (FLT:0) אירוע TriggersFLT:1 - מבוסס על נושאים מותאמים אישית Azure Event Grid.זה מאפשר לך לירות צינורות בתגובה לכל אירוע ספציפי לתחום, כגון אימון מודל למידת מכונה הושלם, פעולת משתמש, או שינוי במערכת צד שלישי.

גורמים באירוע לא לרוץ בלוח זמנים קבוע - הם רצים רק כאשר האירוע מוגדר מתרחש, מה שהופך אותם גם יעילים וגם בזמן.

חלון טירונות

סוג זה של טריגר יושב בין לוח הזמנים לבין אירוע גורם חלון מתפתל פועל על תדירות קבועה אבל גם מספק את ה- FLT:0state ניהול של FLT:1 - זה זוכר כי החלונות כבר מעובדים.לדוגמה, אתה יכול להגדיר חלון tding לרוץ כל שעה, וזה יגרור בדיוק בתחילת כל חלון (למשל, 00-01, 00-02, 00-שעה) הוא צורך מרווחי נתונים מסוימים, במיוחד עבור כל זמן קצר, ללא מרווחים ספציפיים.

יצירת וניהול טריגר

ניתן ליצור טריגר ולנהל באמצעות ממשקים מרובים:

• (FLT:0Zonee Portal (UI): FLT:1 השיטה הפשוטה ביותר עבור חד פעמי ההתקנה.You יכול להגדיר גורם, לבדוק אותו, ולקשור אותו עם אחד או יותר צינורות.הפורטל מספק ממשק חזותי עבור שחזור תצורה, מסננים אירועים ופרמטרים.
• (ב) לדוגמה, ⁇ (ב) ⁇ (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
• (FLT:0) תבניות ARM (מנהל משאבים אזוריים): אנדרל 1 (הגישה המומלצת לתשתיות-קוד (IaC) ניתן להגדיר גורמים כמו JSON בתוך תבנית ARM ולהפיץ אותם באמצעות Azure DevOps או GitHub Actions.
• (FLT:0) ,IAPREST:FLT:1 עבור אוטומציה מתקדמת או כאשר משלבים עם מערכות תזמורת חיצוניות, ניתן לקרוא ל-ADF REST API ישירות.

נקודה קריטית אחת: יש לקשור באופן מפורש את ההדק:0 (שלאו) 1:1 עם צינור לפני שהוא יכול להתחיל לרוץ.אתה יכול לקשור גורם אחד עם צינורות מרובים או צינור אחד עם מספר גורמים, בהתאם לזרימת העבודה שלך.

שילוב Trigger וPipeline

תלות ושרשרת

בנוף נתונים מורכב, ייתכן שיהיה צורך צינור אחד לרוץ לאחר אחר, או גורם לחכות לאירוע ספציפי לפני תחילתו. Azure Data Factory תומך צינורות שרשרת שרשרת שרשרת שרשרת באמצעות FLT:0Execute tubeline ActivityFLT:1 - גישה שליטה בתוך צינור הורה אשר מפעיל צינור דם מסונכרן או מסונכרן.

שילוב עם Azure Monitoring and alerts

מפעל הנתונים של Azure משלב עמוק עם FLT:0 Zonee MonitorIRLT:1 ו- (FLT:2Log AnalyticsFLT 3: 3 ; כל צינור פועל, פעילות פועל, וגורם האירוע מחובר ביומני אבחון של ADF.You יכול לייעל את הלוגונים האלה כדי ליצור תקלות, שאילתות מותאמות אישית, לדוגמה, באפשרותך להגדיר התראה כי מפעיל במהירות של 15FD או יותר מאשר זרם אלקטרוני של 15 דקות.

יתרונות של זרימת עבודה אוטומטית של נתונים עם ADF

באמצעות Azure Data Factory מעוררים צינורות כדי להתאים את זרימת הנתונים שלך מניבה יתרונות משמעותיים:

• (FLT:0) תפעול EfficiencyFLT:1 - העברות קובץ ידניות ותסריטים מתוכננים מוחלפים עם צינורות ללא שרת, מנוהל.זה משחרר מהנדסי נתונים להתמקד בהגיון ולא תשתיות.
• (FLT:0) אמינות וקונסטל 1) – ADF באופן אוטומטי מתחדשת פעילויות כושלות, מכבדת את זמנם, ונוכל בכל שלב.
• (FLT:0)ScalabilityFLT:1 - ADF יכול להתמודד עם קטבים של נתונים ואלפי צינורות לרוץ ליום.המדן הבסיסי (אזור אינטגרציה ריצה) בקנה מידה אלסטי, כך שאתה לא צריך לספק שרתים.
• (FLT:0) בקרת בקרת בקרת חשמל (Cost Controlof) 1 (ה) – אתה משלם רק עבור התוספת הנצרכים על ידי פעילויות.אירוע גורם וחלון מרתיע את הפסולת רק כאשר אתה יכול גם להגדיר סף כדי לעצור צינורות יקרים אם הם עולים על התקציב.
• (FLT:0) END-to-End ObservabilityFLT:1) - עם יומני אבחון, ניטור, ואזהרה, אתה יכול לזהות ולפתור כישלונות לפני שהם משפיעים על הצרכנים במורד הזרם.

Best Practices for Triggers and Pipelines

כדי להפיק את המרב של ADF טריגרים צינורות בסביבה ייצור, בצע את התרגילים הטובים ביותר:

• (FLT:0) עיצוב עבור מודולריות ו reuse.ve.ph:1 ; לשבור צינורות גדולים לתוך צינורות קטנים יותר, ממוקדים צינורות (למשל, אחד עבור צלקות, אחד עבור ניקוי, אחד עבור טעינה) להשתמש פרמטרים ולהעביר אותם בין צינורות באמצעות פעילות צינור הוצאה להורג.זה הופך בדיקות, פיזור ותחזוקה קלה יותר.
• (FLT:0) השימושים בזהירות.FLT:1 עבור עומסי עבודה הדורשים ביצוע קפדני, מעדיפים שרשראות באמצעות פעילות פיפירית הוצאה להורג במקום להסתמך על סמנים חיצוניים.
• (FLT:0) הפעלת שגיאה חזקה.FLT:1 בתוך כל צינור, להוסיף אם פעילויות תנאי לבדוק הצלחה או כישלון.על כישלון, להזין את השגיאה ולשלוח אזהרה. השתמש ב"כישלון" כדי להפעיל צינור תיווך (למשל, להחזיר את הקובץ, להודיע לצוות).
• (FLT:0)Parameterize הכל.FLT:1ir להשתמש פרמטרים צינורות עבור נתיבי קבצים, מיתרי חיבור או מרווחי לוח זמנים. להימנע מערכים קשים.זה מאפשר לך לקדם את אותו חפץ על פני dev, מבחן, וסביבות ייצור.
• (FLT:0Version לשלוט צינורות שלך.FIRLT:1) ייצוא צינורות שלך וטריגר כמו ARM תבניות ולאחסן אותם ב- Git repository (אזור Repos או GitHub) השתמש שילוב Native Git של ADF כדי לקשר את המאגר למפעל שלך.זה מאפשר שיתוף פעולה, ביקורות קוד, ו-Greskbacks.
• (FLT:0) עלויות וביצועים.FLT:1 ⁇ אבחון זמין ושולח אותם ל- Log Analytics. Query לפעילויות יקרות או ארוכות טווח. Tune The Azure Runtime DIU (יחידת אינטגרציה נתונים) הגדרות עבור פעילויות העתקה כדי להתאים באמצעות ערכת מידע.
• (FLT:0) גורם לסביבה לא הפקה ראשית.Reve.FLT) 1 תמיד לאמת כי גורם שריפות בזמן הנכון או באירוע הנכון לפני שהוא מאפשר את זה בייצור.טעות נפוצה היא להשאיר לוח זמנים פעיל בעת פיתוח הצינור, גרימת ריצה בלתי צפויה.
• (FLT:0) אירוע סינון להפחתה של רעש.BuildFLT:1) כאשר יצירת גורמים לאירוע, ציין את שם הקובץ prefixes, suffixes ודרכים כדי למנוע ירי על אירועים לא רלוונטיים.

שימוש במקרים נפוצים

עומס נתונים

אחד הדפוסים הנפוצים ביותר הוא לטעון רק נתונים חדשים או משנים ממערכת מקור (כמו מסד נתונים של עסקה) לתוך מחסן נתונים. חלון מרתיע פועל כל 15 דקות יכול לבצע צינור כי עותקים שבו פעמים "השינוי האחרון" יורד בתוך החלון.הצנרת יכולה אז לאשר את הנתונים לתוך Azure Synapse Analytics או Azure Database.

תגית: time File Ingestion

כאשר שותף מעלה קובץ CSV לתא אחסון של Azure Blob, גורם אירוע מתחיל צינור המאמת את הschema, מעביר את הקובץ לתיקיה "מעבדה", מפעיל זרימת נתונים כדי להפוך את הנתונים, ולבסוף לטעון אותו לתוך מסד נתונים של SQL.תבנית זו נפוצה במערכות קמעונאיות ולוגיסטיקה.

עיבוד לילי Batch

לוח זמנים של מתיגר להגדיר 2:00 AM UTC פועל סדרה של צינורות: ראשית, העתק נתוני מכירות מצטברים של על-premises SQL Server ל- Azure Blob; שנית, להפעיל עבודה HDInsight Hive כדי לאסוף את הנתונים; שלישי, לבצע הליך מאוחסן ב- Azure SQL Database כדי לעדכן טבלאות.הצנרת משתמשת בתלויות כדי להבטיח כל צעדות לפני שמתחיל הבא.

• Orchestration

עבור ארגונים עם מקורות נתונים על-ידי הרשימים, ADF מגשר על הפער באמצעות אינטגרציה עצמית-host Runtime. A לוח זמנים גורם יכול להפעיל צינור כי העתק נתונים של שרת קבצים מקומי ל- Azure, ולאחר מכן מפעיל מחברת Azure Databricks עבור ניתוח מתקדם.

מעקב ופתרון בעיות

שימוש ב- Azure Monitor ו- Log Analytics

כדי להשיג תובנות עמוקות לתוך ביצוע טריגר וצנרת, להגדיר הגדרות אבחון על מפעל הנתונים שלך לשלוח יומני למרחב עבודה Log Analytics. ברגע שם, אתה יכול להפעיל שאילתות Kusto כגון:

ADFActivityRun
| where ActivityName == 'Copy data1' and Status == 'Failed'
| project TimeGenerated, PipelineName, ActivityName, ErrorMessage

הגדרת כללים מזהירים כדי להודיע לך כאשר צינור נכשל או גורם לא יורה בתוך חלון צפוי.אתה יכול גם לדמיין היסטוריה באמצעות Azure Workbooks או Power BI.

בעיות נפוצות ופתרונות

• (FLT:0)Trigger לא יורה:FLT:1ir לבדוק את מצב ההדק (המכונה / עצירה) לבדוק כי הצינור המשויך הוא שפורסם ו במצב פעיל. עבור גורמים באירוע, לאשר כי חשבון האחסון או נושא הרשת האירוע מוגדר כראוי וכי המנוי לאירוע אינו מסונן.
• (FLT:0) פילין תלה או פעמים בחוץ: ההרחבה 1 (R) פעילויות יש רצף ברירת מחדל של 7 ימים.קביעת זמני זמן מפורשים עבור צינורות אשר צריך להיכשל במהירות.
• (FLT:0)Parameter לא מתאים: FLT:1ir אם גורם עובר פרמטרים צינור שאינם מתאימים להגדרה צינור, הריצה לא תכשל.להבטיח שמות פרמטר וסוגים עקביים. השתמש בערכי ברירת המחדל של הצינור כדי לאפשר גמישות.
• (ב) [15] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

מסקנה

(ו) Azure Data Factory מעורר וצנרת מספקים פלטפורמה עוצמתית וגמישה לאוטומטי זרימת מידע בכל קנה מידה.על ידי הבנת ההבדלים בין לוח הזמנים, אירוע, וחלון מתפתל, ועל ידי יישום עיצוב צינורות מודולרי ופרקטיקות ניטור חזקות, מהנדסים נתונים יכולים לבנות אמין, עלות ויעיל, ושמירה על פתרונות אינטגרציה נתונים.