שילוב נתונים נשאר יכולת קריטית לארגונים המנהלים סביבות נתונים מודרניות ומופצות.כאשר עסקים מאמצים שירותי ענן מרובים, מסדי נתונים מורשת וזרימי נתונים בזמן אמת, הצורך ב- ETL (Extract, Transform, Load) וכלים ELT מעולם לא היו גדולים יותר. שניים מכלי שילוב הנתונים הנפוצים ביותר של Microsoft הם Azure Data Factory (ADF) ו-SQL Server אינטגרציה Services (SSIS).

בסביבה הקרובה של Azure Data Factory

Azure Data Factory הוא שירות אחסון נתונים מנוהל באופן מלא מ- Microsoft.It מאפשר לך ליצור, לקבוע ולארגן צינורות נתונים שיכולים לזרז נתונים ממגוון רחב של מקורות - הן על-ידי premises והן בענן - ולהופיע לפני הנחיתה ליעד כגון Azure Synapse Analytics, Azure SQL, Blob Storage, או פלטפורמות צד שלישיות כמו אמזון S3 או גוגל BigQ.

ADF פועל על מודל תמחור תשלום-כפי שאתה-go, כלומר אתה משלם רק עבור משאבי התנועה של compute והנתונים הנצרכים.זה מופשט הרבה של ניהול תשתיות הבסיס, כגון אספקת אשכולות ודרגות.קווים בנויים באמצעות מעצב חזותי בפורטל Azure, או תוכניתית באמצעות JSON SDKs, PDFs, או APIs. ADF תומך גם "מרווחי נתונים" קודים ממריצים ל-SAPIOS.

תכונות מפתח של Azure Data Factory כוללות:

  • (FLT:0) התנועה בנתונים של Hybrid:FLT:1 (שימוש ב- Azure אינטגרציה Runtime (IR) או IR, ADF יכול להתחבר למאגרי מידע כמו SQL Server, Oracle ו- SAP, כמו גם שירותי ענן כגון Salesforce, Dynamics 365 ו-HTTP נקודות קצה.
  • (FLT:0 Orchestration andתזמון:FLT:1) אתה יכול פעילויות שרשרת (צילום, זרימת נתונים, ביצוע צינורות, הליך מאוחסן, מותאם אישית .Net / HDInsight / Spark משרות) ולהוביל אותם בלוח זמנים או בתגובה לאירועים (למשל, קובץ חדש שמגיע ב- Blob Storage).
  • (FLT:0) מובנים ואזהרות: FIRLT:1) ADF מספק ניסיון ניטור עשיר בפורטל Azure, עם יומני ריצה חזותיים, מדדים ושילוב עם Azure Monitor ותקנות התראה.
  • (ב) ⁇ :0) ⁇ (השירות) הוא באופן אוטומטי מקנה משאבים תואמים המבוססים על עומס עבודה - אין צורך בכוונון ידני עבור רוב התרחישים.
  • (FLT:0) בקרת ו- CI/CD:03FLT:1) ניתן לייצא את קווי ה-ARM או מאוחסנים ב- Git repositories, המאפשר שיתוף פעולה צוות ואוטומציה פריסה.

מתי להשתמש במפעל Azure Data Factory

ADF הוא אידיאלי עבור ארגונים שכבר נמצאים על Azure, נעים לכיוון אסטרטגיה בענן ראשון, או דורש את היכולת בקנה מידה של עומסי עבודה של אינטגרציה נתונים ללא ניהול חומרה.הכוח שלה הוא שילוב ענן, צינורות מונעים אירוע, ואת היכולת להתמודד עם עומסים נתונים קטנים עד בינוני בגודל בינוני במקביל. עבור צוותים חדשים הנדסה, ממשק חזותי ומיפוי נתונים נמוך מטה נמוך מטה נמוך להפחית את יכולת התכנות העמוקה על מיומנויות.

סקירה של SSIS

SQL Server אינטגרציה Services (SSIS) הוא כלי אינטגרציה של נתונים בוגר, על-ידי קדם-תחומיים, אשר היה חלק מ- SQL Server מאז SQL Server 2005.זה מספק סביבת פיתוח חזקה (SSDT - SQL Server Data Tools בתוך Visual Studio) שבו מפתחים יכולים לבנות חבילות ETL מורכבות באמצעות זרימת בקרה גרפית ומעצבת זרימת נתונים SSIS הם קבצים (dtsx) שניתן לבצע על-premises באמצעות סוכן SSIS, או שירות ניהול ידני.

SSIS מתאים במיוחד לתרחישים הדורשים שליטה על שינויים בנתונים, טיפול בשגיאות ומיקום חסימה.זה תומך במגוון רחב של מקורות נתונים באמצעות מחברים מקומיים ותאים מותאמים אישית, אם כי החוויה הטבעית והטובה ביותר היא עם מסדי נתונים של SQL Server.

תכונות מפתח של SSIS כוללות:

  • (FLT:0)Control Flow vs. Data Flow:BuildF:Build Flow 1) Control Flow Orchestrates High-level Task (למשל, ביצוע משימות SQL, מערכת הקבצים, FTP Task), בעוד ש-Data Flow מטפל במיצוי נתונים בפועל, טרנספורמציה, טעינה. Data Flow מספק צינור של שינויים - כגון: Conditional Split, Derived line, Merge Join, Aggregate, and Lookup, and Lookup.
  • (FLT:0) מטפלים ו- logging:FearLT:1 , SSIS מאפשר לך לצרף מטפלים באירוע מותאם אישית (למשל, OnError, OnWarning) ולפרסם פרטי ביצוע החבילה ל- SQL Server, קבצי טקסט או אירוע Windows Log.
  • (FLT:0) מרכיבים מותאמים אישית: FLT:1 מפתחים יכולים לכתוב C# או VB.NET תסריטים בתוך משימה Script (Control Flow) או Script Component (Data Flow) כדי ליישם לוגיקה לא זמינה בשינויים מובנה.You יכול גם ליצור רכיבי SSIS מותאם אישית על ידי הרחבת מודל ה-SSIS.
  • (FLT:0)Deployment and Execution:FLT:1 , ניתן לפרוס חבילות SSIS לקטלוג SSIS על מקרה SQL Server (מודל פריסה פרוצה) או למערכת הקבצים.הוצאה להורג יכולה להיות מתוכננת באמצעות סוכני SQL Server או לוח זמנים של צד שלישי.
  • (FLT:0) ביצועים גבוהים עבור מקורות יחסיים:FLT:1 כי SSIS פועל על חומרה ייעודית ושימושים ב-memory buffers, זה יכול להשיג גבוה מאוד עבור כמויות גדולות של נתונים, במיוחד כאשר המקור והיעדים הם שניהם SQL Server.

מתי להשתמש ב-SSIS

SSIS נותרה בחירה מוצקה עבור ארגונים עם השקעות משמעותיות ב- SQL Server, על גבי תשתית, ומומחיות SSIS קיימת.זה עובד טוב כאשר אתה צריך לבצע ניקוי נתונים מורכבים, חיפושים מחורבנים, או שינויים רבים שמשתנים תועלת מתסריטאי מותאם אישית.זה גם מציע שליטה גרפית על התנהגות וטעייה טיפול, ניהול החומרה הבסיסית (, CRAM, IO) ועלויות הרישוי חייב להיות גורם לדיסק.

ההבדלים המרכזיים התרחבו

המונחים:

Azure Data Factory הוא שירות ענן; אתה אף פעם לא מספק או מנהל שרתים. תנועת הנתונים וטרנספורמציה מקלות באופן אוטומטי.אס.ס.ס.ס.ס.ס.ס.ס.ס.ס.ס.ס.ס.ס.ס., מצד שני, פועל בשרתים שלך (פיזיים או וירטואליים) עליך להתקין SQL Server (עם SSIS) ולנהל את המשאבים המותאמים אישית, , , ניתוק אבטחה, וזמינות גבוהה.

סקלאה

ADF בקנה מידה אופקי: אתה יכול לנהל צינורות רבים במקביל, ואת השירות יקצה את החיוב הדרוש.You יכול גם להגדיר Azure Data Flows כדי להשתמש אשכולות ספארי גדול יותר עבור שינויים כבדים. קשקשים SSIS אנכית - אתה לשדרג את השרת או להוסיף יותר זיכרון /cores. עבור נפח נתונים גדול מאוד, ייתכן שתצטרך לחלק מספר שרתים באמצעות תצורה בקנה מידה רחב, אשר מוסיף מורכבות של ADF או להגדיל את זה הופך להיות יעיל יותר עבור נפח עבודה לא צפוי.

שילוב וחיבור

ADF מציע מעל 100 מחברים מבוססי-בונה עבור שירותי ענן (כולל אפליקציות SaaS, שירותי Azure, ומאגרי נתונים של צד שלישי רבים) הוא מספק גם אינטגרציה עצמית מתוחה Runtime להתחבר למקורות כגון קבצים, SAP, Oracle ו-SQL Server.S.IS יש גם מגוון רחב של אדמיניסטרציה Natives אבל הוא חזק יותר עם מערכות אקולוגיות ( Server, Azure, Excel, קבצי ענן, פחות, כדי ליצור קודים ניידים).

ניסיון פיתוח

פיתוח SSIS נעשה ב- Visual Studio עם SSDT - IDE רב עוצמה עם מעצבי גרר ו-drop, חלונות רכוש, ותכונות פיזור (נקודות, צופים בנתונים) מפתחים יכולים לדמיין כל צעד של תהליך ETL. ADF מבוסס אינטרנט מעצב חזותי מבוסס אינטרנט הוא פשוט יותר נגיש יותר אך חסר כמה יכולות פיזור עמוק ב-ADF לעתים קרובות דורשות הפעלה של נתונים או באמצעות IDF, אשר עשוי להיות מסוגלות תמיכה מסורתית של CRC.

מודל עלויות

עלויות SSIS קשורות לרישיון SQL Server (Standard או Enterprise) ואת החומרה כדי להפעיל אותו.You גם צריך SQL Server CALs או ליבת רישיון.עבור ארגונים שכבר יש רשיונות SQL Server, העלות השולית של SSIS היא נמוכה. Azure Data Factory משתמשת בתמחור מבוסס הצריכה: אתה משלם עבור תעבורת נתונים, פעילות להפעיל, עבור LT אור או עבודה ספירלית, ניתן להוסיף עלויות נוספות עבור ADF;

אבטחה וביטוח

שני הכלים תומכים באימות באמצעות אימות SQL, Windows משולב אבטחה וזהויות מנוהלות (ב-ADF) ADF ממנף את Azure Active Directory ומציע הצפנה במנוחה ובמעבר לתזרימי נתונים.אסIS מסתמכת על אבטחת רשת ה-premises שלך ואבטחת הילידים של SQL Server.אם הנתונים שלך חייבים להישאר בתוך גבול גיאוגרפי מסוים או מאחורי חומת אש תאגידית, SSIS מספקת שליטה מלאה של ADF יכול גם בתוך מערכת VNet או לשמור על תנועה פרטית.

איזה כלי עדיף על הצרכים שלך?

אין כלי אוניברסלי "טוב ביותר" - הבחירה תלויה בתשתיות הנוכחיות של הארגון שלך, מערכות מיומנות הנדסיות נתונים, דרישות תאימות ותקציב. להלן הן קריטריונים מפורטים יותר להנחות את ההערכה שלך.

בחר Azure Data Factory אם:

  • (FLT:0) אתה מאומץ אסטרטגיה ראשונה או היברידית:FLT ( 1ADF) נבנה עבור ענן וגברה של Azure סינרגיה (למשל, עם Azure Synapse, Power BI ו- Azure ML).
  • (FLT:0) עליך לשלב נתונים ממגוון רחב של SaaS בענן ומקורות של מוצרי קדם-עצמים: ⁇ FLT:1 ספריית החיבור של ADF ו- IR מעוות-עצמית עושה זאת פשוט.
  • (FLT:0) רגישות ואלסטיות חשובות: ההרחבה 1 (ADF) יכולה להתמודד עם ספייקטים ללא מתן הוראה.You יכול לנהל עשרות צינורות במקביל ללא ניהול תשתיות.
  • (FLT:0) הצוות שלך מעדיף קוד נמוך או פיתוח חזותי: מיפוי נתונים 1:1 ממפה זרימת נתונים להפחית את הצורך בקידוד מסורתי, ומאפשר אנליסטים נתונים להשתתף.
  • (FLT:0) אתה רוצה למזער את הוצאות ההון: FLT:1 מודל ה- ODF תואם עם עומסי עבודה משתנים ולהפחית את ההשקעה בחומרה מקדימה.

בחרו את SSIS אם:

  • (FLT:0) לארגון שלך יש טביעת רגל של SQL Server:Fillo 1:Fillo 1:FLT:1 קיים SQL Server רישיונות (מהדורה חדשנית) כוללים SSIS ללא תוספת עלות, מה שהופך אותו כלכלי.
  • (FLT:0) אתה דורש שינויים מורכבים, מותאמים אישית וטיפול שגיאות טעונה: FLT:1 יכולות התסריטאי של SSIS ומשימות בנויות (למשל, פוזי, פיסול, מיצוי) לתת לך שליטה ללא תחרות.
  • (FLT:0Data latency and throughput הם קריטיים:BuildFLT:1 עם SSIS פועל על חומרה ייעודית, אתה יכול לייעל buffers ולהימנע מבעיות רוחב פס עבור גדול מאוד על נתונים מראש.
  • (FLT:0) לצוות שלך יש ניסיון SSIS עמוק: FIRLT:1 , Migrating ל- ADF דורש אימון מחדש; אם ה- ETL הנוכחי שלך עובד טוב, העלות של המעבר עשויה לעלות על היתרונות.
  • (FLT:0) יש לך תושבות נתונים קפדניים או דרישות ריבונות: ההרחבה 1 (על-ידי קידומי מעלה) שומרת נתונים בתוך הרשת שלך, ומספקת תקנות תאימות מסוימות.

חברת SSIS Inside Azure Data Factory

ארגונים רבים אינם צריכים לבחור באופן בלעדי. Azure Data Factory יכולים לארח ולהפעיל חבילות SSIS קיימות באמצעות אינטגרציה Azure-SSIS. זה מאפשר לך להרים את חבילות ה-SSIS שלך לענן מבלי לכתוב אותם מחדש, אתה מקבל את היתרונות של תזמורת ADF בעוד שמירה על ההשקעה שלך בלוגיקה SSIS. גישה היברידית זו היא בעלת ערך במיוחד במהלך הגירה הדרגתית לענן:0 למד על אודות Azure-IFIS-1.

כמו כן, אתה יכול להשתמש באינטגרציה עצמית של ADF כדי לבצע חבילות SSIS על מראש, תוך כדי תזמורת אותם מן הענן.זה נותן לך מטוס שליטה מאוחדת עבור שני עננים ועל צינורות טרום-מדומים.

מסקנה

גם Azure Data Factory ו-SSIS הם כלים חזקים, חשופים למאבק, אבל הם מכוונים מודלים שונים של פריסה, מערכות מיומנות ופילוסופיות תפעוליות. ADF היא פלטפורמת שילוב נתונים מוכוונת בעתיד, ענן-native, המדגישה את גמישות, בקנה מידה, ופיתוח קוד נמוך.אסIS הוא בוגר, מותאם אישית על בסיס עבודות הכנה, המציעה שליטה מדויקת על כל פרט של תהליך ETL שלך, צריך להיות פתרון של יכולות אבטחה עדכניות, על בסיס ענן, ואפשרויות אבטחה הנוכחיות שלך, על בסיס , על בסיס , יכולות המערכת שלך, על בסיס , יכולות אבטחה בעתיד.

אם אתה מתחיל פרויקט חדש של אינטגרציה נתונים בסביבה ענן ירוקה של שדה התעופה, ADF היא הבחירה הטבעית.אם אתה שומר על גדול על הקרקע SQL Server עם חבילות SSIS מורכבות, להישאר עם SSIS - או לאמץ מודל היברידי עם Azure-SSIS IR - עשוי להיות יותר פרגמטי בסופו של דבר, הגישה הטובה ביותר עשויה להיות שילוב אסטרטגי שממנף את הכוח של שניהם, המאפשר מעבר של הארגון המודרני כדי לפתח את הנתונים שלך.