הדרך שבה ארגונים אדריכל ופועלים פלטפורמות הנתונים שלהם עברה שינוי סיסמי במהלך העשור האחרון.מרכז לטרנספורמציה זו הוא אימוץ של אדריכלות Event Driven Architecture (EDA), פרדיגמת עיצוב תוכנה שמשנה באופן יסודי כיצד נתונים זורמים בין המערכות.כאשר חלים על שילוב של אגמים נתונים ומחסני נתונים, EDA פותחה יכולות שהיו קשות או בלתי אפשריות להשגת עם גישות מוכוונות מסורתיות.

הבנת אגמים נתונים ומחסני נתונים

לפני צלילה להשפעה של EDA, חיוני להעריך את התפקידים הייחודיים כי אגמים נתונים ומחסני נתונים לשחק בערימה של נתונים מודרנית.

אגמים נתונים

אגם נתונים הוא מאגר מרכזי שנועד לאחסן כמויות עצומות של נתונים גולמיים, לא מעובדים בפורמט Native שלה.זה כולל נתונים ממערכות עסקה, נתונים מובנים למחצה כמו יומני JSON ו- JSON, ונתונים לא מבנים כגון תמונות וסרטונים. Lakes מציעים גמישות עצומה באמצעות גישה של schema-on-read, כלומר המבנה הוא רק כאשר הנתונים הוא מוחלים עבור טכנולוגיות ASEO, אשר מכילות מידע זה אינו כולל Microsoft.

מחסני נתונים

מחסן נתונים, בניגוד, חנויות מעובדות, מובנות וניקוי נתונים שמותאמים לאינטליגנציה עסקית (BI) ודיווח.מחסני נתונים משתמשים בגישה של סכמה-על-כתיבה, שבה נתונים הופכים ומאורגן למודלים ממדיים (למשל, כוכבית כוכבים) לפני הטעינה.זה מבטיח ביצועים גבוהים והנתונים מורכבים, מה שהופך אותם למערכת לוח-to-to-to-to עבור דיווח תפעולי ופתרונות מובילים, כולל פתרונות Redfraremeramedamsropremedams, Azure, Azure, Azure, Azure, Azure, Microsoft, Microsoft, כולל פתרונות מובילים.

באופן מסורתי, ארגונים שמרו על שתי המערכות הללו כמשי חוץ, עם צינורות ETL/ELT נעים נתונים ביניהם.עם זאת, הצורך ההולך וגובר בניתוח בזמן אמת ומהירות הגידול של הנתונים חשפו את המגבלות של עיבוד אצווה, מה שמוביל לעלייה של ארכיטקטורות מונחות אירועים.

מה זה Event Driven Architecture?

Event Driven Architecture הוא תבנית עיצוב תוכנה שבה מרכיבים מתקשרים על ידי ייצור ואכילה (FLT:0eventsFLT:1) - הודעות כי משהו של עניין התרחש.אירוע בדרך כלל מכיל מטען המתאר את השינוי ואת metadata כגון תזמון המזה ייחודי.אירועים מפורסמים לברוקר אירועים (או אוטובוס אירוע) כי decoles יצרנים מצרכנים, המאפשרים מערכות להגיב באופן synromely.

המונחים: EDA

  • (FLT:0) מפיקים: FLT:1 שירותים או יישומים המזהים שינוי מצב ופרסום אירוע.לדוגמה, כלי שינוי של לכידת נתונים (CDC) המפרסמים שינויים במסד הנתונים.
  • (FLT:0) ,אפילו Brokerib: 1: The middleware שמקבל, חנויות וכבישים אירועים לצרכנים המעוניינים. ברוקרים פופולריים כוללים Apache, Amazon Kinesis, ו- RabbitMQ.
  • (FLT:0) אפילו צרכנים: שירותים או תהליכים להירשם לסוגים ספציפיים של אירועים ולפעול עליהם, כגון עדכון מחסן נתונים או הפעלת צינור נתונים.

EDA מקדם הפיכה חופשית, כלומר יצרנים וצרכנים יכולים להתפתח באופן עצמאי.אדריכלות זו ⁇ בתרחישים הדורשים עיבוד בזמן אמת, יכולת מדרג גבוה ויכולת לטפל מקורות נתונים מגוונים.

המעבר מ Batch ל Event-Driven Dataאינטגרציה

שילוב נתונים מסורתי מסתמך על עבודות אצווה תקופתיות – לעתים קרובות מתוכנן מדי יום או שעה – כדי לחלץ, להפוך ולטעום נתונים ממקורות ל-D Lake ולאחר מכן לתוך מחסן הנתונים, בעוד עיבוד אצווה הוא פשוט ו-Digitalistic, הוא מציג שקיפות משמעותית.הנתונים עשויים להיות זקנים לפני שהוא מגיע לדיווח מערכות, מה שהופך אותו ללא התאמה להחלטות רגישות לזמן כמו זיהוי או זיהוי לקוחות.

שילוב נתונים מונחה אירועים מחליף או מרחיב מחזורי אצווה עם זרימת נתונים רציפה, מצטברת.כאשר שינוי מתרחש במערכת מקור (למשל, הזמנה חדשה ממוקמת או משתמש מעדכן את הפרופיל שלהם), אירוע מפורסם ומיד מוכנס לתוך הצרכן של Data Lake. Downstream, כגון מחסן הנתונים, יכול להגיב לאירוע כדי לעדכן תצוגות ממומשות או טבלאות מצטברות בזמן אמתי זה כדי להפחית את שעות המעבר.

עם זאת, מעבר לדפוסים מונעים אירועים אינו מורכב.זה דורש תשתיות חזקות עבור הזמנת אירועים, בדיוק על עיבוד הסימנטיקה, וניהול סכימה. ארגונים חייבים לשקול את היתרונות של שקיפות נמוכה נגד התגבר התפעולי של שמירה על צינורות הזרמת האירוע.

השפעה על אינטגרציה של EDA על אינטגרציה של Lake

אגם הנתונים, כפי שהנתונים הגולמיים, הוא נספח טבעי של אינצ'ינג מונע אירוע.

מידע בזמן אמת

עם EDA, נתונים יכולים לזרום לתוך אגם הנתונים ברציפות כפי שקורה אירועים.במקום לחכות חלון אצווה לילה, נתונים חדשים זמינים עבור השאילתה בתוך שניות.זה קריטי לשימוש מקרים כגון ניטור חיישן IoT, ניתוח קלסטרי, ומנועי התאמה בזמן אמת בזמן אמת, כמו Apache Connect ואמזון Kine Firehos מאפשר הזרמת אירוע ישיר לאגם נתונים, אחסון אירועים בתבניות כמו פארק או עיצוב יעיל עבור שאילתה יעילה.

Schema-on- Read Flexibility

צ'מות אירועים יכולות להתפתח ללא לשבור את אגם הנתונים.כי האגם של כדור הארץ מאחסן אירועים גולמיים, צרכנים יכולים ליישם schemas שונים או שינויים הדרושים.זה מתאים באופן מושלם עם ההפיכה המשוחררת של EDA - מפיק יכול לשנות את schema האירוע שלו (לאחר ביצוע שיטות הטובות ביותר), וצרכנים במורד הזרם יכולים להתאים באופן עצמאי.

תמיכה באירוע Sourcing and Data Mesh

EDA מאפשר דפוסי מיקור אירועים, שבו אגם הנתונים הופך למערכת של שיא עבור כל השינויים במדינה.על ידי אחסון כל אירוע, ארגונים יכולים לבנות מחדש את המדינה הנוכחית בכל נקודה בזמן או להפעיל ניתוח היסטורי.בנוסף, EDA מאפשר ארכיטקטורת נתונים על ידי כך שמאפשר לצוותים דומיין לפרסם את הנתונים שלהם כאירועים, אשר צוותים אחרים יכולים לצרוך באמצעות התווך.

השפעה על אינטגרציה של Data Storage

מחסני נתונים מעודכנים באופן מסורתי באמצעות עבודות ETL ETL. EDA משנה זאת על ידי מתן עדכונים מצטברים, קרוב-מציאותיים ללא הקרבת הביצועים והעקביות שמחסנים דורשים.

שינוי לכידת נתונים ועדכונים

שינוי של נתונים ללכוד (CDC) כלים יכולים ללכוד שינויים מסד נתונים (inserts, עדכונים, למחוק) כאירועים ופרסום אותם לברוקר.מחסנים ולאחר מכן ליישם שינויים אלה בטבלאות המתאימות באמצעות מיזוג או פעולות upsert.זה שומר את המחסן באופן קבוע מסונכרן עם מערכות עסקה, תמיכה בדיווח עדכני עד הרגע.

תצוגות חומריות

פלטפורמות מחסניות מודרניות לתמוך בנוף ממוחזר שניתן לרענן באופן מצטבר.כאשר אירוע מצביע על שינוי בנתונים הבסיסיים, המחסן יכול למקם מחדש רק את המחיצות המושפעות. EDA יכול לגרום לרענן אלה באופן אוטומטי, להפחית עלויות מקבילות וזמנים רענון בהשוואה לבנות מלאות.תבנית זו היא חזקה במיוחד בשילוב עם הזרמת אימגרעות לתוך אגם הנתונים, שבו המחסן קורא מטבלאות טבלאות רציפות.

שקיפות והזמנות

שמירה על עקביות במחסן מונע אירוע מאתגר כי אירועים עשויים להגיע מתוך סדר או להיות משוכפל.כדי לטפל בכך, מחסנים חייבים ליישם לוגיקה עדכון אידיאולוגית ולטפל ב metadata אירועים (כמו פעמיםtamps או מספרי רצף) כדי להזמין שינויים נכון. פלטפורמות רבות עכשיו לתמוך ערבויות עסקה כאשר עיבוד אירועים מזרימים, המאפשר מחסנים לשמור על עקביות חזקה תוך תועלת מעדכונים נמוכים.

אדריכלות נתונים בלתי מזוינת עם EDA: מודל Lakehouse

ההתכנסות של אגמי נתונים ומחסני נתונים לתוך FLT:0 lakehouseFeloph 1: אדריכלות מואצת על ידי שילוב מונע אירוע. a Lakehouse משתמשת ב-Data Lake כשכבה אחסון יחיד ומוסיף תכונות דמויות מחסן - עסקאות ACID, SQLing, ו-schemaאכיפה - על גבי למעלה. EDA מספקת את הרקמה החיבורית שמאפשרת זרימת נתונים בזמן אמת לתוך האגם.

בבית אגם, אירועים זורמים ישירות לתוך אגם דלתא או שולחן Iceberg, שבו הם זמינים באופן מיידי עבור שני ה-BI ומכונה למידה עומסים עבודה. נופים ממונעים או המשרתים שכבות ניתן לעדכן באמצעות פונקציות מופרשות אירוע.זה מבטל את הצורך במערכות נפרדות ומפחית את תנועת הנתונים, המוביל לעלויות נמוכות יותר וארכיטקטורה פשוטה יותר.

אתגרים ושיקולים

בעוד היתרונות של EDA עבור אגם נתונים ואינטגרציה מחסנים הם משמעותיים, ארגונים חייבים לנווט מספר אתגרים כדי להשיג הצלחה.

אירוע המסדר והזמן לחיות

אירועים עשויים להגיע מתוך סדר בשל עיכובים ברשת או אסטרטגיות חלוקה.ללא הזמנה נכונה, נתוני המחסנים יכולים להפוך לבלתי עקביים. Solutions כוללים באמצעות חלוקת אירועים הממוקדים על ידי מזהה עסקי, זמן אירוע מינוף (לא זמן עיבוד) עבור הזמנת, והפעלה של מבני נתונים סובלניים לעקביות כמו יומנים.

בדיוק פעם אחת סימנטיקה

משלוח At-least-once נפוץ במתווכים אירועים, כלומר צרכנים עשויים לראות אירועים משוכפלים.מחסני נתונים דורשים בדיוק על סימנטיקה כדי להימנע מספירה כפולה במערכים.זה ניתן להשיג על ידי הפיכת צרכנים idempotent - באמצעות מקשי שכפול (למשל, אירוע) וביצוע upserts - או על ידי סמך עסקאות כי בדיוק תמיכה זה, כמו עיבוד של קפקאמן בדיוק עם קוגני.

איכות נתונים ושקת ממשל

לעתים קרובות, צ'מה אירוע משתנה עם הזמן דרישות עסקיות להתפתח.ללא ממשל, הצרכנים למטה יכולים לשבור.הפרקים הטובים ביותר כוללים שימוש במרשם סכימה עם בדיקות תאימות, גרסאות אירועים, וליישם מדיניות schema Evolution (למשל, התאמה לאחור, תואמים קדימה, בדיקות איכות נתונים צריך להיות מיושם הן ביצרן האירוע (כדי לתפוס בעיות מוקדמות) וצרכן (לאירועים מאומתים או מפורשים).

מורכבות תפעולית ובדיקה

פלטפורמה מבוססת אירועים של נתונים כוללת חלקים רבים: יצרנים, ברוקרים, מעבדי זרם, וצרכנים.עקב אחר עצלות, דרך חישוב, ושיעורי שגיאה בכל הצנרת היא מאתגרת.ארגונים צריכים להשקיע בכלים של observability כי לעקוב אחר קואזאזאז' אירוע, התראה על לחץ גב, ולספק לוחות נתונים לעקביות מקצה לקצה.ניהול עיבוד ארצי (למשל, ב-Flinks) או דרישות משאבים מיוחדים.

הפרקטיקה הטובה ביותר ליישום EDA בפלטפורמות נתונים

כדי למקסם את היתרונות של שילוב מונע אירוע תוך צמצום הסיכון, בצע דפוסים מוכחים אלה.

התחל עם שינוי נתונים

CDC הוא נקודת כניסה נמוכה ל- EDA. על ידי הזרמת נתונים ממערכות עסקה, אתה יכול מיד להביא נתונים בזמן אמת לתוך אגם הנתונים שלך ומחסנים ללא שינוי יישומי מקור. השתמש בכלים CDC בוגרים כגון Debezium או AWS DMS המשלבים עם קפקא וחנויות נתונים פופולריות.

בחרו את ה-Fretificer

Apache קפקא הוא תקן דה פקטו עבור גבוה דרך חישוב, אירוע עמיד הזרמת. עבור מקרים פשוטים יותר או סביבות ענן-native, לשקול אמזון Kinesis, גוגל / sub, או Azure Event Hubs. להעריך גורמים כמו קיבולת, דרישות שקיפות, שילוב עם כלי קיים, ומבצעי overhead.

לקוחות פוטנציאליים

עיצב את כל הצרכנים להתמודד עם אירועים כפולים בחסד. השתמש בשילוב של פעולות UPSERT ולוגיקה דה-דופל.במחסנים מבוססי SQL, למנף הצהרות MERGE עם תעודות זהות אירועים. בסביבות האגם נתונים, השתמש ברגישות ברמת הקובץ (למשל, כתיבה לנתיבי קבצים ייחודיים) או יומני עסקה.

המונחים: Schema Governance

אימוץ רישום שema (למשל, Confluent, AWS Glue Schema) כדי לאכוף את חוקי תאימות בין ייצור וצריכת יישומים.אוטומטיים schema אימות כחלק מהצנרת CI /CD שלך כדי למנוע שינויים פורצים מלהגיע ייצור.

עקבו אחרי End-to-End Latency

הגדר מדדים לייצור אירועים, זמן משלוח מתווך, וזמן עיבוד הצרכנים. Aim עבור לולאה משוב שבו הגמישות מגבירה מעוררת אזעקה ודרגות אוטומטיות. השתמש בסבב מבוזר (למשל, OpenTelemetry) כדי debug צווארי בקבוק צינורות מורכבים.

תפקיד פלטפורמות נתונים גמישות בעולם Event-Driven

כאשר ארגונים מאמצים את EDA לשילוב נתונים, הפלטפורמות המחברות את זרמי האירוע הללו הופכות קריטיות.פלטפורמת נתונים גמישה כמו Directus פועלת הן כצרכן אירועים והן למפיק, ומאפשרות קישוריות חלקה בין ברוקרים אירועים, מסדי נתונים ומערכות ניתוח. Directus יכול לפרסם את webhooks או להקשיב לזרמים חיצוניים לאירוע כדי לעדכן את מסד הנתונים הבסיסי שלו בזמן אמת.

על ידי חשיפת API מאוחדת על גבי מקורות נתונים הטרוגניים, Directus מפחית את המורכבות של שילוב כלי EDA עם לוגיקה עסקית.צוותים יכולים להתמקד על מחיקת ערך מאירועים ולא לכתוב קוד דבק מותאם אישית עבור כל סוג של אירוע.

מסקנה

Event Driven Architecture הוא שינוי יסודי של האופן שבו אגמים נתונים ומחסני נתונים משולבים ומופעלים. על ידי העברת מזחלות לזמנים אמיתיים, דפוסים מונעים אירועים, ארגונים להשיג שקיפות נמוכה יותר, קיבולת רבה יותר, ומערכות נתונים תגובתיות יותר. Lakes הופכת לזרמים רצופים רצופים של אירועים גולמיים, בעוד שמחסני נתונים מקבלים עדכונים מצטברים שמונעים מ-BIs טריים.

עם זאת, הצלחה דורשת תשומת לב זהירה לקביעת אירוע, מכלול הנתונים, ממשל סכימה, ו ניטור תפעולי.עם האדריכלות הנכונה וכלי - כולל CDC, schema, רשם, צרכנים נטולי יכולת, ופלטפורמות גמישות כמו Directus - ארגונים יכולים לרתום את מלוא העוצמה של שילוב נתונים מונע אירועים.

(ב) ◄ ⁇ ⁇

  • (ב) אדריכלות מבוססת על ויקיפדיה (FLT:0)
  • (ב) מה זה אגם נתונים?
  • (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ויקרא י"ד:
  • (ב) ,0) שינוי הנתונים שנלכדו (הופנה מהדף ההרחבה 1)