הבנת נתונים באמצעות מחשבים גדולים של מערכות רכישה נתונים של ADC

Analog-to-Digital Converters (ADCs) הם עמוד השדרה של מערכות מדידה מודרניות ניטור, תרגום אותות אנלוגיים רצופים לערכים דיגיטליים דיסקרטיים בקנה מידה גדול - כגון ניסויים בפיסיקה חלקיקים, מערכות מכ"ם בשלבי-ריי, או הדמיה רפואית ברזולוציה גבוהה - הנתונים באמצעות ADCs יכולים להגיע מאות ג'יגה-בייט לשנייה ניהול זה דורש הבנה עמוקה של חלבונים, אפילו באמצעות ארכיטקטורת אבטחה מהירה יותר, או מגבלות קריטיות.

נתונים באמצעות ערכת ADC מוגדרים כמוצר של קצב הדגימה ואת עומק מעט הדגימה, מוכפל על ידי מספר הערוצים.לדוגמה, ADC sampling ב 1 ג'יגה-אס לשנייה (GSPS) על ערוץ יחיד מייצר 12 ג'יגה-בייט לשנייה (Gbps) של נתונים גולמיים.

גורמים קריטיים שמטפלים באמצעות חישוב

כדי לעצב מערכת העומדת בדרישות חישוב, מהנדסים חייבים להעריך ארבעה תחומים עיקריים:

  • (FLT:0) תפוקה ממשק רוחב פס FLT:1: ADCs מהיר מודרני להשתמש JESD204B / C ממשקים סדרתיים עם שערי נתיב עד 32 Gbps לכל הנתיב.מספר הנתיבים ואת שיעור קו ניתן להשיג ישירות לקבוע את המקסימום דרך הממיר.
  • (FLT:0) ניכוי שרשרת ה- LatencyFIRLT:1; לאחר ADC, נתונים בדרך כלל עוברים דרך FPGAs או דיגיטלית down-converters (DDCs) אם שלב העיבוד אינו יכול לקבל נתונים בקצב ADC המלא, לחץ חוזר יכול לגרום לאובדן דגימות.
  • (ב) [15] ב[[1924]], [[1924]], [[1924]]]]]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]], [[1924]]]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]], [[1924]]]], [[1924]]]]]]]]]], [[1924]]]], [[1924]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]] [[1924]]]]]]
  • (FLT:0) כתיבת מהירות כתיבה מהירה (FLT:1): אפילו ה- ADC המהיר ביותר הוא חסר תועלת אם מערכת האחסון לא יכולה לספוג את קצב הכתיבה המתמשך.כונן דיסק קשיח מסורתי (HDDs) למעלה מ-250 MB/s; NVMe כונן מצב מוצק (SSDs) יכול להתמודד עם 5-7 GB/s למכשיר.

הבנת מגבלות אלה מאפשרת למעצבים לבצע ניתוח יסודי של תקציב קישור לפני בחירת חומרה.טעות נפוצה היא לציין ADCs עם שיעורי דגימה גבוהה אבל אז לקשור אותם עם רוחב פס לא מספיק אחורי, וכתוצאה מכך אובדן נתונים תחת עומס מתמשך.

אדריכלות עבור High Throughput: מ-ADC לאחסון קבוע

כדי להשיג נתונים אמינים באמצעות חישוב במערכת ADC בקנה מידה גדול, האדריכלות חייבת להיות כבולה וניתוק מחדש.ניתן לפרק את נתיב הנתונים לשלושה שלבים: רכישה ודיגיטליזציה, שידור ואגרציה, אחסון וניתוח.

שלב 1: רכישת ועידוד

בקצה הקדמי של החיישן, ADC ורשתות אנלוגיות קשורות חייב להיות קרוב פיזית למקור האות למזער רעש וירידה אות. על גבי מודול ADC, FPGA קטן או microcontroller לנהל את הסידורים והנתיבים. . . .0 [ההההההההתמקמומים] בפרוטוקולים המאוחרים הבאים, כמו בדיקות מחזוריות (CRC) מוטבעות בפרוטוקולים קצרים, גם כן, יש צורך להפחתה משמעותית של ניהול נתונים.

שלב 2: Transmission and Aggregation

לאחר דיגיטציה, זרמי נתונים מערוצי ADC רבים חייבים להיות מצטברים על מטוס משותף או רשת.יש שתי גישות דומיננטיות: FLT:0 עקיפה זרמים FLT:1 לשרת מרכזי על פני Ethernet מהיר במהירות גבוהה, או (FLT:2coherent עיבוד FLT 3: ב-FPGA לפני שידור מערכות בזמן אמת או מערכי שלב, או גישה דיגיטלית, כאשר היא מאפשרת גישה דיגיטלית, כלומר, אם היא מאפשרת גישה מתאימה באמצעות שימושית, אם היא מאפשרת גישה דיגיטלית, כלומר, אם היא מאפשרת גישה מתאימה באמצעות מסד נתונים (D).

בכל מקרה, בד מתג במהירות גבוהה (למשל, 1024-port 100GbE מתג) משמש כ- ggregation backbone. פרוטוקולים ברשת כמו RDMA על Ethernet מודבק (Rov2) או TCP Offload Engine) עוזר להפחית CPU מעל CPU מעל פני קו רוחב שידור.F:0InfiniBands Nativeds RDds (Rov2) או TCP Off Engine Off Engine) לעתים קרובות נבחרו מ-HPC) מ-Hp.

שלב 3: אחסון וניתוח

השלב הסופי מקבל את זרם הנתונים המצטבר.עבור רכישות בקנה מידה גדול, מערכת אחסון מבוזרת (כגון Ceph, Lustre, או מותאם אישית NVMe-Over-Fabric) הוא חובה. לכתוב באמצעותput חייב להתאים או לעלות על הפסגות הנכנסות, והמערכת חייבת להתמודד עם כתיבה מתמשכת עם ג'טר.FLT:0Buffering בשכבה האחסוןFLT, כלומר: 1x, להפחתה של קבצים מרובים, להפחתה של 2x2x2x2x2, ללא דחיסות, ללא דחיסות יעיל.

אסטרטגיות לאחסון נתונים יעיל ב- ADC Systems

ניהול אחסון אינו רק על יכולת; הוא על נגישות, עמידות ועלות.אסטרטגיות הבאות עוזרות לארגונים להתמודד עם נפח הנתונים העצום שנוצר על ידי מערכות ADC גבוהות ללא הקרבת ביצועים או שלמות נתונים.

אדריכלות: Scalable Storages

אין דיסק אחד או אפילו מצומת אחסון אחד יכול לענות על הצרכים של מערכת 100+ GSPS במקום זאת, יש צורך בגישה היררכית:

  • (FLT:0 tierigFLT:1): ערכי NVMe מהירים (RAID 0 או 10) עבור נתונים שנרכשו או לנתח כיום.שכבה זו מספקת את המהירות ביותר לכתוב מהירויות - לעתים קרובות מרובות עשרות GB / s - אבל יקר ל terabyte.
  • (FLT:0) Warm tierigm tierigFLT:1: מערך RAID מבוסס HDD או אחסון אובייקטים עבור נתונים שאינם כתובים באופן פעיל, אך עדיין צריך להיות נגיש בתוך שניות.
  • (FLT:0) tierigtureFLT:1: ספריות קלט או ארכיון ענן לשימור לטווח ארוך. דרישות רגולטוריות רבות או מדעיות מחייבות החזקת נתונים במשך שנים, מה שהופך את עלויות האחסון הקרות ליעילות.

העברת נתונים בין tiers צריכה להיות אוטומטית ומבוססת מדיניות.לדוגמה, לאחר מדידה מלאה, מערכת הרכישה יכולה להעביר נתונים מאחסון חם לאחסון חם, החל דחיסה ללא הפסד (למשל, LZ4 או zlib) כדי להפחית את הצרכים של 30–50% ללא הפסד של דגימות.

טכניקות מתקדמות להורדת נתונים

קומפרסון הוא אחד הכלים החזקים ביותר לניהול אחסון נתונים של ADC, אך יש ליישם אותו בזהירות כדי להימנע מהידרדרות באמצעותput. במערכת רכישה בזמן אמת, דחיסה חייבת לפעול בקצב קו - לעתים קרובות הדורשת FPGA ייעודי או משאבי GPU משותפים כוללים:

  • (FLT:0) דחיסות דחיסה ללא סייג 1 (Gzip, LZ4, Zסטנדרט): מבטיחות שחזור מדויק של דגימות מקוריות. דחוסים מודרניים כמו Zסטנדרט יכולים להשיג יחסי דחיסה של 2× 4x על נתונים ADC המכיל רעש תואמים או קווי בסיס קבוע.
  • (FLT:0) הפחתה של נתונים אלקטרוניים (FLT:1): במקום דחיסה של כל דגימה, מערכות יכולות לפסל דגימות מתחת לסף מוגדר מראש (למשל, באסטרונומיה רדיו, רק לשמור אותות מעל רצפת הרעש).
  • (ב) ⁇ 0 (דאטה ⁇ FLT:1): דגימות ADC לעתים קרובות לשנות לאט בין קריאה רצופה. מחיקת ההבדל (דלטה) בין דגימות מוצלח ולאחר מכן דחיסה כי זרם דלה יכול להניב יחס דחיסה גבוה מאוד עבור אותות משתנים לאט לאט לאט.

עבור יעילות מקסימלית, בחר אלגוריתם דחיסה שמתאימה למאפיינים של הנתונים.כלל טוב של אצבע הוא להעריך כמה אלגוריתמים על נתונים של ADC בפועל - ספריות קוד פתוח-פתוח מאפשרות זאת, כגון FLT:0Z סטנדרטי על ידי FacebookFLT ( 1 בפועל, Zסטנדרט ברמה 3 לעתים קרובות מספק את יחס הטוב ביותר באמצעות חישוב נתונים במהירות גבוהה.

מדיניות ניהול נתונים ושיקום

ללא ניהול נתונים ברור, אחסון ממלא במהירות עם נתונים יתומים או מחוסנים.מיישם את המדיניות הבאה:

  • (FLT:0) לוח הזמנים של שמירת נתונים: נמחק אוטומטית או נתוני ארכיון ישנים יותר מאשר תקופה מוגדרת המבוססת על דרישות הפרויקט.לדוגמה, נתוני ADC גולמי עשויים להימשך 30 ימים, בעוד תוצאות מעובדות נשמרות ללא הגבלת זמן.
  • (FLT:0) metadata tagingFLT:1: כל קובץ נתונים צריך לשאת metadata עשיר (קצב דגימה, לעורר לוגיקה, משככי כפיים, פעמים) כך שמשתמשים יכולים למצוא ולסינון נתונים ללא סריקה של החנות כולה.
  • (ב) אם מספר מערכות מתעדות אותות חופפים (למשל, במערך סיסמי), שכפול ברמת בלוק יכול לחסל אחסון מחוספס.

Balancing Throughput and Storage: Practical System Design

ההיבט המאתגר ביותר של בניית מערכת רכישה ADC בקנה מידה גדול הוא המסחר בין דרך ערכת אחסון ומחסן. A מערכת המיועדת למקסימום דרך לעתים קרובות יש מכוונת מינימלית וכותבת ישירות לשכבה אחסון מהירה מאוד. עם זאת, אם שכבת האחסון אינה יכולה לעמוד בקצב הכתיבה שיא ללא הגבלת זמן (למשל, בגלל איסוף אשפה ב- SSDs או רשת), המערכת חייבת לנפץ את הסיכון של ADC או אובדן זיכרון הפוך.

הגישה המומלצת היא ליישם לולאת בקרת משוב (FLT:1) בין קצה החזית של הרכישה לבין מערכת האחסון.על ידי ניטור עומק התור של הסימון בשכבה האחסון, בקר ADC יכול להתאים באופן דינמי את קצב הדגימה או מספר הערוצים הפעילים.זה נפוץ במערכות רדיו מוגדרות תוכנה (SDR) באמצעות רדיו גנו, שבו בקר ADC יכול להתאים באופן דינמי את רמת השליטה על בסיס פחמן (מערכת מבוססת קודר) המבוססת על בסיס פחמן (מערכת מבוססת תוכנה).

טכניקה נוספת היא ל-FLT:0. [הגדלה של אחסון קיבולת הכתיבה של קיבולת: קיבולת הכתיבה של קיבולת:0] ביחס למצופה דרך לוחצים.לדוגמה, אם דור ה- ADC הוא 100 GB/s, עיצוב האחסון האחורי כדי להתמודד עם 150 GB/s מתמשך כותב.50 זה מתאים להתפרצויות קצרות טווח וללבוש עכבות ברמת ה- SSD.

דוגמאות אמיתיות של ניהול נתונים גדול של ADC

כדי להמחיש עקרונות אלה, שקול שני תחומים שבהם ניהול נתונים של ADC הוא חשוב:

Square קילמסטר ארי (SKA) טלסקופ רדיו

ה-SKA תייצר עשרות צניחות לשנייה מאלפי אנטנה של מזון מבודקים.כל אנטנה משתמשת ב-bandwidth ADCs המדגנציה אותות מ 50 MHz למספר GHz.ההנתונים נאספים באמצעות רשת סיבים אופטית מהירה גבוהה למתקן עיבוד מרכזי.יש שילוב של FPGA מבוסס מחסני נתונים ל-241b, אשר נשמר על ידי קובץ VVib בלבד.

ניסויי Hadron Collider (LHC)

ב CERN, גלאיים כמו ATLAS ו- CMS משתמשים ב- ADCs בעשרות מגה-הרץ כדי לדגיד את אירועי ההתנגשות.קצב הנתונים הגולמיים מכל גלאי הוא קטבייט לשנייה, אבל מערכת טריגר מפחיתה את שיעור הרשום ל-1 GB/s.למרות שהנתונים המאוחסנים בשנה עולה על 50B.אדריכלות האחסון משתמשת במערכת אחסון היררכית: (NV) לדיווחים קריטיים (C5) עבור דחיסות C.

דוגמאות אלה מראות כי ניהול באמצעות ערכת אחסון ו-cookre הוא אופטימיזציה משותפת של חומרה, דחיסה ומדיניות - לא מחשבה.

מגמות עתידיות ב- ADC Data Throughput and Storage

ככל שטכנולוגיית ADC מתקדמת, שיעורי הדגימה ומעמקים קטנים ממשיכים להגדיל את ה- ADCs מבוססי ADC דוחקים למאות GSPS, בעוד שרזולוציה מגיעה ל-24 ביטים בהרכב מדויק.עם התפתחויות אלה, הגישה המסורתית של "לסגור הכל ולחסן מאוחר יותר" הופכת לבלתי-קיימא.

  • (FLT:0) אינטליגנציה גבוהה (In-networks IntelligenceFLT:1: מתגים חכמים ו- DPUs (יחידות עיבוד נתונים) שיכולים לסנן, לדחוס או להצפין נתונים ADC לפני שהוא אפילו מגיע למערך האחסון, להפחית באופן דרמטי את דרישות השימוש והקיבולת.
  • (FLT:0) זיכרון לא-volatile מביע ביטוי 1 (NVMe) על גבי מרקים (NVMe-oF) כחיבור מאוחד, המאפשר העברת זיכרון ישירה לזיכרון ללא מעורבות CPU. זה מקטין את הסבלנות ומגדיל את יעילות באמצעות חישוב.
  • (FLT:0) Machine Learning-based דחיסה 1Eve (משנת 2017), אשר לומדת את הדפוסים הסטטיסטיים של אותות ADC בזמן אמת, ומספקת יחס דחיסה גבוה בהרבה מאשר אלגוריתמים למטרות כלליות עבור אותות שאינם .

ארגונים שמשקיעים בטכנולוגיות מתפתחות אלה יהיו מוכנים להתמודד עם הדור הבא של מערכות רכישה של נתונים מהירות גבוהה.

מסקנה

ניהול נתונים באמצעות חישוב ואחסון במערכות רכישה של נתונים בקנה מידה גדול של ADC הוא אתגר רב-פני הדורש גישה הנדסית הוליסטית.על ידי הבנה מעמיקה של המגבלות על ידי קידוד - מ ממשקי ADC ועד בדים ברשת ומהירויות כתיבת אחסון - מהנדסים יכולים לתכנן ארכיטקטורות כי להימנע מצוואר בקבוקונים.אדריכלות אחסון סקאלהפולטי, בשילוב עם מדיניות תחזוקה חכמה וניהול נתונים, להבטיח את הערך המפלט מכל מדגם נשמר ללא תשתית מדעית יעילה, ללא צורך, וכן הלאה, ללא בעיות אבטחה מתקדמות, וכן הלאה, תוך תכנון יעיל, באמצעות אבטחה ארגוני אבטחה, וכן הלאה, עם אבטחה, עם אבטחה וניהול נתונים, עם אבטחה יעילה, עם אבטחה, עם אבטחה, עם מדיניות אחסון, עם אבטחה יעילה, עם אבטחה וניהול נתונים, עם אבטחה יעילה, עם אבטחה יעילה, עם מדיניות אחסון, עם אבטחה יעילה, עם אבטחה יעילה, עם אבטחה, עם מדיניות אחסון, עם אבטחה וניהול נתונים, עם אבטחה ארגוני אבטחה יעילה, עם אבטחה יעילה, עם אבטחה וניהול נתונים, עם אבטחה יעילה, עם אבטחה וניהול נתונים, עם אבטחה יעילה, עם מדיניות אבטחה יעילה, עם אבטחה יעילה, עם אבטחה, עם מדיניות אבטחה, עם מדיניות אבטחה ארגוני אבטחה, עם אבטחה מערכת אחסון, עם אבטחה יעילה, עם אבטחה יעילה, עם אבטחה מערכת אחסון, עם אבטחה יעילה,