פיתוח אירועים אוטומטיים לזיהוי אירועים עבור מחקרים הידרולוגיים

מחקרים הידרולוגיים מסתמכים על זיהוי מדויק ואפיון של אירועי משקעים כדי להבין דינמיקת מחזור מים, להעריך סיכונים הצפה, להעריך את השפעות שינויי האקלים.בדרך כלל מפצה סדרות זמן רצופות מדפי גשם, רשתות מכ"מים, או הערכות לוויין הן כוח-כוח-עבודה והסתברות להטיה סובייקטיבית.פיתוח אלגוריתמים אוטומטיים המזהים אירועים מניהול מים גולמי מציעים, ניתנים להחלפה, ואופטימיים אלה מאפשרים אלגוריתמים קריטיים מוקדמים, ניטור, לספק מערכות בקרה, קריטיות, לספק מערכות בקרה, קריטיות, קריטיות, לספק מערכות תמיכה מודרניות, לספק מוטציות, ומאפשרות, לספק מוטציות קריטיות, לספק למערכות בקרה, בדיקות טיפוליות, ומאפשרות, ומאפשרות, ומאפשרות, קריטיות, קריטיות, לספק מערכות בקרה, בדיקות יעילות, לספק מערכות בקרה, קריטיות, בדיקות טיפוליות, לספק מוטציות קריטיות, קריטיות, לספק מערכות בקרה, קריטיות, קריטיות, בדיקות טיפוליות, בדיקות טיפוליות, ומאפשרות, בדיקות הידרו-מספקות, בדיקות טיפוליות, ומאפשרות, ומאפשרות, לספק מוטציות מתקדמות, ומאפשרות, לספק מוטציות קריטיות, ומאפשרות, לספק אלגוריתמיות, ומאפשרות, בדיקות טיפוליות, בדיקות

חשיבותה של זיהוי טרום-אימון אוטומטי

גילוי ידני בדרך כלל כרוך בדיקה חזותית של היסטוגרפים או אנימציה מכ"ם, משימה שהופכת לא מעשית כאשר מטפלים עשרות שנים של נתונים אנתרופולוגים גבוהים מרשתות חיישן צפופים. אנליסטים אנושיים עלולים להחמיץ קצרי-תזונה, אירועים בעלי רגישות נמוכה או גישות בלתי עקביות של סיכות הפעלה, המציגות שגיאות מערכתיות לניתוחים עוקבים.

יתר על כן, זיהוי אוטומטי מקל על המחקר של מאפיינים אירועים - תאורה, אינטנסיביות, תדירות ועונה - לאורך תקופות ארוכות, המאפשר זיהוי מגמה ומחקרי תגמול. כמו מודלים אקלים שינויים במשטרי המשקעים, אלגוריתמים זיהוי חזקים הופכים הכרחיים עבור הטמעת מודלים מודלים בקנה מידה נגד סטטיסטיקות אירועים נצפו.

מקורות נתונים וקידום

גילוי אירוע יעיל מתחיל עם נתונים באיכות גבוהה של משקעים.הבחירה של מקור נתונים משפיעה על עיצוב אלגוריתם, זיהוי סף, וזיהוי אי ודאות.מקורות משותפים כוללים:

(ב) [15] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ,0) ,Wather מכ"מ (Weather מכ"מ) 1 (ה) מספק הערכות מרחביות רציפות ברזולוציה גבוהה, אם כי בכפוף לחסימת דבורים, העצמה, וההמרות הרהורים.
(FLT:0) ראטלייט חוזר על עצמו מחדש של LT:1 ; סיקור עולמי מפלטפורמות כגון GPM (מדד ההנצחה העולמי) ו IMERG, עם פתרון קוארררר וודאות גדולה יותר לאירועים קצרים.
(FLT:0) חידושים מוצרים FLT:1 - נתונים מעוננים כמו ERA5 המשלבים תצפיות ומודל תפוקה, המציעים רשומות ארוכות ועקביות לניתוח מגמה.

ללא קשר למקור, עיבוד מוקדם הוא חיוני.נתוני רול מכילים לעתים קרובות חפצים כגון התערבות רדיו, קלמנט הקרקע או שגיאות שידור. בקרת איכות כולל הסרת ספיג, מחיקה זמנית עבור פערים קצרים, ובדיקות עקביות מרחביות עבור מוצרים המבוססים על רשת.נרמליזציה עשוי להיות נדרש בעת שילוב מקורות מרובים כדי לפגוע יחידות וצעדי זמן.

עקבו אחרי Missing Data

גפרציות בסדרה הזמן יכולות להוביל לשלילים כוזבים או לאירועים מלאכותיים.אסטרטגיות נפוצות כוללות התערבות ליניארית של פערים קצרים יותר ממשך האירוע הצפוי, או שימוש בתחנות השכנות/השקה להתערבות מרחבית.גישות מתקדמות יותר להעסיק רשתות מהפכתיות זמניות כדי למנוע ערכים חסרים עקב דפוסים מחוסנים, אם כי דורשות אימות זהיר כדי למנוע הצגת הטיה.

המונחים: Detection Algorithms

למרות מגוון הטכניקות, רוב הגלאים של אירוע המשקעים האוטומטיים חולקים מסגרת משותפת הכוללת ארבעה שלבים: רכישה, עיבוד, זיהוי ואימות. אנו מרחיבים את קווי המתאר המקוריים כדי לספק עומק טכני.

רכישת נתונים

צינורות צבירה אוטומטיים מביאים נתונים מ- APIs, שרתי FTP, או מסדי נתונים מקומיים במרווחים קבועים.עבור פעולות בזמן אמת, יש לשקול את ההיקף של העברת נתונים - מוצרים סלקטיימים לעתים קרובות יש קיבולת של 2-6 שעות, בעוד שנתוני מכ"ם עשויים להיות זמינים בתוך דקות.האלגוריתם של זיהוי חייב להתאים עיכובים כאלה ללא סיבוכים של זמן.

עיבוד מוקדם

מעבר לניקוי, עיבוד מוקדם עשוי לכלול סינון כדי להסיר מחזורים דיווראליים או עונתיים אם האלגוריתם מסתמך על זיהוי אנומלי. עבור מוצרי לוויין, תיקון הטיה באמצעות תצפיות מד (למשל, מיפוי קוונטי) הוא לעתים קרובות מיושם לפני זיהוי כדי להפחית את ההפחתה השיטתית של משקעים כבדים.

אירוע זיהוי

זהו שלב הליבה: לתרגם סדרה של זמן מתמשך לאירועים דיסקרטיים.ברוב האלגוריתמים, אירוע המשקעים מוגדר כתקופה בולטת שבמהלכה עוצמתם עולה על סף מסוים, עם מרווח יבש מינימלי בין אירועים כדי להבטיח הפרדה.

יישום Threshold - המרת אטימות לתוך דגלים בינאריים / לא-אפילו.
Wet-spell קיבוץ - מיזוג של זמן רטוב לאחור לתוך אירועי מועמד.
מינימום סינון זמן - דחיית אירועים קצרים יותר מאשר משך סביר מבחינה גופנית (למשל, 5 דקות לתאי תערובת, שעה אחת לגשם סטריפט).
גילוי התעלות - איתור השיעור המקסימלי בכל אירוע לסיווג על ידי סוג (אור, מתון, כבד).

אימות

אימות משווה אירועים מזוהים נגד תחילת נתונים של הפניה, בדרך כלל נגזר ניתוח ידני או מוצרי מכ"ם באיכות גבוהה. metrics כוללים הסתברות לגילוי (POD), יחס אזעקה כוזב (FAR), ומדד הצלחה קריטית (CSI) להערכה מבוססת אירוע, מדדים נוספים כגון שגיאות משך אירוע ותזמון כבוי הם מגובשים.

טכניקות המשמשות לגילוי אלגוריתמים

שלב הזיהוי ניתן לממש באמצעות שיטות חישוביות שונות, כל אחת עם הפסקות סחר בין פשטות, פרשיות ודיוק.Weפרט ארבע משפחות עיקריות: סף מבוסס, סטטיסטית, למידת מכונה והיברידי.

שיטות מבוססות Threshold

הגישה הפשוטה ביותר קובעת סף אינטנסיביות קבועה; צעדים עם משקעים מעל סף זה נחשבים רטובים.סף מבוסס לעתים קרובות על רגישות כלי (למשל, 0.1 מ"מ h-1 עבור מדפי טיפ-באט) או קריטריונים ספציפיים יישומים (למשל, 0.5 מ"מ - 1 עבור זיהוי אירועים המשפיעים על לחות אדמה).

מודלים סטטיסטיים

שיטות סטטיסטיות מודל ההפצה של משקעים אינטנסיביות לזהות אירועים כמו חריגות או שינויים במשטר.לדוגמה, ממוצע נע של אינטנסיביות יכול להיות בהשוואה לערך הצפוי שלה תחת מודל אפס של משקעים; תקופות מעל 95% של ההתפלגות הקלימטולוגית הם מעוות כמו אירועים.מודלים מוסתרים מארקוב מתאימים במיוחד לזיהוי כי הם מתייחסים לרצף של מצבים נסתרים (כמו רצף של מצבים חמורים), אך סביר להניח כי הוא זקוק לאלגוריתם "גשם" (ב" (בדומה), אך"לעקוב" (בצורה טבעית) אך" ( ⁇ ) "גשם" ( ⁇ ), אך" ( ⁇ ), אך" ( ⁇ ) באופן טבעי) "סביר להניח, אך" ( ⁇ ) "סביר להניח, אך" ( ⁇ ) "סביר להניח, "גשם" ( ⁇ ) "סביר להניח, "תיקים" (avry") "מתאים יותר), אך" (avry)" (avry) "מתאים במיוחד לאלגוריתם" (avry)" (avry) באופן טבעי, אך" (astrice) "תיקים) "ת" (avry)" (aphy") הם מתאימים במיוחד לאלגוריתם) "תיקים) "תיקים" (

Machine Learning

שיטות למידה מבוקרות מתייחסות לגילוי אירועים כבעיה סיווג בינארית: בהתחשב חלון של צעדים זמן, לחזות האם מרכז החלון הוא חלק באירוע.תכונות כוללות ערכים נוכחיים ומעודנים, רדאר רפלקטיביות ⁇ ולהקות לווייניות (שנופים, מסווגים פופולריים) כולל מכונות וקטורת אבטחה (SVMs), יערות אקראיים, ורשתות עצביות עמוקות יותר.

גישות היברידיות

שיטות היברידיות משלבות את נקודות החוזק של סף וגישות למידת מכונה.לדוגמה, מודל סטטיסטי עשוי לזהות אירועים מועמדים, אשר מעודנים על ידי מתווך כדי להפחית את האזעקות השקריות. לחלופין, אלגוריתם מבוסס הסף יכול להיות מכוון באמצעות אלגוריתמים גנטיים כדי לייעל את הפרמטרים שלה נגד סט אימות.שילובים כאלה לעתים קרובות מחלחלים כל שיטה אחת, במיוחד באזורי אקלים heterogeneous.

אימות Metrics and Assessment

הערכה ריגורית חיונית לזיהוי אוטומטי.בחירה של מדדים תלויה בשאלה האם הניתוח הוא קטגוריאלי (אפילו לא לא-אפילוט) או מתמשך (למשל, משך אירוע). פרמטרים קאוליאורטיים סטנדרטיים שמקורם בטבלה של שקיפות כוללים:

(ב) ⁇ (ב) ⁇ :0) אמינות של גילוי (POD) ⁇ 1= להיטים / (hits + Misses) - מדדים את השבר של אירועים שנצפו בצורה נכונה.
(ב) [15] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
מדד הצלחה (CSI) ReveFLT:1 = להיטים / (hits + Misses + אזהרות שווא) - משלב את שתי השגיאות והוא מתאים לאירועים נדירים.
(ב) ,0) ,[[1924]]]], [[1924]]]]]]

עבור תזמון אירוע, משמעות טעות מוחלטת (MAE) בין מקרים מזוהה ומועדי ההתייחסות משמשים.יחס משך האירוע (המוכר/מכובד) חושף הטיה שיטתית.זה קריטי לאמת לא רק ביצועים הכוללים אלא גם stratification על ידי עוצמת אירוע, משך ועונה. לדוגמה, אלגוריתם עשוי להופיע היטב על סערות כבדות, אלא להחמיץ ייבוש אור, אשר יכול להיות מקובל על מחקרים מבוליים אך לא יישומים אקולוגיים עבור יישומים קוסמטיים.

אתגרים

למרות ההתקדמות האלגוריתמית, כמה אתגרים נמשכים לפריסה מבצעית:

מידע על heterogeneity

שילוב נתונים ממקורות מרובים (גאג, מכ"ם, לווין) מציג חוסר עקביות בהחלטה, דיוק, ו-Sampling temporalities. ניצול אלה לתוך מסגרת זיהוי מאוחדת דורש פיזור אי ודאות מפורש. לדוגמה, מוצרי לוויין לעתים קרובות מזלזלים מאוד משקעים קלים, המוביל להנפקה שיטתית באזורים עקשניים.

המונחים: terogeneity

קלפטולוגיה של קדם-תאמנטלית משתנה באופן דרמטי על פני מרחקים קצרים - או שיפור אוטוביוגרפי, אפקטים באגם, איים חום עירוניים.אלגוריתם מכוון לאקלים יבשתי באמצע-latitude עשוי להיכשל במשטר מונסון החוף. אלגוריתמים הסתגלות אשר לומדים פרמטרים ספציפיים לאזור או לשלב קובארדיה גיאופיזיקה (מעלה, מרחק לחוף) נמצאים תחת התפתחות אך אינטנסיבית חישובית.

עיבוד בזמן אמת

מערכות התראה מבול דורשות זיהוי בתוך דקות של התרחשות.השיטות המבוססות על Threshold מספקות את הצורך הזה, אבל למידת מכונה ומודלים סטטיסטיים עם נטיות גבוהה (למשל, אלה הדורשים נתונים מלאים כדי לחשב את אחוזי הראייה הקלימטולוגיים) אינם מתאימים. Edge וטכניקות מחשוב מודל עשויים לגשר על הפער הזה אך עדיין לא רחבים ב הידרולוגיה.

הפרדה ופרשנות

כאשר אירוע אחד מסתיים, ועוד מתחיל הוא רב-משמעי לחלוטין.סערה אחת עלולה לייצר התפרצויות כבדות לסירוגין מופרדות על ידי דקות, אשר יכול להיות מוגדר כאירוע רב-אפאק אחד או מחולק לאירועים מרובים.הבחירה של משך החלון יבש משפיעה ישירות על סטטיסטיקות תדירות אירוע.אין כלל אוניברסלי; החלון יבש צריך לשקף את היישום - קצר לניתוח הצפה, ארוך עבור מחקרי איזון מים.

מחקרים ויישומים

גלאי אירועים אוטומטיים פרוסים בהקשרים מגוונים.האירונאוטיקה הלאומית ו- Space Administration's (NASA) Integrated Multi-satellitE Retrievals for GPM (IMERG) משתמשים באלגוריתם רב-סנסורים כדי לזהות משקעים ברחבי העולם ומייצרת קלמטולוגיה ארוכת טווח המשמשת למעקב בצורת.

יישום בולט נוסף הוא הידרולוגיה עירונית, שבו רשתות מד ברזולוציה גבוהה (למשל, 0.5 דקות דגימה) לייצר מיליוני קוראות בשנה. אלגוריתמים אוטומטיים מאפשרים ניתוח של קיצוניות גשם עבור עיצוב ניקוז ללא ריפוי ידני.הניתוח של Hyper-resolution (HyRA) משתמש בשילוב של סף הסתגלות ושיא זיהוי כדי לאפיין תכונות של רשומות גבוהות כאלה (Frighterlimates) LT.

כיוונים עתידיים

הדור הבא של אלגוריתמים לזיהוי אירועים במשקעים יכיל מספר חידושים:

(FLT:0) מרבי-מקור נתונים היתוך:1) באמצעות שיטות Bayesian או רשתות עצביות עמוקות אשר מטפלות בנתונים חסרים והחלטות שונות.
(ב) ,0) למידת מכונה ממוחשבת של למידת ידע מספר 1 (FLT:0) המגבילה את התפוקה לכבד את חוקי השימור, צמצום גבולות האירועים הלא מציאותיים.
(FLT:0) למידה מבוססת-על-מחדש 1 (FLT:0) למודלים לפני אימון על נתונים גדולים שלא נלאו, ואז חתומה על אירועים ידניים מינימליים - קריטיים לאזורים חסרי תוויות.
(FLT:0) אלגוריתמים של זמן אמת (FLT:1 אלגוריתמים) אשר מתאמתים את סף זבוב המבוסס על מגמות האקלים האחרונות (למשל, העברת חלונות של 30 שנה) כדי לשמור על ביצועים תחת אקלים לא יסטורטורי.
(FLT:0) הסביר AIFLT:1 לספק hydrologist עם ביטחון בזיהוי מכונות על ידי הדגשת אילו תכונות (למשל, הרהורים הרהורים מכ"ם, טמפרטורת פני ענן) הובילו את דגל האירוע.

יוזמות בינלאומיות כמו מרכז ה- Global Precipitation Climatology של WMO פועלות לקראת סטנדרטיזציה הגדרות אירועים וציון אימות של מוסדות.פגיעה כזו תזרז את אימוץ של זיהוי אוטומטי ב הידרולוגיה התפעולית ברחבי העולם.

מסקנה

אלגוריתמים אוטומטיים לזיהוי משקעים הם הכרחיים למחקרים הידרולוגיים מודרניים, המאפשרים ניתוח אובייקטיבי, מדרגי וזמני של נתוני משקעים.מטכניקות המבוססות על הסף ללמידה עמוקה, כל גישה מציעה יתרונות נפרדים.בחירה של שיטה חייבת להיות מונחת על ידי זמינות נתונים, מגבלות חישוביות, ואת המחקר הספציפי או המטרה המבצעית.על אתגרים הקשורים לעקביות נתונים, גמישות מרחבית, וביקוש בזמן אמתי המשך תהליכי בקרה, כמו שינויים קריטיים של מערכות ניהול נתונים, אפילו ספקטרום קריטיים, הוא שינוי אקלים, אפילו ספקטרום קריטיים, כמו גם שינויים קלים יותר, כמו גם על פני מערכות ניהול חומרים אוטומטיים יותר, כמו גם על פני מערכות ניהול חומרים מתקדמים יותר, קריפטומטרידים.