הקדמה: המרדף של תחזיות קדם-תיירות מושלמות

הריון - בין אם גשם, שלג, זחל, או ברד משפיע ישירות על החקלאות, ניהול מים, תגובה אסון ותכנון יומיומי. עיכוב של שעה אחת באזהרות בזק-קרקעי יכול להיות ההבדל בין החיים והמוות, בעוד מעט מתחזיות מזג האוויר יכול לעלות עשרות אלפי דולרים על עלויות השקיה גבוהות יותר.

התפתחות התחזיות של קדם-החמד

עבור רוב המאה ה-20, משקעים החיזוי התבסס על שילוב של תרשימים סינפטיים, תצפיות רדיונזה, ומודלים פשוטים של מזג אוויר מספרי (NWP) מודלים אלה פתרו דינמיקות בסיסיות ומשוואות תרמודינמיקה על רשתות חיזוי אוויר - ירידה מוגבלת של 50-100 ק"מ - והשתמשו בנתונים תצפיתיים מוגבלים.

מקורות נתונים גדולים לחיזוי מזג אוויר

המונח "מידע גדול" במטאורולוגיה כולל מקורות שיוצרים exabytes של מידע מדי יום. integrating אלה הזנות המגוונות הוא הצעד הראשון לשיפור תחזיות המשקעים.

  • (FLT:0 תצפיות תצפיות ויזואליות:0; תצפיות תצפיות: 1FLT:1 לוויינים גיאוסטריים (למשל, GOES-16, Himawari-8) מספקות תמונות גלויות, אינפרא אדום, וזיכרון מים כל 5-15 דקות. חיישנים מתקדמים מודדים עובי ענן, גודל חלקיקים וטמפרטורה, המציעים רמזים עקיפים על משקעים (למשל, NO- 120), , קרינת ענן, הוספת קרינת מיקרוגל וצלילים מעל פני , , , , קרינת מיקרוגל).
  • (FLT:0) רשתות מכ"ם של ריכ"ם כפול (WSR-88D בארה"ב) שולחות הן דוסים אופקיים והן אנכיים, המבדלים בין גשם, ברד, שלג והריסות - חיוני לזיהוי משקעים כבדים ואיומים על פני הבזק.
  • (FLT:0 תחנות מזג אוויר ומזכרים: אנדרל:1 ;000 תחנות אוטומטיות (למשל, ASOS, Meso West, רשתות פרטיות) מתעדות טמפרטורה, לחות, רוח ומשקעים ברזולוציה בת שעות.
  • (FLT:0) Aircraft ו- Radiosonde נתונים: FIRLT:1 , דוחות מטוסים מסחריים טמפרטורה, רוח ולחות במהלך ריכוז וירידה באמצעות עיכוב נתונים מטאורולוגיים מטוסים (AMDAR) רדיוונדס הושק פעמיים ביום ממאות תחנות ברחבי העולם לספק פרופילים אנכיים, קריטי עבור מודלים ראשוניים.
  • (FLT:0Climate and reanalysis datasets:Buildaph) 1:1 היסטורי reanalyses (למשל, ERA5, NCEP-NCAR) משלב תצפיות עם סימולציות מודל לייצר רשומות עקביות ורב-דה-אקדמיות אלה עוזרות להכשיר אלגוריתמים של מכונות על ידי מתן ארכיון עשיר של אירועי משקעים קודמים ודפוסי בקנה מידה גדול שלהם.
  • (FLT:0 Social Media and Crowsourced Reports: FIRLT:1) בעוד פחות סטנדרטי, דוחות של יישומים ניידים וצופים אזרחיים יכולים להשלים נתונים, במיוחד באזורים מרוחקים.

לכל מקור יש את ההחלטה שלו, השקיפות והמאפיינים של השגיאות.פלטפורמות ניתוח נתונים גדולות כגון Apache Spark ו- קפקא משמשים ל-ingest, נקי, מתפתל, ולאחסן זרמים אלה בתוך זמן אמת, ויוצרות תמונה קוהרנטית של האווירה בכל רגע נתון.

שיטות מתקדמות של Analytics שיפרו את התחזיות

לאחר שהמידע הוא רק חצי הקרב.השיטות המשמשות למיצוי ערך מערכי נתונים מסיביים ורעשים אלה הן המקום שבו נתונים גדולים באמת משפיעים על השפעתם.

מכונות למידה ומודלים למידה עמוקה

מודלים מסורתיים NWP לפתור משוואות פיזיקליות ישירות; עם זאת, הם דורשים משאבים סופר-מכילים מסיביים ולעתים קרובות לייצר פלטים מוטה כי צריך לאחר עיבוד. Machine Learning (ML) מודלים, במיוחד רשתות עצביות עמוקות, הוכיחו במודעות יוצאת דופן בלמידה של מערכות יחסים מורכבות, לא לינאריות בין תכונות קלט (למשל, רפלקטיביות מכ"ם, טמפרטורות בוהקות, חיזוי) ומשקעים שנצפויים.

  • (FLT:0Random Forest and ⁇ -boostedעציםFLT:1 (למשל, XGBoost, LightGBM): שיטות האנסמבל הללו משמשות לחיזוי משקעים פרובביליטיביים.הם לוקחים קבוצה של צופים - כמו חברי מודל, לחות, ואינדיקציות אוטוביוגרפיות - ופלט ההסתברות כי משקעים מסוימים במיקום מסוים, הם מפרשים נתונים במהירות, והם חסרים מאוד, והם חסרים.
  • רשתות עצביות (CNN) ורשתות חוזרות ונשנות (LSTMs): ⁇ 1 CNN מצטיינים בעיבוד נתונים מרחביים (radar משקפים פסיפסים, תמונות לוויין) לחזות הדמים עתידיים (העתקים) מודל LSTMs LSTMs temporal רצפים, לכידת האבולוציה של תאי סערה.
  • (FLT:0) רשתות יריבות (גנים) ומודלים דיפוזיה:03FLT:1 וטכניקות מתפתחות להשתמש ב- AI כדי להפחית את התפוקה של מודל coarse לשדות משקעים ברזולוציה גבוהה, שמירה על מבנים מרחביים מציאותיים כמו פסים גשם ותאים.

על פי המעבדה הלאומית של סומס (NSSLIRLT:1), מערכות מחשוב מבוססות בינה מלאכותית שיפרו את זמן ההובלה לאזהרות סופות רעמים חמורות עד 10 דקות בהשוואה לפירוק מכ"ם בלבד.מערכות אלה פועלות על יחידות עיבוד גרפיות (GPUs) והן יכולות לעבד נתונים מכ"ם רחבים בתוך שניות.

עיבוד נתונים בזמן אמת ומחזור נתונים

הטמעת נתונים מתמזגת בתצפיות בזמן אמת עם תחזית מודל לטווח קצר לייצר את ההערכה הטובה ביותר של המצב האטמוספרי הנוכחי.שיטות מתקדמות כגון אנסמבל Kalman מסנן (EnKF) ו-4D-Var יכולות לצרף מיליוני תצפיות בכל שעה.עם מסגרות הזרמת נתונים גדולות, מערכות הטמעה של התחממות כדור הארץ יכולות כעת לשלב מהירויות רדיו, מדידות קרינה ודיווחים בתוך מודל מהיר של 16 ק"מ"מ"מ, במיוחד על פני שעות הפעלה במהירות גבוהה של תצפיות מהירות"מ"מ"מ, במיוחד על פני תצפיות מהירות"מ, במיוחד על פני 3 שעות ביממה.

הנדסה וקידום למידה

ניתוח נתונים גדול גם כרוך ביצירת תכונות חיזוי חדשות מהנתונים הגולמיים.עבור משקעים, מהנדסים עשויים להפיק תחבורה משולבת מים (IVT), שידולות יחסי סערה, או יכולת אספקת אנרגיה פוטנציאלית זמינה (CAPE) משדות מודל מעוגלים.העברת מים (IVT), נטילת מודל למידה עמוק לפני אימון מאזור עשיר נתונים (למשל, ארה"ב או אירופה) ו- Finetuning עם זה עם רשתות קטנות יותר, במיוחד לשימוש במזג אווירי נתונים.

יתרונות ויישומים אמיתיים

היישום של ניתוח נתונים גדול לחיזוי משקעים אינו רק פעילות אקדמית; הוא מספק שיפורים מוחשיים במספר מגזרים.

חקלאות: תכנון טרום-החיונית והתכנון

החקלאים מסתמכים על תחזיות גשם מדויקות לתכנן השקיה, ליישם דשנים, וקציני זמן.תחזיות מונחות נתונים גדולים יכולות לספק תחזיות יום-ראש של משקעים בקנה מידה מרחבי תת-קרקעי של חברות כמו FLT:0IBM Weather Company FLT:1 ופלטפורמות ag-Tech פרטית משלבות מודלים גבוהים של רזולוציה גבוהה עם תחנת מזג אוויר ברמה גבוהה כדי להגדיל את רמות ההסתברות של 15% של גשם או ירידה של נתונים כבדים של 10 יבולים.

מערכות למניעת אסון ואזהרה מוקדמת

(הצפות, מפולות, ושיטפונות עירוניים הם בין הסיכונים הטבעיים הקטלניים ביותר, לעתים קרובות מופעלים על ידי גשם קצר, אינטנסיבי שיפור פיזור של משקעים כבדים - תוצאה ישירה של ניתוח נתונים גדול - נותן למנהלי חירום זמן ארוך יותר להוביל אזהרות בעיות ולהפעיל תוכניות פינוי.משרד Met בבריטניה, למשל, משתמש בהרכב של מודלים של הדבקה בשילוב עם בעיות של 24 שעות ביממה אמתיות ואפקטים מוקדמים של נתונים (Freal-Freal-Falological) על ידי אזהרות זמן של זמן קצר לפני זמן קצר לפני זמן קצר (Falmalmalthmalmextial) על ידי קרינת זמן רב יותר מטווח זמן של קרינת זמן קצר לפני זמן קצר של קרינת כדור הארץ (Falmalmtial) על ידי קרינת זמן קצר לפני זמן רב של קרינת זמן רב יותר מטווח זמן של קרינת זמן קצר של קרינת זמן קצר של קרינת זמן קצר של קרינת זמן קצר של קרינת זמן קצר לפני זמן קצר של קרינת זמן קצר של קרינת זמן קצר לפני זמן קצר של קרינת זמן קצר לפני זמן קצר לפני זמן רב יותר מטווח זמן קצר של קרינת זמן קצר של קרינת זמן מוגבל של קרינת זמן רב יותר מטווח

ניהול משאבי מים וכוח

מפעילי Reservoir חייבים לאזן את אחסון המים לשתייה, השקיה, וכוח הידרואלקטרי עם בקרת הצפה.תחזיות קדם-החפיות מדויקות, במיוחד עבור עונתיות למאזניים תת-עונתיות, לאפשר להם לשחרר מים בבטחה לפני הגשמים הכבדים או לשמר אותו במהלך לחשים יבשים של ניתוח נתונים גדולים, המאפשר שיפור אגן בינוני (1-15 יום) על ידי מודלים גלובליים עם זרם חקלאי מקומי ומדידות מים של מים, כגון מרכז נתונים של מיסיסיפי.

אתגרים עקביים

למרות ההצלחות, שילוב של ניתוח נתונים גדול לתוך משקעים תפעוליים הצפויים בפני מכשולים משמעותיים שיש לטפל בהם כדי לממש את מלוא הפוטנציאל שלו.

איכות נתונים והטרוגניות

המודעה "גרביטה פנימה, זבל" היא במיוחד יבשתית.הרדיות לוויין דורשות כיור מורכב; מדדי גשם סובלים מלמטה-קטך בתנאים סוערים; הרהורים יכולים להיות מזוהמים על ידי קלמנט קרקעיים או אנטוג בלתי-סבירים במערכות נתונים גדולות חייבים לשלב בקרה אוטומטית (QC) - בדיקות מורכבות, סינון זמני, מחסנים סטטיים, או דרישות לגילוי נתונים פתורות יותר, לפני רזולוציה גבוהה יותר, או מודלים של HDD (C) הם רזולוציה גבוהה יותר, או מודלים של נתונים.

דרישות ועלויות אנרגיה

מודלים למידה עמוקה על מודלים רבים-terabyte מזג אוויר נתונים דורש אשכולות GPU כי לצרוך חשמל משמעותי לייצר חום. הפעלת דגמי NWP עם 50+ חברים ברזולוציה של 3 ק"מ דורש גם מחשוב בקנה מידה זעיר.עבור שירותי מזג אוויר קטנים יותר או מדינות מתפתחות, העלות של חומרה ומחשוב ענן ניתן לאסור על מחשוב ומודל (למשל, רשתות עצביות קוונטיות) הם, המאפשרים פתרונות קלים להפעלת תחנות מזג אוויר או תחנות מזג אוויר מקומיות אפילו להפעיל.

קיצור של מומחיות במדעי נתונים ומטאורולוגיה

בניית מערכות ניתוח נתונים יעילות דורש שילוב נדיר של מיומנויות: ידע דומיין בפיסיקה אטמוספרית, מיומנות בתכנות (Python, R, SQL), הבנה של מחשוב מבוזר, היכרות עם מסגרות ML. סקר 2023 של שירותים מטאורולוגיים לאומיים על ידי WMO מצא כי 70% ציטטו חוסר כישרון מדעי נתונים כמכשול לאמץ חיזוי מבוסס AI.

העתיד: הגבולות הבאים בתחזיות של Big Data-Driven Precipitation

במבט קדימה, כמה מגמות מבטיחות להעלות עוד יותר את הדיוק ואת התועלת של תחזיות המשקעים.

שילוב של האינטרנט של דברים (IoT) וחיישנים קרואווידלו

חיישנים זולים, מחוברים – כמו תחנות מזג אוויר אישיות, חיישני גשם ממוספרים, וטלפונים i-phone עם קוראי לחץ ברומטריים – הם פרו-חיים. חברות כגון תת-קרקעית מזג האוויר ו- Netatmo כבר צוברות מיליוני תצפיות כאלה.Fusing אלה זרמי נתונים רועשים אך צפופים עם רשתות רשמיות באמצעות אלגוריתמים של נתונים (למשל, הקפדה עם סחף חיצוני) יכולות ליצור משקעים תת-ממים, במיוחד לאזורים עירוניים, במיוחד באזורים שבהם יש אזורים מרוחקים מרוחקים.

הסברה בינה מלאכותית לאמון ולחיזוק

מודלים של למידה עמוקה בתיבת Black-box הם לעתים קרובות לא בוטחים על ידי מטאולוגים המבצעים, אשר צריכים להבין מדוע תחזית מראה גשם כבד.סבירים טכניקות AI (XAI) כגון ערכי SHAP או הסמכת מדרגה-wise, מפותחים כדי להדגיש אילו משתנים קלט (למשל, לחות מתכנסת ברמה מסוימת) הניעו את הפלט של המודל.

תחזיות של תחזיות ברזולוציה של צוללות

ככל שהעלות של מחשוב יורדת, אנו נעים לקראת סימולציה מפורשת של סופות רעמים אינדיבידואליות במקום להסתמך על פרמטרים.תוכנית NOAA Warn-on-Forecast מפעילה כעת סימולציה מפורשת של 3 ק"מ המספקת שדות משקעים פרוברליסטיים מעודכנים כל 15 דקות.מערכות עתידיות יפעלו ברזולוציה של 1 ק"מ והטמיעו נתונים של קרינת רנטגן עם שקיפות תת-עשרה דקות.

מודל אקלים יורד על ידי למידה עמוקה

תחזיות משקעים לטווח ארוך תחת שינויי האקלים הן חיוניות לתכנון תשתיות, אך סובלים מרזולוציה של קוארזה (100-200 ק"מ) המפספסת אפקטים אוגרפיים מקומיים.על-resolution CNN ו- gans מאומן על התחדשות ברזולוציה גבוהה מסוגלים כעת להפחית את התפוקה של מודל האקלים העולמי ל-4-8 ק"מ, לייצר משקעים ריאליים עבור עשרות שנים עתידיות.

מסקנה

ניתוח נתונים גדול הפך באופן יסודי את המשקעים החיזוי, שינוי האמנות מן coarse, ⁇ סטי למדע רב-פתרון, פרוביביליסטי. על ידי צמת נתונים מלוויינים, מכ"ם, תחנות ומקורות מקודדים; החלת טכנולוגיות מתקדמות של למידה מכונה ובוללות; וריצה על מקבץ מחשוב חזק, מודלים של היום יכולים למקם את הגשמים עם גבולות יוצאי דופן וזמניים, אך ורקמות, אך ורקמות, שמירה על פני איכות גבוהה יותר, עדיין, שמירה על פני כדור הארץ, עדיין, עדיין, אתגרים, וחדשנות מתקדמת, וחדשנות מתקדמת, עדיין, וחדשנות מתקדמת, וחדשנות מתקדמת, שמירה על פני-ידי כוח-ידי כוח-טבעית, וחדשנות.