Методы ассимиляции данных осадков для улучшения гидрологических моделей

Точные данные осадков являются краеугольным камнем надежного гидрологического моделирования, которое лежит в основе таких важных приложений, как прогнозирование наводнений, эксплуатация водохранилищ, мониторинг засухи и долгосрочные исследования климата. Однако осадки сильно различаются в пространстве и времени, и наблюдательные сети — датчики дождя, метеорологические радары и спутники — имеют присущие им неопределенности и предубеждения. Методы ассимиляции данных решают эту проблему путем систематической интеграции нескольких наборов данных наблюдений в динамическую модель, исправляя ошибки как в начальных условиях, так и в структуре модели. Этот процесс дает более последовательную и точную оценку гидрологического состояния, в конечном итоге улучшая прогностические навыки. За последние два десятилетия ассимиляция данных перешла от нишевой темы исследования к основному операционному инструменту, с приложениями, начиная от предупреждений о внезапных наводнениях в реальном времени до сезонных прогнозов водоснабжения.

Понимание ассимиляции данных в гидрологии

Ассимиляция данных (DA) - это математическая структура, которая сочетает наблюдения с прогнозом модели для получения оптимального анализа - лучшей оценки текущего состояния системы. В гидрологии переменные состояния могут включать влажность почвы, эквивалент снежной воды, уровень рек и подземных вод, причем осадки служат в качестве первичного форсирующего входа. Фундаментальная концепция заключается в минимизации комбинированной неопределенности от ошибок модели и ошибок наблюдения, взвешенных по их соответствующим ковариационным матрицам. Обновляя состояния модели или параметры каждый раз, когда новые наблюдения становятся доступными, DA корректирует дрейф и смещения, предотвращая отклонение модели от реальности.

Почему акцент на осадках? Дожди и снегопады являются доминирующими факторами гидрологических процессов. Малые ошибки в величине осадков, времени или пространственном распределении могут распространяться через модель, приводя к большим ошибкам в стоке, инфильтрации и эвапотранспирации. Традиционные калибровочные сети обеспечивают точные измерения, но часто пропускают пространственную изменчивость, в то время как радиолокационные поиски могут охватывать большие площади, но подвержены блокировке луча, деградации диапазона и неопределенности отношений Z-R. Спутниковые продукты предлагают глобальное покрытие, но при более грубом разрешении и с ошибками поиска. DA объединяет эти разрозненные источники - каждый с различными характеристиками ошибок - для получения анализа осадков, который превосходит любой один продукт. Этот анализ затем может использоваться в качестве принуждения, или схема DA может непосредственно обновлять состояния модели, такие как влажность почвы, тем самым косвенно усваивая информацию о осадках.

Общие методы ассимиляции данных осадков

В гидрологии разработано и применено несколько алгоритмов DA, каждый из которых имеет различные предположения, сильные стороны и вычислительные требования. Выбор техники зависит от линейности модели, распределения ошибок, размерности пространства состояний и доступных вычислительных ресурсов. Ниже мы обсуждаем наиболее широко используемые методы.

Фильтр Калмана

Фильтр Калмана (KF) — рекурсивный оценщик, предполагающий линейную динамику и гауссовские ошибки. Он использует двухэтапный процесс: шаг прогноза, который пропагандирует состояние и его ковариацию ошибок вперед во времени, и шаг обновления (анализа), который корректирует прогноз с помощью новых наблюдений. Оптимальный выигрыш, известный как выигрыш Калмана, уравновешивает неопределенности прогноза модели и наблюдения. В гидрологии KF применяется к более простым линейным моделям, таким как смешанные концептуальные модели выпадения осадков или линейные каскады резервуаров. Однако большинство гидрологических систем включают нелинейные процессы — пороговое поведение, избыток инфильтрации и эвапотранспирация — ограничивая прямую применимость стандартного KF. Несмотря на это, он служит теоретической основой для более продвинутых фильтров.

Фильтр Калмана (Ensemble Kalman Filter)

Фильтр Ансамбля Калмана (EnKF) расширяет KF на нелинейные системы, представляя распределение состояний с ансамблем реализаций моделей. Каждый член ансамбля распространяется с использованием полной нелинейной модели, а ковариация ошибок аппроксимируется из статистики выборки. Шаг обновления корректирует каждого члена ансамбля с использованием одной и той же формулы усиления Калмана, которая становится хорошим приближением для умеренно нелинейных систем. EnKF является, пожалуй, самым популярным методом DA в эксплуатационной гидрологии сегодня из-за его относительной простоты, масштабируемости и способности обрабатывать большие векторы состояний (например, модели на основе распределенной сетки).

Для усвоения осадков, в частности, EnKF может применяться двумя способами: (1) непосредственное обновление состояния , где наблюдения осадков используются для коррекции состояния влажности почвы, снежного покрова или стока; и (2) совместная оценка состояния-параметра состояния , где одновременно обновляются как модельные состояния, так и ошибки принудительных осадков. Последний особенно полезен, когда данные осадков содержат систематические смещения. EnKF требует тщательной настройки размера ансамбля, инфляционных факторов и ковариации ошибок наблюдения. Слишком маленький ансамбль может привести к расхождению фильтров, где ансамбль разрушается, а фильтр игнорирует новые наблюдения. Существует несколько вариантов, таких как фильтр преобразования локального ансамбля Kalman (LETKF) и фильтр квадратного корневого ансамбля (SRF), которые повышают вычислительную эффективность и уменьшают ошибки выборки.

Фильтр частиц

Фильтры частиц (ФЧ) представляют собой полностью нелинейный, негауссовский класс методов DA. Они представляют собой заднее распределение набором взвешенных частиц (образцов состояний). На этапе прогнозирования каждая частица эволюционирует по модели; на этапе обновления вычисляются веса важности, основанные на вероятности наблюдений, данных каждой частице. Частицы с низкими весами повторно отбираются, отбрасываются и воспроизводят частицы с высоким весом. ФЧ может обрабатывать сильно нелинейные и негауссовы структуры ошибок, что делает его привлекательным для гидрологических систем, которые проявляют пороговую динамику, такую как инфильтрационный избыточный стоок или начало таяния снега.

Однако фильтры частиц страдают от проклятия размерности: в пространствах с высоким уровнем измерений (например, распределенных гидрологических моделях с миллионами ячеек сетки) количество частиц, необходимых для предотвращения обрушения веса, становится непомерно большим. Для решения этой проблемы исследователи разработали гибридные подходы, которые сочетают локальные обновления PF с методами ансамбля Калмана, такими как фильтр частиц эквивалентных весов (EWPF) или фильтр регуляризованных частиц. На практике PF для усвоения осадков часто применяются в низкоразмерных условиях, таких как скопленные модели или пространственно агрегированные поля осадков, или как часть многомасштабной структуры, где PF используется для оценки параметров и EnKF для обновлений состояния.

Вариационные методы (3D-Var и 4D-Var)

Вариационные методы формулируют DA как задачу оптимизации: найти модельное состояние (или управляющие переменные), минимизирующее функцию затрат, наказывающую как за неподгонку к наблюдениям, так и отход от предыдущей (фоновой) оценки. Трехмерная вариационная (3D-Var) ассимилирует все наблюдения в пределах одного временного окна, предполагая статичную ковариацию фоновых ошибок. Она вычислительно эффективна для оперативного численного прогнозирования погоды (NWP) но менее распространена в автономных гидрологических приложениях. Четырехмерная вариационная (4D-Var) расширяет подход к временному окну, включая динамику модели как сильное ограничение. Градиент стоимостной функции вычисляется с использованием прилегающей модели, которая распространяет чувствительность назад во времени. 4D-Var может эффективно распространять информацию от наблюдений осадков до ненаблюдаемых переменных и более ранних временных шагов, что делает его мощным для повтор

Несмотря на их теоретическую элегантность, вариационные методы являются вычислительно интенсивными, требуют разработки и обслуживания примыкающей модели и часто предполагают гауссовские ошибки и линейную динамику в окне минимизации. Они преимущественно используются в крупномасштабных системах ассимиляции атмосферных данных, где наблюдения осадков (например, со спутников) поглощаются наряду с другими метеорологическими переменными. Недавние достижения в автоматической дифференциации упростили примыкающую конструкцию, но техника остается сложной для сложных гидрологических моделей с разрывами (например, заполнение и разлив в водно-болотных угодьях или операциях с плотинами).

Проблемы и возможности

Хотя ассимиляция данных доказала свою ценность в гидрологии, сохраняются несколько проблем, которые ограничивают ее оперативное внедрение и точность. В то же время новые технологии и методы предлагают многообещающие пути для преодоления этих препятствий.

Качество данных и неоднородность

Старая поговорка «мусор в мусоре» полностью относится к DA. Наблюдения за осадками происходят с разных платформ с различной структурой ошибок, репрезентативностью и временным разрешением. Дождевые датчики точно измеряют количество осадков в точках, но являются редкими и склонными к недосягаемости в ветреных условиях. Погодный радар обеспечивает пространственное покрытие с высоким разрешением, аномальное распространение, блокировку луча и неопределенные отношения Z-R - особенно для снега или тропических осадков. Спутниковые поиски (например, GPM IMERG, CMORPH, PERSIANN) имеют глобальное покрытие, но грубое разрешение (10-30 км) и систематические смещения по сложной местности и замороженным поверхностям. Смешение этих продуктов через DA требует тщательной характеристики ошибок наблюдения, включая пространственные корреляции и модели смещения. Ковариации ошибок могут ухудшить анализ, иногда делая его хуже, чем одна модель.

Вычислительные требования

DA в реальном времени или почти в реальном времени для распределенных моделей с высоким разрешением (например, на расстоянии 1 км от сетки) является вычислительно дорогостоящим. EnKF требует от десятков до сотен забегов моделей за цикл ассимиляции, каждый из которых имитирует полные гидрологические процессы. 4D-Var требует итеративной минимизации и дополнительной интеграции. Для операционных систем прогнозирования наводнений, которые должны работать по строгим временным графикам (например, почасовые обновления), эти требования могут превышать доступные вычислительные ресурсы. Стратегии, такие как модели с уменьшенным порядком, суррогатные модели (например, суррогатные модели) и параллельные вычисления (ускорение графического процессора, MPI) изучаются для снижения затрат. Платформы облачных вычислений также предлагают масштабируемые ресурсы для экспериментов DA.

Необходимость в данных наблюдений высокого разрешения

Многие гидрологические процессы, особенно внезапные наводнения в городских водосборных бассейнах или конвективные штормы, работают в масштабах, более тонких, чем большинство наблюдательных сетей. Радарные и спутниковые продукты улучшились в разрешении, но пробелы остаются, особенно в горных регионах, где орографические эффекты усиливают изменчивость осадков. Плотные сети дождевых датчиков на основе науки о гражданах, датчики на основе транспортных средств (например, от активности стеклоочистителя) и новые платформы дистанционного зондирования (например, микроволновые линии из сотовых сетей) являются новыми источниками данных, которые могут заполнить эти пробелы. Однако интеграция таких гетерогенных, нестандартных данных в рамки DA требует новых моделей ошибок и алгоритмов контроля качества.

Возможности дистанционного зондирования и машинного обучения

Последние достижения в космических миссиях по измерению осадков, таких как Глобальная обсерватория по измерению осадков (GPM) и предстоящая Обсерватория системы Земли, обеспечивают беспрецедентное глобальное покрытие и улучшенные алгоритмы поиска. Эти наборы данных в настоящее время регулярно используются в качестве независимых наблюдений в гидрологических системах DA. В то же время методы машинного обучения (ML) трансформируют методологию DA. Например, нейронные сети могут быть обучены эмулировать оператора наблюдения (например, имитируя радиолокационную отражательную способность из состояний модели) или изучать оптимальный выигрыш Калмана непосредственно из данных без явного ковариационного моделирования. Модели глубокого обучения, такие как рекуррентные нейронные сети (RNN) или трансформаторы, использовались для прогнозирования осадков и генерации ансамблевых возмущений, дополняя традиционные подходы DA. Гибридные физические структуры-ML, где нейронная сеть обучена для коррекции смещения модели в петле DA, демонстрируют значительный навык в сокращении долгосрочного дрейфа и улучшении вероятностных прогнозов.

Еще одна интересная возможность - интеграция осадков DA с другими наблюдениями системы Земли, такими как влажность почвы от SMAP или SMOS, снежный покров от MODIS и сброс рек из датчиков in-situ. Многовариантная DA, которая одновременно ассимилирует эти переменные, может обеспечить более последовательный анализ водного цикла и распутать источники ошибки. Например, усвоение влаги почвы может помочь исправить искажения осадков над землей, в то время как усвоение сброса может улучшить пространственное распределение осадков над бассейном. Такие связанные системы DA земли-атмосферы являются активной областью исследований.

Обеспечение надежности и доверия в операционных настройках

Для того чтобы DA принимались агентствами по управлению водными ресурсами и оперативными центрами прогнозирования, системы должны быть надежными, воспроизводимыми и хорошо документированными. Это включает в себя обработку недостающих наблюдений, обнаружение неисправностей приборов и изящно ухудшающиеся в условиях отказа. Методы DA Ensemble естественным образом обеспечивают вероятностные результаты, которые необходимы для принятия решений на основе риска. Однако ансамбли должны быть откалиброваны, чтобы избежать чрезмерной уверенности или недоверия. Методы постобработки, такие как перевязка, усреднение байесовской модели и картирование квантиле, часто применяются после DA для повышения надежности распределения прогноза.

Заключение

Усвоение данных осадков стало жизненно важным инструментом в современной гидрологии, позволяя слияние разрозненных наблюдательных потоков производить более точные модели состояний и улучшенные прогнозы. Методы от классического фильтра Калмана до ансамблевых методов и вариационной оптимизации каждый имеет свое место, и продолжающиеся исследования продолжают раздвигать границы того, что возможно. Интеграция высококачественных спутниковых продуктов, рост машинного обучения и растущая доступность вычислительной мощности обещают преодолеть текущие ограничения в качестве данных, разрешении и эффективности. Поскольку изменение климата усиливает водный цикл - усиливая как засухи, так и экстремальные осадки - необходимость в умелых, неопределенности-осознанных гидрологических прогнозах никогда не была больше. Продолжение инвестиций в исследования DA в сочетании с умной операционной реализацией поможет построить устойчивые системы водных ресурсов и спасти жизни за счет лучшего раннего предупреждения о наводнениях и засухе.

Для дальнейшего чтения читатель ссылается на авторитетные ресурсы, такие как миссия NASA Global Precipitation Measurement Mission для данных спутниковых осадков, NCAR Data Assimilation Research Testbed (DART) для инструментов ансамбля DA, и BAMS обзор осадков DA в гидрологии для всестороннего обзора. Кроме того, запись Wikipedia на фильтрах Калмана предлагает прочное введение в базовую математику, а ECMWF вариативную ассимиляционную документацию предоставляет представление о операционных системах 4D-Var, используемых в численном прогнозировании погоды.