Разработка стандартизированных протоколов для сбора и анализа Rs-данных

Растущий императив стандартизированных протоколов RS

Дистанционное зондирование (РС) перешло от специализированного исследовательского инструмента к основному источнику данных в сельском хозяйстве, лесном хозяйстве, городском планировании, реагировании на стихийные бедствия и мониторинге климата. Огромный объем и разнообразие данных RS, доступных в настоящее время на таких платформах, как Landsat, Sentinel, MODIS, коммерческие спутниковые группировки, БПЛА и датчики воздушного базирования, создают как возможности, так и сложность. Без стандартизированных протоколов сбора и анализа данных ценность этих данных сильно снижается. Непоследовательные методы вводят систематические ошибки, снижают сопоставимость во времени и пространстве и подрывают воспроизводимость научных результатов. Для лиц, принимающих решения в правительстве и промышленности, опираясь на информацию, полученную из RS, требуют уверенности в том, что данные были собраны, обработаны и проанализированы с использованием прозрачных, повторяемых процедур. Стандартизированные протоколы обеспечивают эту уверенность, устанавливая общую основу для качества, калибровки и метаданных. Они обеспечивают слияние данных на нескольких платформах, поддерживают продольные исследования, охватывающие десятилетия, и способствуют совместным исследованиям в

Почему стандартизация важна сейчас больше, чем когда-либо

Темпы технологических изменений в дистанционном зондировании резко ускорились. Новые типы датчиков, более высокие пространственные и спектральные разрешения и увеличенные частоты временных повторных посещений означают, что исследователи и практики должны интегрировать данные из гетерогенных источников. Исследование, использующее изображения Sentinel-2 для классификации сельскохозяйственных культур, например, может потребоваться включить исторические данные Landsat для анализа тенденций. Без согласованных протоколов для коррекции атмосферы, маскировки облаков и расчета индекса растительности такая интеграция вводит неизвестные неопределенности. Стандартизированные протоколы решают эту проблему, указывая на передовые методы, которые являются сенсорно-агностическими, где это возможно, позволяя использовать данные из разных источников взаимозаменяемо с известными границами ошибок. Это особенно важно для приложений машинного обучения, где обучение плохо охарактеризованным данным производит модели, которые не срабатывают при развертывании на разных датчиках или географических регионах. Финансовые последствия также значительны: организации вкладывают значительные средства в инфраструктуру сбора и обработки данных RS, а нестандартные рабочие процессы приводят к дублированию усилий, снижению производительности и упущенным возможностям для обмена данными.

Основные элементы надежной протокольной системы

Разработка всеобъемлющего протокола сбора и анализа данных РС требует внимания к множеству взаимосвязанных компонентов. Хорошо построенная структура охватывает все этапы жизненного цикла данных, начиная с планирования миссий и заканчивая валидацией конечного продукта. Ниже приведены основные строительные блоки, которые должны быть включены в любые серьезные усилия по стандартизации.

Стандарты приобретения данных

Основу любого протокола RS начинает с того, как собираются данные. Для спутниковых и бортовых датчиков это включает в себя спецификации для калибровочных коэффициентов, радиометрической и геометрической точности, а также сроки приобретения относительно углов солнечного освещения. Протоколы должны определять приемлемые атмосферные условия, такие как пороги облачного покрова и диапазоны оптической глубины аэрозоля, которые обеспечивают качество данных. Для систем на основе БПЛА стандарты должны учитывать высоту полета, проценты перекрытия для фотограмметрической реконструкции и использования наземных контрольных точек. Конкретные параметры, такие как настройки усиления, время экспозиции и диапазоны температуры на борту датчика, должны быть документированы и контролируемы. Во всех случаях протокол должен требовать, чтобы сырые данные сохранялись в немодифицированном формате наряду с любыми обработанными продуктами, что позволяет проводить повторный анализ по мере совершенствования методов. Комитет по спутникам наблюдения Земли (CEOS) предоставляет полезные руководящие принципы для калибровки и проверки, которые могут быть адаптированы для конкретных применений.

Процедуры калибровки и валидации

Калибровка и валидация (Cal/Val) образуют основу обеспечения качества данных в дистанционном зондировании. Радиометрическая калибровка преобразует необработанные цифровые числа в физически значимые значения сияния или отражения, в то время как геометрическая калибровка обеспечивает точное расположение пикселей на поверхности Земли. Протоколы должны определять методы как для, включая использование калибровочных коэффициентов, предоставляемых операторами датчиков, так и для подкалибровки с использованием наземных целей и кросс-калибровки между датчиками. Валидация включает сравнение продуктов RS-производных с независимыми эталонными данными известного качества. Для переменных поверхности земли, таких как индексы растительности, температура поверхности земли или влажность почвы, протоколы должны определять приемлемые метрики ошибок, такие как средняя квадратная ошибка корня (RMSE) и смещения, наряду с пространственными и временными требованиями к выборке для сбора эталонных данных. Руководящие принципы Комитета по спутникам наблюдения Земли (CEOS) Cal/Val обеспечивают прочную отправную точку для разработки этих процедур.

Трубопроводы обработки данных

Стандартизированные конвейеры обработки необходимы для преобразования необработанных или калиброванных данных в готовые к анализу продукты. Это включает в себя такие этапы, как атмосферная коррекция (с использованием моделей, таких как 6SV, FLAASH или вычитание темного объекта), топографическая нормализация, маскировка облаков и теней и повторная выборка в общую пространственную сетку. Протоколы должны указывать, какие алгоритмы приемлемы, при каких условиях и с какими параметрами. Для индексов растительности, например, протокол должен определять формулу для NDVI или EVI, используемых полос и приемлемого диапазона значений. Для тепловых инфракрасных данных должны быть стандартизированы поправки на излучаемость и методы извлечения температуры поверхности. Протоколы также должны касаться подходов к временному композитированию, таких как максимальное значение или медианное композитирование, и методы заполнения пробелов для недостающих данных. Кодифицируя эти этапы, организации обеспечивают, чтобы продукты, генерируемые различными командами или в разное время, были непосредственно сопоставимы.

Требования к метаданным и документации

Комплексные метаданные, возможно, являются наиболее важным, но часто наиболее игнорируемым компонентом протоколов данных RS. Без подробной документации набор данных по существу непригоден для любых целей, помимо его первоначального применения. Протоколы должны указывать минимальный набор полей метаданных, которые должны быть собраны, включая характеристики датчиков, дату и время получения, географические координаты, историю обработки, используемые коэффициенты калибровки и показатели качества. Стандарты, такие как стандарт геопространственных метаданных ISO 19115, часто необходимы для захвата настроек приборов и условий окружающей среды. Документация также должна включать информацию о происхождении, которая отслеживает каждое преобразование, применяемое к данным, от необработанных цифровых счетов до конечных производных продуктов. Это позволяет пользователям понять, что было сделано с данными и реплицировать обработку, если это необходимо. Лучшие практики от партнеров по науке о Земле (ESIP) предлагают руководство по полноте метаданных и форматированию.

Обеспечение качества и контроль качества

Процедуры обеспечения качества (QA) и контроля качества (QC) обеспечивают соответствие данных определенным стандартам до их выпуска или использования в анализе. Протоколы должны определять автоматизированные проверки полноты данных, радиометрического диапазона, геометрического выравнивания и временной согласованности. Для образцов данных могут потребоваться ручные процедуры проверки, особенно для обнаружения тонких артефактов, которые пропускают автоматические проверки. Качественные флаги должны назначаться каждому пикселю или изображению, указывая уровни достоверности для различных наблюдений. Например, пиксели, затронутые облаками, тенями, снегом или насыщением датчиков, должны быть помечены, чтобы пользователи могли их соответствующим образом фильтровать. Протокол также должен указывать процедуры для обработки выпадающих и подозрительных данных, включая то, сохраняются ли такие данные, корректируются или исключаются. Регулярные аудиты самого процесса QA / QC необходимы для обеспечения последовательного применения стандартов с течением времени.

Методологический аспект разработки протокола

Создание протокола, который является технически обоснованным и практически полезным, требует строгой методологии разработки. Это выходит за рамки простого перечисления технических спецификаций; это включает в себя привлечение разнообразной группы заинтересованных сторон, тестирование протокола в реальных условиях и его доработку на основе обратной связи и доказательств. Следующие подходы помогают обеспечить, чтобы полученный протокол был надежным, адаптируемым и широко принятым.

Вовлечение заинтересованных сторон и формирование консенсуса

Ни один протокол, разработанный в изоляции, не получит широкого признания. Эффективная стандартизация требует активного участия операторов датчиков, поставщиков данных, исследователей, экспертов в области приложений и конечных пользователей. Семинары, рабочие группы и периоды общественного обсуждения предоставляют заинтересованным сторонам возможность вносить свой вклад в их опыт и вызывать озабоченность. Например, протокол для сельскохозяйственного дистанционного зондирования должен включать агрономов, моделировщиков сельскохозяйственных культур, спутниковых операторов и служб распространения. Подходы, основанные на консенсусе, такие как используемые Обществом геонауки и дистанционного зондирования IEEE (GRSS) или Открытым геопространственным консорциумом (OGC), могут помочь сбалансировать конкурирующие интересы и обеспечить, чтобы протокол соответствовал целям в нескольких случаях использования. Процесс должен быть прозрачным, с решениями, документированными и обоснованными.

Пилотное тестирование и валидация

Перед тем как протокол будет завершен, его необходимо протестировать в рабочих условиях. Пилотные исследования, проводимые в различных географических регионах, типах датчиков и сценариях применения, выявляют слабости, несоответствия и практические проблемы, которые не были очевидны на этапе проектирования. Например, протокол оценки высоты лесного полога с использованием LiDAR может хорошо работать в бореальных лесах, но не срабатывает в тропических условиях с плотной подлесковкой. Пилотное тестирование должно включать формальные исследования межсопоставления, в которых несколько команд применяют один и тот же протокол к одному и тому же набору данных, и результаты оцениваются на предмет согласованности. Результаты этих испытаний должны быть публично представлены, а протокол должен быть изменен по мере необходимости на основе результатов. Этот итеративный процесс укрепляет доверие и демонстрирует надежность протокола до широкого внедрения.

Итеративное уточнение и контроль версий

Стандартизированные протоколы не являются статическими документами; они должны развиваться по мере развития технологий и углубления научного понимания. Формальная система контроля версий должна отслеживать изменения, при этом каждая версия четко документируется вместе с обоснованием модификаций. Незначительные обновления могут включать исправления к ссылкам или уточнениям неоднозначного языка, в то время как основные изменения могут включать в себя включение новых типов датчиков или замену устаревших методов калибровки. Протокол должен указывать график периодического обзора и обновления с назначенным органом управления, ответственным за управление процессом. Пользователи протокола должны быть уведомлены об изменениях и даны указания о том, как переходить от одной версии к другой. Это гарантирует, что протокол остается актуальным с течением времени, не вызывая сбоев в существующих проектах.

Преодоление барьеров реализации

Несмотря на явные преимущества стандартизированных протоколов, их внедрение в сообществе дистанционного зондирования было неравномерным. Практические препятствия включают в себя разнообразие сенсорных технологий, устойчивость к изменению установленных рабочих процессов и ограниченные ресурсы для разработки и поддержания стандартов. Устранение этих барьеров требует сочетания технических инноваций, институциональной поддержки и стимулов для принятия.

Технологическая неоднородность

Протокол, предназначенный для многоспектральных данных Sentinel-2, может быть неприменим непосредственно к гиперспектральным данным от PRISMA или SAR данным от Sentinel-1. Хотя необходима некоторая степень адаптации, протоколы могут быть структурированы с общим ядром принципов и приложений к конкретным датчикам или руководящих принципов реализации. Программа NASA Earth Science Data Systems приняла этот подход для своих стандартов продуктов данных, предоставляя общие руководящие принципы наряду с конкретными процедурами калибровки и валидации для различных миссий. Другая стратегия заключается в использовании готовых к анализу данных (ARD) форматов, которые стандартизируют этапы предварительной обработки, такие как продукты Landsat ARD и Sentinel-2 ARD, уменьшая нагрузку на конечных пользователей для применения сложных исправлений.

Институциональное и культурное сопротивление

Исследователи и организации, которые разработали свои собственные рабочие процессы, могут сопротивляться принятию внешних стандартов, особенно если они воспринимают новые протоколы как громоздкие или ограничивающие. Преодоление этого сопротивления требует демонстрации ощутимых преимуществ стандартизации, таких как большее влияние посредством обмена данными, сокращение времени, затрачиваемого на обработку данных, и доступ к более крупным, взаимодействующим наборам данных. Предоставление учебных семинаров, руководств пользователей и библиотек кода, которые реализуют протоколы, может снизить барьер принятия. Финансовые учреждения и издатели журналов также могут играть роль, требуя соблюдения согласованных стандартов в качестве условия поддержки или публикации. Политика открытых данных многих научных журналов уже подтолкнула сообщество к лучшему управлению данными, и расширение этого, чтобы включить соблюдение протокола, является естественным прогрессом.

Разработка, внедрение и поддержание стандартизированных протоколов требует выделенных ресурсов, включая время персонала, вычислительную инфраструктуру и финансирование для тестирования и проверки. Меньшим организациям, особенно в развивающихся странах, может не хватать этих ресурсов. Международные партнерские отношения и программы по наращиванию потенциала могут помочь устранить этот дисбаланс. Такие организации, как инициатива GEOGLAM, обеспечивают обучение и инструменты для сельскохозяйственного мониторинга, которые включают стандартизированные протоколы, делая их доступными для более широкого сообщества. Реализации программного обеспечения с открытым исходным кодом стандартных алгоритмов обработки, таких как в наборе инструментов ESA SNAP или пакете NASA SeaDAS, также снижают затраты на соблюдение.

Новые тренды и горизонты будущего

Область дистанционного зондирования продолжает развиваться, и протоколы должны развиваться соответствующим образом. Несколько новых тенденций обещают сформировать стандарты сбора и анализа данных следующего поколения, сделав их более автоматизированными, адаптируемыми и широко доступными.

Искусственный интеллект и автоматизированный контроль качества

Машинное обучение и компьютерное зрение все чаще используются для автоматизации процессов QC, которые традиционно требуют ручного контроля. Например, нейронные сети могут обнаруживать облачные тени, артефакты датчиков и геометрические несоответствия с высокой точностью и скоростью. Протоколы могут включать в себя шаги QC на основе ИИ, при этом все еще требуя проверки на независимые эталонные данные. Использование синтетических обучающих данных, генерируемых из физических моделей, является многообещающим подходом для создания надежных классификаторов, которые обобщают датчики и среды. Будущие протоколы должны определять требования к данным обучения, архитектуре модели и показателям производительности компонентов ИИ, гарантируя, что они прозрачны и воспроизводимы.

Гармонизация между платформами и доменами

По мере роста числа платформ RS возрастает необходимость в межплатформенной гармонизации. Такие усилия, как инициатива CARD4L (CERD:0) CEOS Analysis Ready Data for Land (CARD4L) , направлены на создание спецификаций, позволяющих использовать данные с различных датчиков для мониторинга земли. Этот подход снижает потребность пользователей в понимании особенностей каждого датчика и позволяет проводить бесшовный анализ временных рядов в рамках исторических и текущих миссий. Расширение этой гармонизации на другие области, такие как цвет океана, состав атмосферы и криосферный мониторинг, является логическим следующим шагом. Протоколы, которые с самого начала принимают согласованную структуру, будут лучше расположены для размещения будущих датчиков.

Открытая наука и стандарты, управляемые сообществом

Принципы открытой науки меняют способы разработки и поддержания протоколов дистанционного зондирования. Платформы открытого доступа, такие как GitHub, позволяют публиковать, редактировать и совместно совершенствовать протоколы мировым сообществом. Эта распределенная модель контрастирует с традиционными нисходящими процессами стандартизации и может ускорить инновации, сохраняя при этом строгость. Стандарты, основанные на сообществе, также извлекают выгоду из различных перспектив, помогая обеспечить, чтобы протоколы применялись в широком диапазоне вариантов использования и регионов. Однако должны быть созданы механизмы управления для управления вкладами, разрешения споров и поддержания качества стандарта. Успех таких инициатив, как Открытый геопространственный консорциум (OGC) , демонстрирует, что стандартизация, управляемая сообществом, может быть эффективной при правильной структуре.

Заключение

Стандартизированные протоколы сбора и анализа данных дистанционного зондирования не являются роскошью; они необходимы для области, которая стремится поддерживать обоснованное принятие решений в местном, национальном и глобальном масштабах. Предоставляя общий язык и набор согласованных практик, эти протоколы обеспечивают интеграцию, сравнение и повторное использование данных в исследованиях и приложениях. Они являются основой, на которой строится надежная, действенная информация от RS. Путь вперед включает в себя постоянные инвестиции в разработку протоколов, широкое участие со стороны сообщества и приверженность итеративному совершенствованию по мере развития технологий и понимания. Для организаций и отдельных лиц, работающих с данными дистанционного зондирования, принятие и внесение вклада в эти стандарты является одним из наиболее эффективных способов максимизировать влияние своей работы и обеспечить, чтобы собранные ими данные служили как можно более широкому кругу пользователей и целей. Время стандартизации сейчас, и вложенные усилия вернут дивиденды в качество данных, сотрудничество и доверие на долгие годы.