Использование глубокого обучения для улучшения мониторинга состояния здоровья мостов и зданий

Введение

Структурный мониторинг состояния здоровья (СМЗ) — это практика непрерывной или периодической оценки состояния инфраструктуры, такой как мосты, здания, плотины и туннели. Цель состоит в том, чтобы обнаружить повреждения, оценить оставшийся срок службы и направлять решения по техническому обслуживанию до возникновения сбоев. Традиционные методы СМЗ в значительной степени зависят от ручных визуальных проверок, периодических показаний датчиков, рассмотренных экспертами-людьми, и простых пороговых предупреждений. Хотя эти подходы использовались в течение десятилетий, они страдают от нескольких хорошо документированных ограничений: проверки дорогостоящие и трудоемкие, субъективная интерпретация может пропустить тонкий ущерб, а ручной анализ данных не может идти в ногу с объемом данных, генерируемых современными сенсорными сетями.

Достижения в области искусственного интеллекта, особенно глубокого обучения, предлагают преобразующий путь вперед. Модели глубокого обучения могут автоматически изучать иерархические особенности из необработанных данных, обнаруживать сложные шаблоны, указывающие на структурную деградацию, и работать в режиме реального времени. За последние пять лет исследования и развертывания на местах продемонстрировали, что глубокое обучение может значительно повысить точность, скорость и экономическую эффективность SHM. Эта статья предоставляет подробный обзор того, как глубокое обучение применяется для мониторинга мостов и зданий, технических основ, ключевых областей применения, преимуществ, проблем и перспективных будущих направлений.

Понимание глубокого обучения для SHM

Глубокое обучение — это отрасль машинного обучения, которая использует искусственные нейронные сети со многими слоями (отсюда и «глубокие») для моделирования сложных, нелинейных отношений в данных. В отличие от традиционных методов машинного обучения, которые требуют ручной разработки функций, модели глубокого обучения автоматически извлекают соответствующие функции во время обучения. Эта способность особенно ценна в ШМ, где сигнатуры повреждений могут быть тонкими и широко варьироваться в структурах, материалах и условиях окружающей среды.

Архитектура нейронных сетей, используемая в SHM

Несколько архитектур глубокого обучения доказали свою эффективность для различных типов данных SHM:

• Связочные нейронные сети (CNN): Первоначально разработанные для распознавания изображений, CNNs преуспевают в обработке пространственных данных. В SHM CNNs применяются к визуальным изображениям проверки (например, фотографиям бетонных поверхностей) для обнаружения трещин, блеска, коррозии и расслоения. Они также используются с представлениями вибрационных сигналов (спектрограмм) с частотой времени для классификации состояний повреждения.
• Сети с повторяющимися нейронными сетями (RNN) и с длинной кратковременной памятью (LSTM): Эти архитектуры предназначены для последовательных данных. Они моделируют временные зависимости в потоках датчиков, таких как акселерометр, тензометр или показания температуры. LSTM, в частности, могут захватывать долгосрочные шаблоны и широко используются для обнаружения аномалий и прогнозирования оставшегося срока службы.
• Автокодеры: Неконтролируемые модели обучения, которые учатся реконструировать нормальные рабочие данные. При развитии структуры повреждение увеличивается ошибка реконструкции, обеспечивая оценку аномалии. Автокодеры популярны для проблем одноклассной классификации, где маркированные данные о повреждении скудны.
• Графические нейронные сети (GNN): Появившись в последние годы, GNN работают на данных, структурированных как графики. Они могут моделировать сенсорные сети как узлы и пространственные смещения как края, что позволяет локализацию повреждений с большей точностью.

На практике многие системы SHM объединяют несколько архитектур, например, используя CNN для обработки сигналов вибрации в функции, а затем подавая эти функции в LSTM для временного моделирования.

Ключевые приложения глубокого обучения в SHM

Автоматическое обнаружение повреждений из изображений и видео

Визуальный осмотр остается наиболее распространенным методом SHM, но он трудоемкий и подвержен человеческим ошибкам. Системы компьютерного зрения на основе глубокого обучения автоматизируют этот процесс. Типичный конвейер включает в себя захват изображений или видеокадров структурных поверхностей с помощью дронов или фиксированных камер, а затем передачу их через CNN, обученный сегментировать или классифицировать типы повреждений. Например, модифицированная архитектура U-Net может обнаруживать трещины в бетоне с точностью до пикселей, достигая показателей F1 выше 95%. Аналогичные подходы обнаруживают ржавчину на стальных мостах, рыхлые болты и тротуарный дистресс. Исследователи из Токийского университета показали, что легкая модель CNN может работать на периферийных устройствах (например, Raspberry Pi с камерой) для обеспечения оповещений о трещинах в реальном времени на мостах. Внешний ресурс из исследования 2019 года в Инженерных структурах демонстрирует одну такую структуру глубокого обучения для обнаружения трещин бетона.

Идентификация повреждений на основе вибрации

Изменения динамических свойств структуры — естественных частот, форм режима, коэффициентов демпфирования — указывают на повреждение. Модели глубокого обучения анализируют историю колебаний от акселерометров для классификации местоположения и тяжести повреждения. Один общий подход рассматривает необработанный сигнал ускорения как временный ряд и применяет 1D CNN или LSTM для различения здоровых, поврежденных и восстановленных состояний. Примечательным примером является использование уложенного автокодера в сочетании с классификатором softmax на данных с моста Z24 в Швейцарии, достигая 98% точности при идентификации сценариев искусственного повреждения (см. ] эта статья открытого доступа в Sensors, 2020 ].

Акустический мониторинг выбросов

Датчики акустического излучения (AE) захватывают высокочастотные эластичные волны, генерируемые ростом трещин, разрывом волокон или деламинированием. Модели глубокого обучения могут классифицировать сигналы AE в механизмы источника (например, матричное растрескивание против вытягивания волокон в композитах). Свёрточные нейронные сети, применяемые к необработанным формам волн AE, основанным на временных доменах, превзошли традиционные классификаторы на основе признаков, особенно когда сосуществуют несколько типов повреждений. В исследовании 2021 года KAIST использовал гибридную модель CNN-LSTM для классификации ударов AE от стальных мостов с точностью 96%.

Прогнозирование и поддержание полезной жизни (RUL)

Прогностика направлена на прогнозирование, когда компонент потерпит неудачу. Модели глубокого обучения изучают тенденции деградации из исторических данных датчиков. Например, сеть LSTM может принимать последовательность измерений напряжения в течение нескольких месяцев и прогнозировать оставшийся срок службы усталости стальной балки. Обучение передаче помогает, когда помеченные данные об откате ограничены - модель, предварительно обученная на смоделированных данных от цифрового двойника, может быть точно настроена на реальных показаниях датчиков. Федеральное управление автомобильных дорог США финансировало проекты, изучающие этот подход для подшипников мостов и суставов расширения.

Обнаружение аномалий в реальном времени с помощью Edge Computing

Для непрерывного мониторинга передача всех необработанных данных датчиков в облако может быть интенсивной по полосе пропускания и чувствительной к задержке. Крайние вычисления в паре с легкими моделями глубокого обучения позволяют обнаруживать аномалии в реальном времени на месте. Устройство, такое как NVIDIA Jetson или Google Coral, может запускать квантованный CNN, который распознает аномальные шаблоны вибрации в течение миллисекунд. При обнаружении аномалии только фрагмент события (и его классификация) отправляется на центральный сервер, резко сокращая объем данных. Эта архитектура развертывается на мостах дальнего действия в Китае и Европе.

Преимущества SHM с глубоким обучением

• Мета-анализ опубликованных исследований показывает, что модели глубокого обучения часто достигают 5-15% более высоких истинных положительных показателей обнаружения трещин по сравнению с ручным контролем или традиционным машинным обучением с более низкой ложноположительной скоростью.
• Сокращение расходов на инспекцию и времени: Автоматизированные визуальные проверки на базе беспилотников с использованием CNN могут обследовать 500-метровый мост менее чем за час и обрабатывать изображения в течение ночи. Традиционная проверка доступа к веревке может потребовать экипажа из трех человек в течение двух дней. Сэкономия затрат 60-80% была зарегистрирована.
• Постоянное наблюдение за недоступными районами: Глубокое обучение позволяет контролировать районы, которые трудно или опасно для людей, например, нижнюю часть моста или внутреннюю часть системы занавесных стен высокого здания.
• Системы раннего предупреждения: Анализируя тенденции, а не простые пороги, модели глубокого обучения могут выдавать предупреждения за недели или месяцы до того, как появится критическая трещина. Например, мониторинг LSTM в бетонном арочном мосту предупредил инженеров о ненормальном движении за два месяца до появления критической трещины.
• Приспособляемость к различным типам структур: При обучении передаче модель, обученная на одном мосту, может быть быстро адаптирована к аналогичному мосту с помощью всего нескольких дней переподготовки данных, что снижает потребность в больших наборах данных с маркировкой для каждой новой структуры.

Современные вызовы и ограничения

Несмотря на свои обещания, интеграция глубокого обучения в операционные системы SHM сталкивается со значительными препятствиями, которые активно решает инженерное сообщество.

Качество и количество данных

Модели глубокого обучения требуют больших объемов данных. Многие развертывания SHM генерируют огромные объемы данных, но эти данные часто не помечены (нет правды о повреждении) или содержат высокие уровни шума от вибраций окружающей среды (ветер, движение, пешеходы). Получение данных о повреждении с маркировкой, особенно для редких или тяжелых событий, дорого и иногда невозможно, не вызывая преднамеренного повреждения структуры. Синтетические данные из симуляций конечных элементов могут помочь, но модели, обученные исключительно на синтетических данных, часто не могут обобщить в реальных стохастических условиях.

Модель интерпретируемости

Инженеры и регулирующие органы должны понять, почему модель помечена аномалией. Глубокие нейронные сети часто являются «черными ящиками». Такие методы, как механизмы внимания, Grad-CAM (для CNN на изображениях) и значения SHAP могут дать частичные объяснения, но они еще не стандартизированы для SHM. Без интерпретируемости владельцы инфраструктуры могут неохотно действовать на выходы моделей, особенно в решениях с высокими ставками о закрытии мостов или эвакуации зданий.

Обобщение по всем структурам и средам

Модель, обученная на данных стального моста в умеренном климате, может не очень хорошо работать на бетонном мосту в тропическом муссонном регионе. Различия в свойствах материала, геометрии, размещении датчиков и условиях окружающей среды вызывают сдвиги распределения. Адаптация домена и многозадачное обучение являются активными областями исследований, но проверенные на местах решения остаются редкими.

Интеграция с существующей инфраструктурой

Многие существующие системы SHM построены на устаревшем оборудовании и программном обеспечении, которые взаимодействуют через собственные протоколы. Интеграция движка вывода глубокого обучения требует либо модернизации с помощью периферийных устройств, либо модификации облачных трубопроводов. Первоначальные затраты и проблемы кибербезопасности часто замедляют принятие. Кроме того, долгосрочное обслуживание моделей глубокого обучения (переподготовка по мере дрейфа структурного поведения) требует опыта, которого в настоящее время не хватает многим фирмам гражданского строительства.

Будущие направления и тенденции исследований

Цифровые близнецы и нейронные сети, основанные на физике (PINN)

Цифровой двойник — это виртуальная точная копия структуры, которая постоянно обновляется данными датчиков. Модели глубокого обучения могут быть внедрены внутри цифровых двойников для прогнозирования структурного ответа при различных сценариях. Физико-информированные нейронные сети включают управляющие уравнения структурной механики (например, формулировка конечных элементов) в функцию потерь, обеспечивая физически правдоподобность. Этот гибридный подход снижает потребность в массивных наборах данных обучения и улучшает обобщение. Например, PINN использовались для моделирования динамического ответа поврежденного моста с менее чем 100 маркированными примерами обучения.

Федеративное обучение для сохранения конфиденциальности SHM

Во многих странах данные датчиков из критической инфраструктуры чувствительны. Федеративное обучение обучает модели по нескольким структурам без обмена необработанными данными; обмениваются только градиентами моделей. Это позволяет сети мостов, контролируемых различными агентствами, совместно изучать более надежный детектор аномалий при уважении суверенитета данных. Пилотный проект, финансируемый Европейской комиссией, тестирует федеративную ШМ на пяти мостах в трех странах, с многообещающими ранними результатами.

Трансферное обучение и малозаметное обучение

Для преодоления дефицита данных о повреждениях с маркировкой обучение передаче позволяет модели, предварительно обученной на большом наборе исходных данных (например, моделируемых характеристиках повреждений или изображениях общих бетонных поверхностей), быть настроенной только с несколькими мечеными примерами из целевого моста. Методы обучения с несколькими метками, использующие сети на основе метрики (сиамские сети, прототипные сети), могут классифицировать типы повреждений от 5 до 10 изображений в категории. Эти методы переходят от исследовательских лабораторий к полевым испытаниям.

Стандартизация и руководящие принципы

Международная организация по стандартизации (ISO) и Американское общество инженеров-строителей (ASCE) работают над стандартами для ИИ-ассистируемых SHM. Темы включают минимальные требования к набору данных, протоколы проверки моделей, приемлемые пороги точности и форматы отчетности. В Белой книге комитета ASCE SEI / ASHRAE (доступна на веб-сайте ASCE ASCE ) излагается структура для сертификации моделей глубокого обучения для использования в критически важных для безопасности приложениях SHM.

Многомодальное слияние сенсоров

Будущие системы SHM будут объединять данные с акселерометров, тензодатчиков, камер, акустических датчиков и даже спутникового InSAR (Interferometric Synthetic Aperture Radar) для деформации грунта. Модели глубокого обучения с мультимодальными архитектурами (например, трансформаторы перекрестного внимания) могут использовать дополнительную информацию: например, объединение данных вибрации (чувствительных к изменениям жесткости) с визуальными картами трещин (чувствительных к локальному повреждению) дает более надежную локализацию повреждений. Ранние прототипы Европейского исследовательского консорциума показали 30% улучшение точности локализации по сравнению с системами с одной модальностью.

Заключение

Глубокое обучение меняет структурный мониторинг здоровья, позволяя автоматизировать, точную и непрерывную оценку мостов и зданий. От обнаружения трещин в бетоне с использованием CNN до прогнозирования оставшейся жизни с помощью LSTMs эти методы переходят от академических исследований к развертыванию в реальном мире. Преимущества - более высокая точность обнаружения, снижение затрат на проверку, оповещения в реальном времени и ранние предупреждения - хорошо документированы. Тем не менее, проблемы остаются: качество данных, интерпретируемость моделей, обобщение структур и интеграция с устаревшими системами потребуют постоянных усилий исследователей, инженеров и политиков. В будущем достижения в области цифровых двойников, трансферное обучение, федеративное обучение и мультимодальное слияние обещают сделать глубокое обучение на основе SHM более надежным и широко принятым. По мере того, как возрасты инфраструктуры и экстремальные погодные явления становятся более распространенными, способность разумно и доступно контролировать структурное здоровье - это общественная необходимость.

Для дальнейшего чтения, всеобъемлющий обзор статьи, опубликованной в Механические системы и обработка сигналов (2021) опросы более 300 статей по глубокому обучению для SHM. Практические тематические исследования от Федерального управления автомобильных дорог США можно получить через их страница исследования .