Разработка алгоритмов управления реакторами с учетом требований безопасности является важной областью исследований в области ядерной инженерии. С появлением машинного обучения появились новые возможности для повышения безопасности и эффективности ядерных реакторов. В этой статье рассматривается, как методы машинного обучения интегрируются в системы управления реакторами для приоритизации безопасности при сохранении оптимальной производительности. Объединив адаптивные модели, основанные на данных, со строгими ограничениями безопасности, исследователи разрабатывают стратегии управления, которые могут предвидеть сбои, оптимизировать выходную мощность и реагировать на непредвиденные события более эффективно, чем традиционные системы, основанные на правилах.

Исторический контекст: от аналогового к интеллектуальному контролю

Управление ядерным реактором эволюционировало от ручных регулировок и аналоговых петлей обратной связи к цифровым системам, которые контролируют тысячи параметров в режиме реального времени. Ранние алгоритмы управления полагались на пропорциональные интегрально-производные контроллеры и предварительно вычисленные заданные точки. Эти системы надежны, но не имеют гибкости для обработки переходных условий за пределами их проектной основы. Поскольку реакторы включают больше датчиков и вычислительной мощности, машинное обучение предлагает путь перехода от реактивного к прогностическому контролю. Международное агентство по атомной энергии (МАГАТЭ) признало потенциал передовых цифровых приборов и управления, включая ИИ, для повышения безопасности и надежности [[ФЛТ:0]] (МАГАТЭ, 2023) [[ФЛТ:1]].

Основные требования безопасности при управлении реактором

Любой алгоритм управления ядерным реактором должен удовлетворять строгим критериям безопасности: он должен поддерживать реактор в безопасных эксплуатационных пределах, предотвращать повреждение облицовки топливом и обеспечивать надежное отключение, когда это необходимо. Традиционные алгоритмы разработаны с консервативными запасами. Машинное обучение, однако, вводит неопределенность, потому что модели учатся на данных и могут вести себя неожиданно вне их распределения обучения. Подход, основанный на безопасности, решает эту проблему путем встраивания ограничений в процесс обучения - гарантируя, что система никогда не сможет предложить действие, которое нарушает ограничения безопасности, даже если это действие улучшит производительность. Это часто достигается за счет ограниченного обучения усилению, где определена безопасная область и алгоритм наказывается за его оставление.

Машинное обучение в безопасности реактора

Алгоритмы машинного обучения могут анализировать огромные объемы данных от датчиков реакторов для выявления закономерностей, указывающих на потенциальные проблемы безопасности. Эти алгоритмы могут прогнозировать аномалии до их эскалации, позволяя проводить активные вмешательства. Ключевые методы включают контролируемое обучение для обнаружения неисправностей и обучение усилению для оптимизации управления. Архитектуры глубокого обучения, такие как сверточные нейронные сети и сети с длинной кратковременной памятью, особенно эффективны при обработке данных датчиков временных рядов и пространственных распределений (например, карты потоков нейтронов).

Надзор за обучением для обнаружения ошибок

Надзорные модели обучения обучаются на исторических данных для распознавания сигнатуры неисправностей или небезопасных условий. После обучения эти модели могут отслеживать данные в режиме реального времени для обнаружения отклонений и быстрого запуска протоколов безопасности. Например, классификатор может быть обучен для выявления наступления аварии с потерей охлаждающего вещества или разрыва трубки парогенератора путем анализа сигналов давления, температуры и скорости потока. Выходы модели затем используются для регулировки положений управляющего стержня или инициирования аварийного охлаждения. Исследования показали, что методы ансамбля (например, случайные леса или повышение градиента) достигают высокой точности даже с шумными данными от симуляторов растений (Khan et al., 2022) .

Усиление обучения для оптимизации контроля

Обучение с подкреплением (RL) позволяет алгоритмам управления изучать оптимальные действия посредством проб и ошибок в моделируемых средах. Подходы безопасности включают ограничения в процесс обучения, гарантируя, что система придает приоритет безопасности по сравнению с производительностью, когда это необходимо. Общий метод заключается в использовании критика безопасности, который оценивает действия на основе их близости к границам безопасности. Во время обучения агенту RL разрешается исследовать только в безопасной оболочке; любой шаг, который пересечет порог, приводит к штрафу и сбросу в безопасное состояние. Этот метод успешно продемонстрирован на упрощенных моделях реактора, где агент учится управлять переходами мощности при сохранении температуры топлива ниже пределов.

Модель предиктивного управления с изученной динамикой

Еще одно перспективное направление - это объединение машинного обучения с моделью предиктивного управления (MPC). Вместо использования фиксированной модели на основе физики нейронная сеть изучает динамику реактора на основе данных. Оптимизатор MPC затем решает ограниченную задачу оптимизации на каждом этапе, используя изученную модель для прогнозирования будущих состояний. Поскольку модель может быть обновлена в режиме онлайн, система адаптируется к изменяющимся условиям (например, сжигание топлива, износ управляющего стержня) при одновременном удовлетворении жестких ограничений безопасности. Этот гибридный подход предлагает лучшее из обоих миров: гарантии безопасности традиционной теории управления и гибкость машинного обучения.

Интеграция ограничений безопасности в обучение

Для обеспечения того, чтобы алгоритмы машинного обучения соблюдали ограничения безопасности, требуется тщательная разработка. Было предложено несколько рамок:

  • Сдержанные процессы принятия решений Маркова — Агент максимизирует вознаграждение при условии ограничения совокупных затрат на безопасность (например, максимальное количество поездок в год).
  • Синтез щита — отдельный модуль проверки, или «щит», контролирует действия агента и перекрывает любое, что привело бы к нарушению.Щит может быть построен из упрощенной физической модели или формальной спецификации безопасной рабочей оболочки реактора.
  • Безопасная байесовская оптимизация — используется для настройки точек набора или усиления контроллера, байесовская оптимизация моделирует функцию безопасности как гауссовский процесс и исследует только точки, которые, вероятно, будут безопасными с высокой вероятностью.

Эти методы были проверены в симуляторах высокой точности, и исследователи в настоящее время работают над их передачей на реальные испытательные стенды аппаратного обеспечения в цикле .

Проблемы в осуществлении

Несмотря на многообещающие результаты, развертывание машинного обучения в диспетчерской ядерного реактора сталкивается с несколькими препятствиями:

  • Интерпретируемость — Регуляторы требуют, чтобы операторы понимали, почему система управления приняла определенное решение. Нейронные сети Black-box трудно объяснить, но такие методы, как распространение релевантности по слоям и значения Шепли, могут помочь определить влиятельные функции ввода.
  • Сдвиг к смещению распределения — Условия реактора могут дрейфовать постепенно (например, старение топлива) или резко меняться (например, прилипание клапана). Модель должна оставаться точной в условиях, не наблюдаемых во время обучения. Рандомизация домена и состязательное обучение исследуются для повышения надежности.
  • Проверка и валидация (V&V) — Традиционных методов V&V (тестирование на набор сценариев) может быть недостаточно для изученных контроллеров. Формальные инструменты проверки, которые доказывают, что система никогда не покидает безопасную область, являются активной областью исследований, особенно для поштучно-линейных нейронных сетей.
  • Регулятивное принятие — Комиссия по ядерному регулированию США и другие органы власти имеют строгие руководящие принципы для цифровых систем безопасности.Принятие машинного обучения потребует сильной доказательной базы, четких показателей для надежной производительности и основы для постоянного мониторинга поведения алгоритма.

Тематические исследования и пилотные проекты

Несколько исследовательских групп продемонстрировали практический потенциал безопасного машинного обучения для управления реактором. На Форсмаркской атомной электростанции в Швеции агент обучения с подкреплением научился оптимизировать скорость рециркуляции насоса при соблюдении тепловых ограничений, достигая повышения эффективности на 0,5% без нарушения каких-либо ограничений. В Массачусетском технологическом институте исследователи использовали глубокую нейронную сеть для моделирования ядра нейтроники небольшого модульного реактора, а затем применили модель предиктивного управления для планирования движений стержней управления во время операций с нагрузкой. В обоих случаях изученные контроллеры были протестированы против обычных PID-контроллеров и показали более быстрое время отклика с более низким превышением.

Будущие направления

Заглядывая вперед, поле движется к сквозным системам управления, которые могут обрабатывать несколько реакторов на станции, динамическое распределение пара и взаимодействие с электрической сетью.

  • Объясняемый ИИ — разработка моделей, которые не только принимают безопасные решения, но и дают понятные для человека объяснения, такие как каузальные графики или контрфактические сценарии.
  • Количественная неопределенность — Использование байесовских нейронных сетей или методов ансамбля для обеспечения доверительных интервалов как по предсказаниям, так и по рекомендуемым действиям.Это позволяет системе управления запрашивать вмешательство человека, когда неопределенность высока.
  • Передача обучения — предварительная подготовка моделей на тренажерах с общими реакторами и их точная настройка для конкретных установок, уменьшая объем требуемых данных для конкретного участка.
  • Системы человек-в-петле — Проектирование интерфейсов, где агент машинного обучения предлагает действия, но окончательное решение лежит на операторе.

Заключение

Интеграция машинного обучения в алгоритмы управления реакторами предлагает многообещающие достижения в области безопасности и эффективности. Используя адаптивные и прогнозные методы - контролируемое обучение для раннего обнаружения неисправностей, обучение усилению для оптимального управления в условиях ограничений и гибридная динамика, основанная на MPC - ядерные реакторы могут работать более безопасно во все более сложной среде. Однако путь к развертыванию требует тщательного внимания к интерпретируемости, надежности и нормативной валидации. Продолжение исследований и сотрудничество между научными кругами, промышленностью и органами безопасности необходимы для реализации полного потенциала этих технологий. С мышлением безопасности машинное обучение может стать надежным партнером в диспетчерской, помогая операторам ориентироваться как в рутинных маневрах, так и в чрезвычайных событиях.