Использование машинного обучения для оптимизации проектирования и декодирования кода Ldpc

Эволюционный ландшафт исправления ошибок: машинное обучение для проектирования и декодирования кода LDPC

В современных системах цифровой связи, от спутниковых связей до сотовых сетей 5G, первостепенное значение имеет возможность надежно передавать данные по шумным каналам. Коды с низкой плотностью паритета-проверки (LDPC) стали краеугольным камнем коррекции ошибок, предлагая почти ограниченную производительность. Однако по мере того, как скорость передачи данных растет и среда каналов становится все более непредсказуемой, традиционные методы проектирования кодов LDPC и их алгоритмы декодирования сталкиваются с растущим давлением. Машинное обучение (ML) теперь выходит на сцену, не как замена классической теории информации, а как мощный ускоритель, который может обнаруживать шаблоны, оптимизировать параметры и адаптивно улучшать производительность способами, которые ручная инженерия не может. В этой статье исследуется, как методы машинного обучения применяются как к построению кода LDPC, так и к оптимизации декодера, проблемы, которые остаются, и многообещающее будущее.

Основы кодов LDPC: краткий рефресер

Коды проверки паритета низкой плотности, введенные Робертом Галлагером в его докторской диссертации 1963 года, являются линейными блок-кодами, определенными очень редкой матрицей проверки четности H.«Матрица низкой плотности» означает, что матрица содержит в основном нули, только с небольшим количеством единиц на строку и столбец. Это свойство редкости позволяет эффективно использовать алгоритмы итеративного декодирования, особенно распространение убеждений (BP) или передачу сообщений, которые могут достичь отличной производительности коррекции ошибок с управляемой сложностью.

Коды LDPC теперь повсеместно используются в связях в глубоком космосе (стандарты CCSDS), цифровом видеотрансляции (DVB-S2 и DVB-T2), беспроводных локальных сетях (IEEE 802.11n/ac/ax) и являются основным кодом канала передачи данных 5G New Radio (NR). Конструкция хорошего кода LDPC включает в себя построение матрицы проверки четности, чтобы избежать коротких циклов, особенно циклов длины 4, которые ухудшают производительность декодирования. Традиционные подходы полагаются на алгебраические конструкции, случайные методы (например, прогрессивный рост края) или исчерпывающий поиск с эвристикой. Хотя эти методы эффективны, они часто производят коды, которые оптимизированы для конкретного отношения сигнал-шум (SNR) или модель канала, оставляя место для улучшения, когда условия меняются.

Декодирование кодов LDPC: проблема распространения веры

Стандартный алгоритм декодирования кодов LDPC — это распространение убеждений, которое итеративно передает сообщения по графу Таннера (двухчастное графовое представление матрицы проверки четности). Каждая итерация обновляет вероятности того, что данный бит равен 0 или 1. Алгоритм прост в принципе, но вычислительно интенсивен, особенно для длинных кодов. Более того, стандартный алгоритм BP предполагает, что граф Таннера не имеет цикла, что никогда не верно на практике. Короткие циклы вызывают корреляцию между сообщениями, приводя к неоптимальным решениям. Исследователи разработали различные приближения (например, мин-сумма, нормализованная мин-сумма) для выключения производительности за скорость, но разрыв между конечной длиной производительности LDPC и пределом Шеннона остается целью для улучшения.

Именно здесь становится привлекательным машинное обучение.Модели ML могут научиться корректировать приближения, оптимизировать графики затопления или даже заменить весь итеративный процесс нейронной сетью, обрабатывающей принятый сигнал за один проход.

Машинное обучение для построения кода LDPC

Разработка матрицы LDPC для проверки четности является комбинаторной оптимизацией с обширным пространством поиска. Методы ML, особенно обучение с подкреплением и генеративные модели, предлагают новые способы эффективной навигации в этом пространстве.

Нейронная сеть — управляемая генерация матриц

Один из подходов использует генеративные состязательные сети (GAN) или вариационные автокодеры (VAE) для получения матриц проверки четности с желаемыми свойствами. Сеть генератора учится распределению «хороших» матриц из обучающего набора известных высокопроизводительных кодов. Дискриминатор оценивает, будет ли матрица эффективной. Со временем генератор производит матрицы, которые не только редки, но и обладают высоким обхватом (минимальная длина цикла) и хорошим распределением степени. Например, исследователи из Калифорнийского университета в Сан-Диего продемонстрировали, что VAE может генерировать матрицы, которые превосходят случайно построенные коды для аддитивных белых гауссовских шумовых (AWGN) каналов ()arXiv:1905.00604].

Усиление обучения для роста Edge

Усиление обучения (RL) было применено к алгоритму прогрессивного роста края (PEG), классическому жадному методу построения матриц LDPC. В RL-настройке агент решает, какой переменный узел подключаться к данному узлу проверки на каждом этапе. Вознаграждение основано на производительности конечного кода с частотой ошибок или его свойствах графа (например, обхват). Обучая RL-агента различным условиям канала, полученные коды могут быть «знающими о каналах». Это особенно полезно для приложений, таких как 5G, где канал может быть частотно-селективным или быстро меняющимся. Исследование 2021 года в IEEE Транзакциях на коммуникациях показало, что RL-оптимизированные коды достигли прироста до 0,3 дБ по сравнению со стандартными кодами PEG для коротких длин блоков (]IEEE Xplore .

Мета-обучение для адаптивного дизайна кода

Мета-обучение или обучение для обучения позволяет модели быстро адаптироваться к новой среде канала после просмотра только нескольких примеров. Для дизайна LDPC мета-обучитель может быть обучен на семействе моделей каналов (например, AWGN, затухание Рэлея, ошибки разрыва) и затем тонко настроить матрицу проверки четности для конкретного неизвестного канала после короткой фазы калибровки. Это особенно перспективно для устройств Интернета вещей (IoT), работающих в различных и изменяющихся средах. Хотя все еще в значительной степени экспериментальные, ранние результаты конференции 2023 года показали, что мета-обученные коды могут снизить частоту ошибок блока на 50% по сравнению с фиксированной конструкцией после всего 5 калибровочных кадров.

Машинное обучение для стратегий декодирования LDPC

Расшифровка - это то, где ML испытала самое драматическое влияние. Традиционное распространение убеждений может быть ускорено, сделано более точным или полностью заменено с помощью нейронных сетей.

Нейронная Распространение Веры (NBP)

Простая идея состоит в том, чтобы развернуть итерации распространения убеждений в нейронную сеть. Каждая итерация становится слоем, а операции передачи сообщений заменяются изученными весами или небольшими нейронными сетями. Это известно как распространение нейронной веры (NBP) или глубокое развертывание. Весы могут быть обучены с помощью градиентного спуска, чтобы минимизировать BER или BLER. Поскольку сеть является прямой «разворачивающейся» алгоритма декодирования, она сохраняет структуру графа и редкость, но она может адаптировать правила обновления для компенсации эффектов конечной длины и коротких циклов.

Было показано, что NBP превосходит стандартное декодирование min-sum на 0,2-0,5 дБ для кодов LDPC средней длины. Например, в 2018 году в журнале IEEE Journal on Selected Areas in Communications сообщалось, что развернутая сеть с 10 итерациями достигла той же производительности, что и 50 итераций стандарта BP IEEE Xplore . Более поздняя работа заменяет вес скалярных сообщений легкими 1D-извилинами, что еще больше улучшает производительность кодов с соединениями высокой плотности.

Нейронные сетевые декодеры для коротких блоков кодов

Для очень коротких кодов LDPC (например, длина блока < 128 bits), iterative decoding is often suboptimal because the Tanner graph is dense with cycles. In this regime, a fully connected neural network (FCNN) or a transformer-based architecture can learn the optimal decoding mapping directly from the received log-likelihood ratios (LLRs) to the transmitted codeword. These "neural decoders" are trained on a large corpus of noise realizations and can achieve maximum-likelihood (ML) performance with reduced complexity. A 2020 work from the University of Toronto demonstrated that a small transformer network could decode a (64,32) LDPC-like code within 0.1 dB of the ML bound, while requiring fewer than 1000 multiply-accumulate operations (PMLR).

Обучение с подкреплением для планирования декодера

Производительность распространения убеждений сильно зависит от порядка, в котором обновляются сообщения («расписание наводнений») Стандартные подходы используют параллельный график, но последовательные графики могут сближаться быстрее. RL может узнать оптимальное расписание для данного кода и состояния канала. Агент наблюдает текущие остаточные убеждения и решает, какой переменный узел обновить следующим. Награда — это комбинация скорости конвергенции и конечной частоты ошибок. В статье 2022 года в IEEE Транзакции на нейронных сетях и системах обучения показано, что график на основе RL уменьшил среднее количество итераций на 40% по сравнению со случайным последовательным графиком, сохраняя при этом идентичную производительность ошибок (IEEE Xplore. Это особенно ценно для приложений с низкой задержкой, таких как автономное вождение или удаленная хирургия.

Дизайн декодера для конкретных ограничений оборудования

Машинное обучение также может оптимизировать декодеры для реализации аппаратного обеспечения. Для конструкций программируемых на полевых условиях решеток шлюзов (FPGA) или интегральных схем (ASIC) для конкретных приложений компромисс между шириной бита, квантованием и частотой ошибок имеет решающее значение. Модели ML могут научиться сжимать сообщения декодера (например, использовать 4-битную фиксированную точку вместо 8-бит) при обучении вспомогательной сети, которая компенсирует потери квантования. Этот подход «обученного квантования» может снизить энергопотребление до 50% с незначительным ухудшением производительности (]arXiv:2104.10228.

Проблемы в машинном обучении - LDPC оптимизация

Несмотря на обещание, существуют значительные препятствия для развертывания решений на основе LDPC в реальных системах.

Генерация и сложность набора данных

Обучение нейронной сети для проектирования или декодирования кода LDPC требует огромных объемов меченых данных. Для декодирования каждый пример обучения состоит из чистого кодового слова, вектора шума и полученного в результате сигнала. Генерировать миллионы таких примеров для длинных кодов (например, длина 10 000 бит) вычислительно дорого. Более того, сам процесс обучения может потребовать сотни часов графического процессора. Для проектирования кода цикл обратной связи еще медленнее: для оценки качества матрицы проверки четности кандидата требуется запустить моделирование декодера, что отнимает много времени. Исследователи изучают способы использования суррогатных моделей или уменьшенных симуляций для ускорения обучения.

Обобщение и стойкость

Модель ML, обученная на каналах AWGN, может катастрофически выйти из строя на угасающем канале или в присутствии импульсивного шума. Обеспечение того, чтобы обученные декодеры обобщались в различных моделях каналов, является открытой проблемой. Такие методы, как рандомизация домена (обучение широкому разнообразию SNR и распределения шума), могут помочь, но полученные модели могут стать консервативными. Связанная проблема - устойчивость к аппаратным нарушениям: декодер нейронной сети, который предполагает идеальные входы LLR, может задохнуться, когда подаются квантованные или насыщенные значения от реального приемника. Адаптация в полевых условиях (онлайн-обучение) является одним из потенциальных средств правовой защиты, но это добавляет сложность.

Задержка и пропускная способность

В то время как декодеры нейронных сетей могут уменьшить количество итераций, время вывода глубокой сети (особенно трансформатора) может быть выше, чем простой декодер с минимальной суммой, работающий на специальном оборудовании. Для высокопроизводительных приложений, таких как оптические транспортные сети (100 Гбит/с и более), даже микросекундные задержки имеют значение. Текущие исследования сосредоточены на разработке легких архитектур, которые могут быть эффективно построены или параллелизированы. Бинаризованные нейронные сети (BNN) являются перспективным направлением, поскольку они заменяют операции с плавающей точкой битовыми вычислениями, резко уменьшая задержку и мощность.

Интерпретируемость и валидация

Телекоммуникационная индустрия консервативна: системным инженерам необходимо понять, почему декодер принимает конкретное решение или почему код работает хорошо, прежде чем сертифицировать его для использования в критически важных для безопасности системах. Нейронные сети часто являются «черными ящиками». Работа над объяснимым ИИ для связи все еще находится в зачаточном состоянии, но такие методы, как визуализация внимания для декодеров трансформаторов или карты заметности для слоев NBP, начинают давать представление. Параллельно гибридные подходы, которые сочетают традиционный декодер с небольшим модулем коррекции на основе ML (например, выученное смещение для мин-суммы), предлагают более интерпретируемый путь к развертыванию.

Будущие направления: куда это девается?

Машинное обучение и коды LDPC развиваются вместе, и на горизонте есть несколько интересных тенденций.

Совместный код и декодер Co-Design

Вместо того, чтобы оптимизировать код и декодер по отдельности, будущие системы, скорее всего, будут обучать их совместно. Архитектура декодера может влиять на оптимальный дизайн кода и наоборот. Обработав всю систему связи (модулятор, канал, кодер, декодер) как сквозную нейронную сеть, исследователи могут изучить «обычный код», специально подходящий для нейронного декодера. Этот подход уже показал перспективу для коротких длин блоков (]arXiv:1811.00357) и в настоящее время масштабируется до более длинных кодов.

Критерии раннего прекращения

При итеративном декодировании многие кадры требуют всего несколько итераций, в то время как некоторые нуждаются во многих. Наученная сеть раннего прекращения (LET) может решить, когда прекратить итерацию, изучив текущее состояние декодера. Это может сэкономить энергию и уменьшить среднюю задержку. RL является естественным решением этой проблемы, поскольку агент узнает политику, которая уравновешивает риск сбоя декодирования со стоимостью дополнительных итераций. Ранние результаты показывают, что LET может уменьшить средние итерации на 30-50% без увеличения частоты ошибок.

Обучение на устройстве для адаптивной коммуникации

Конечная цель состоит в том, чтобы сделать устройства связи, которые могут адаптироваться к их среде в режиме реального времени. Узел датчика IoT может научиться корректировать свою стратегию кода и декодирования LDPC на основе текущего уровня батареи, качества канала и требований к задержке. Это потребует сверхлегких моделей ML, которые могут быть обучены на микроконтроллере, возможно, используя перегонку знаний из более крупной автономной модели. Исследования крошечного ML для декодирования канала только начинаются, но потенциал для автономных и устойчивых сетей огромен.

Интеграция со стандартами Beyond-5G и 6G

Органы стандартизации, такие как 3GPP, уже изучают использование машинного обучения в процедурах физического уровня. Для 6G, ожидаемой примерно к 2030 году, вероятна нативная поддержка кодов и декодеров, корректирующих ошибки на основе ИИ. Одно из видений заключается в том, что базовая станция и пользовательское оборудование согласовывают структуру кода через изученное нейронное представление, которое может быть адаптировано для различных служб - от сверхнадежных коммуникаций с низкой задержкой (URLLC) до расширенной мобильной широкополосной связи (eMBB). Сами коды LDPC могут стать «обучаемыми», причем параметры матрицы проверки четности передаются как небольшой набор весов, а не полная матрица.

Заключение

Коды с низкой плотностью не исчезают. Их безупречная теоретическая основа и широкое промышленное внедрение делают их постоянным элементом в цифровых коммуникациях. Однако статическая, универсальная философия дизайна, которая служила этой области в течение десятилетий, преобразуется машинным обучением. От создания матриц, адаптированных к конкретным условиям канала, до нейронных декодеров, которые сжимают десятилетия итеративной уточнения в несколько изученных слоев, ML обеспечивает ощутимые выгоды в производительности ошибок, задержке и энергоэффективности.

Путь к полной интеграции не лишен препятствий: потребность в больших наборах данных, вычислительные затраты, проблемы надежности и спрос отрасли на интерпретируемость - все это реальные проблемы. Но траектория ясна. По мере того, как аппаратные ускорители становятся более способными, а алгоритмы - более элегантными, грань между проектированием кода и машинным обучением будет размываться. Системы связи завтрашнего дня будут не просто кодировать и декодировать данные - они будут учиться, адаптироваться и оптимизировать себя. Для инженеров и исследователей, работающих на этом перекрестке, возможности столь же широки, как и каналы связи, которые они стремятся защитить.