Аппаратные ускорители стали незаменимыми для современных рабочих нагрузок искусственного интеллекта, от обучения массивных нейронных сетей до запуска вывода в реальном времени на периферийных устройствах. Эти специализированные чипы достигают порядков увеличения производительности и энергоэффективности по сравнению с процессорами общего назначения, адаптируя свои пути передачи данных и логику управления к математическим шаблонам, распространенным в ИИ - в первую очередь умножение матриц, извилин и векторных операций. В основе каждого такого ускорителя лежит компонент, который часто упускается из виду, но абсолютно критический: регистровый файл.

Регистры — это самые маленькие, самые быстрые элементы памяти в процессоре или ускорителе. Они сидят непосредственно внутри процессорных блоков, обеспечивая мгновенный доступ к данным, которыми активно манипулируют. Без эффективно разработанной иерархии регистров даже самый сложный ускоритель будет узким местом из-за задержки памяти, неспособным подавать свои вычислительные блоки с необходимой скоростью. В этой статье мы рассмотрим многогранную роль регистров в аппаратных ускорителях ИИ, охватывающих их архитектурные функции, компромиссы проектирования и способы, которыми они обеспечивают чрезвычайную пропускную способность, требуемую глубоким обучением.

Понимание регистров в цифровых системах

Прежде чем углубляться в использование, связанное с ИИ, полезно установить, что такое регистры и чем они отличаются от других технологий памяти. Регистр представляет собой двоичный элемент хранения, обычно реализованный с помощью шлепанцев или защелок, который может содержать один или несколько битов данных. Регистры сгруппированы в регистровые файлы - массивы регистров, которые могут считываться или записываться параллельно. В современных микропроцессорах регистровый файл может содержать от 16 до 256 записей, каждая из которых содержит слово (например, 32 или 64 бита).

Поскольку регистры физически интегрированы в тот же чип, что и арифметические логические блоки (ALU), и обычно построены с полностью настраиваемой статической логикой CMOS, их можно читать в одном тактовом цикле — часто менее чем за наносекунду. Эта скорость имеет свою цену: регистры требуют значительной площади кристалла и потребляют статическую мощность. Инженеры должны тщательно выбирать, сколько регистров включать и как их организовать.

Регистры выполняют несколько основных функций в любом процессоре или ускорителе:

  • Оперативное хранение: Они содержат исходные значения, которые подаются в арифметические единицы во время инструкции.
  • Результат буферизации: Они временно захватывают выход вычисления до того, как он будет записан в память или переадресован в другой блок.
  • Состояние контроля: Они хранят биты конфигурации, настройки режима и сигналы управления трубопроводом, которые определяют поведение траектории передачи данных.
  • Архитектурное состояние: В ядре общего назначения программист-видимые регистры определяют состояние машины (например, счетчик программы, указатель стека).

В контексте ускорителей ИИ последняя точка часто менее актуальна, потому что ускорители обычно не программируются непосредственно разработчиком приложений. Вместо этого файл реестра сильно настроен на конкретные шаблоны потоков данных вычислений нейронных сетей.

Роль регистров в ускорителях аппаратного обеспечения AI

Ускорители ИИ — будь то графические процессоры (GPU), тензорные процессоры (TPU), программируемые на полевых условиях массивы затворов (FPGA) или индивидуальные интегральные схемы для конкретных приложений (ASIC) — разделяют общее требование: они должны обрабатывать огромные объемы данных с минимальной задержкой. Регистры являются основой, которая делает это возможным. Они обеспечивают три критических возможности: мелкозернистая трубопроводизация, передача данных с высокой пропускной способностью и гибкая реконфигурация.

Пипелинирование тонкой вырезки

Современные ускорители ИИ реализуют глубоко трубопроводные архитектуры, где одно вычисление (например, мультиаккумуляция) разбивается на несколько этапов: извлекают операнды, умножают, накапливают и записывают. Регистры размещаются между каждым этапом для получения промежуточных результатов. Этот метод, называемый пиплайнингом, позволяет ускорителю начинать новую операцию каждый цикл, даже если каждая отдельная операция занимает несколько циклов для завершения. Регистры действуют как буферы, которые разъединяют этапы, гарантируя, что данные плавно текут, не дожидаясь самой медленной стадии. В систолическом массиве — общей топологии ускорителя — регистры буквально вплетаются в каждую ячейку массива, держа частичные суммы, которые пульсируют через сетку. Без этих регистровых этапов массив будет останавливаться, и пропускная способность будет падать.

Высокоширотное кормление данными

Нейронные сетевые слои работают на тензорах: многомерные массивы чисел. Например, сверточный слой может считывать фильтр 3×3 и патч карты входных признаков, а затем вычислять сумму продуктов. Количество операций на байт полученных данных относительно низкое, что означает, что ускоритель должен поставлять данные с чрезвычайно высокой пропускной способностью, чтобы держать свои множители занятыми. Регистры - организованные в широких многопортированных регистровых файлах - служат в качестве кэша данных первого уровня для вычислительных блоков. Они могут быть разработаны для доставки нескольких операндов за цикл, непосредственно на входы ALU, без какого-либо перевода адреса или поиска тегов. Этот выделенный путь с низкой задержкой необходим для поддержания тера-операций в секунду (TOPS) цели современных ускорителей.

Гибкая конфигурация и контроль

Ускорители должны поддерживать множество различных архитектур нейронных сетей: различные размеры слоев, типы данных, функции активации и стратегии наклона. Вместо того, чтобы жестко устанавливать эти параметры, дизайнеры хранят их в регистрах управления. Регистр конфигурации может указывать размеры ядра свертки, шаг, режим набивания или количество итераций в цикле. Переписывая эти регистры (часто через небольшой встроенный микроконтроллер или двигатель DMA), один и тот же аппаратный путь передачи данных может быть повторно использован для разных моделей. Эта программируемость жизненно важна, потому что модели ИИ быстро развиваются; схема управления на основе регистра позволяет ускорителю оставаться полезным для разных поколений алгоритмов.

Архитектурный регистр файлов для ускорителей ИИ

В отличие от регистрового файла процессора, который должен поддерживать фиксированный набор регистров общего назначения, видимых для ISA, регистровый файл ускорителя может быть адаптирован к шаблону потока данных целевой рабочей нагрузки. Общие архитектурные варианты включают:

Файлы регистра векторов

Многие ускорители принимают векторную или SIMD (Single Instruction, Multiple Data) парадигму, где одна инструкция работает на нескольких элементах данных параллельно. Эти конструкции используют векторные регистровые файлы — большие многобанковские массивы, которые содержат целые векторы (например, 128, 256 или 512 элементов). Каждый банк может читаться независимо, позволяя ускорителю одновременно извлекать несколько векторных элементов. Количество портов чтения и записи является основным параметром проектирования: больше портов увеличивают пропускную способность, но также увеличивают площадь и мощность. Дизайнеры часто используют многобанковские с более низким количеством портов и полагаются на упаковку данных для улучшения пропускной способности без потери бюджета мощности.

Scratchpad Memories vs. Регистрировать файлы

Распространенной альтернативой аппаратно управляемому регистровому файлу является программно управляемая скретчпад-память (SPM). В некоторых ускорителях, особенно ориентированных на малую мощность, программист явно перемещает данные между основной памятью и локальной скретчпадом SRAM. Регистры затем используются только для временных результатов. Однако линия между большим регистровым файлом и небольшой скретчпад размыта. Оба могут быть многопортовыми и тесно связанными для вычисления блоков. Выбор зависит от модели программирования: скретчпады предлагают большую гибкость в компоновке данных, но требуют явного управления, в то время как регистровые файлы имплицитно управляются компилятором или аппаратным планировщиком. Последние архитектуры, такие как систолические массивы в TPU Google, фактически используют комбинацию: большая систолическая память данных SRAM, которая подает строки данных в конвейер на основе регистра внутри каждого элемента обработки.

Регистр переименования и поддержки рисков

В нестандартных исполнительных механизмах (обычно в высокопроизводительных графических процессорах и некоторых ускорителях ИИ) переименование регистров используется для устранения ложных зависимостей. Файл физического регистра содержит больше регистров, чем набор архитектурных регистров, что позволяет аппаратному обеспечению отображать логические регистры в различные физические регистры, чтобы избежать задержек. В то время как переименование добавляет сложность, оно может улучшить использование вычислительных блоков - особенно в рабочих нагрузках, таких как обучение нейронных сетей, где несколько потоков или деформаций перемежаются, чтобы скрыть задержку памяти.

Дизайн-соображения: скорость, площадь и мощность

Конструкция регистровых файлов ограничена тремя классическими осями VLSI: скоростью, площадью и мощностью. Для ускорителей ИИ цели являются экстремальными. Регистрационный файл должен быть достаточно быстрым, чтобы питать массив мультипликаторов, который может использовать десятки тысяч мультипликаторов, все работающие на гигагерцовых частотах. Типичный 32-битный регистровый бит, реализованный в современном 7-нм процессе, может потреблять около 0,5 мкм2 и потреблять несколько микроватт статической мощности при активации. Умноженный на тысячи регистров, общая площадь и мощность становятся значительными - иногда доминируя в бюджете ускорителя.

Чтобы смягчить это, архитекторы используют несколько методов:

  • Банковское дело и сокращение портов: Вместо того, чтобы строить единый монолитный регистровый файл со многими портами чтения/записи, дизайнеры разделили файл на несколько банков, каждый с меньшим количеством портов.Расписание гарантирует, что одновременные доступы попадают в разные банки, избегая банковских конфликтов.
  • Иерархические файлы реестра: Некоторые конструкции используют небольшой, сверхбыстрый файл реестра (например, кэш регистра) для часто повторно используемых значений, подкрепленных большим, более медленным файлом реестра.
  • Мощность: Неиспользуемые регистровые банки отключены для экономии мощности утечки, что особенно важно в мобильных или краевых ускорителях.
  • Интеграция с данными: В конструкциях с экстремальными характеристиками регистры сливаются непосредственно в ячейки аккумулятора мультипликатора (MAC). Сама ячейка MAC включает в себя регистр трубопровода и регистр обратной связи для накопления частичных сумм. Это устраняет необходимость в отдельном централизованном регистровом файле и уменьшает задержку провода.

Регистры в конкретных ускорительных архитектурах

GPU (NVIDIA, AMD)

GPU — это высокопараллельные ускорители, которые полагаются на массивные регистровые файлы для поддержки тысяч одновременных потоков. Каждый потоковый мультипроцессор (SM) в NVIDIA GPU содержит регистровый файл с десятками тысяч 32-битных регистров. Эти регистры разбиты среди потоков (или деформаций) в схеме контекстного переключения, позволяющей переключаться на потоки с нулевой стоимостью: когда один варп останавливает доступ к памяти, другой варп может сразу же начать выполняться с помощью собственного набора регистров. Размер регистрового файла напрямую определяет максимальное количество потоков на SM и, следовательно, возможность скрывать задержку. Современные GPU реализуют регистровые файлы с помощью банкинга, и они поддерживают такие функции, как кэширование регистра и предварительная загрузка регистра, чтобы уменьшить давление на полосу пропускания регистрового файла.

Тензорные процессоры (Google TPU)

TPU Google использует другой подход: он использует двухуровневую иерархию. Большой 8-миБ (или более крупный) SRAM-скачпад, называемый «весовым буфером», хранит фильтрующие веса, а модуль «систолической настройки данных» считывает с скретчпада и подает строки данных в систолический массив. Внутри каждой систолической ячейки — многократно аккумулируемый блок — есть регистры трубопроводов для входных значений и выделенный регистр аккумуляторов. Эти внутренние регистры оптимизированы исключительно для многократно аккумулируемого потока данных. Дизайн TPU минимизирует стоимость больших регистровых файлов, используя скретчпад для объемного хранения и ограничивая регистры крошечными, на ячейку места хранения, необходимые для потоковых данных.

Расширения векторов RISC-V (например, SiFive Intelligence, эсперанто)

Расширение вектора RISC-V (V) обеспечивает гибкую, программно определенную длину вектора (VLEN). Реализации различаются в том, как они отображают архитектурные векторные регистры на физические записи регистровых файлов. Некоторые используют один монолитный векторный регистровый файл битов VLEN на регистр; другие разделяют его на несколько полос. Регистры в векторном ускорителе имеют решающее значение для хранения векторных операндов во время цепей и для хранения регистров масок, используемых в предикативных операциях. Конструкция этих регистровых файлов должна позволять изменять длины векторов и поддерживать как упакованные, так и неупакованные типы данных (например, целое число, поплавок, bfloat16).

Ускорители на основе FPGA

FPGA обеспечивают реконфигурируемое оборудование, а регистры являются фундаментальным ресурсом. Каждый логический блок FPGA (LUT) сопровождается флип-флопом (регистром). В ускорителе AI, реализованном на FPGA, регистровый файл синтезируется из этих флип-флопов. Поскольку ткань перепрограммируема, подключение к регистру может быть настроено на точную конструкцию ускорителя. Однако эффективность области регистров FPGA обычно ниже, чем у регистров ASIC, поэтому дизайнеры должны сбалансировать количество регистров против количества LUT. Многие ускорители на основе FPGA полагаются на блок RAM (BRAM) для большего объема памяти и используют регистры только для небольших критических буферов.

Будущие тенденции: почти память и обработка в памяти

По мере роста размеров и сложности моделей ИИ стоимость перемещения данных из памяти в ускоритель стала доминирующим узким местом. Одним из перспективных направлений является вычисление с близкой памятью, где регистровое хранилище физически расположено рядом с банками памяти, часто появляясь как часть 3D-стекленной памяти (например, HBM). В этих конструкциях регистровый файл ускорителя может быть заменен набором небольших буферов, которые могут захватывать данные по мере их поступления из стека памяти, уменьшая расстояние, которое должны пройти данные. Процессинг в памяти (PIM) идет дальше путем встраивания вычислительных блоков внутри самих чипов памяти, где элементы хранения (ячейки DRAM) считываются непосредственно в бит-серийные или SIMD-процессоры. Здесь регистры могут быть полностью устранены в пользу небольших локальных защелок, которые временно удерживают один или два операнда во время вычисления. Однако большинство текущих PIM-проектов по-прежнему полагаются на небольшой регистровый файл на каждом элементе обработки, чтобы обеспечить простые операции ALU и хранить промежуточные результаты.

Другой тенденцией является использование запись-карта памяти в тесно связанных ускорителях. В этой схеме процессор ЦП или хост-процессор может читать и записывать регистровый файл ускорителя, как если бы это была область памяти-карта, позволяющая быстрое общение без прерывания накладных расходов. Это особенно важно для регистров управления и статуса, которые должны часто опрашиваться.

Заключение

Регистры являются основополагающим строительным блоком аппаратных ускорителей ИИ. Они обеспечивают быстрое хранение данных с низкой задержкой, которое позволяет создавать глубокие трубопроводы, высокоскоростные каналы передачи данных и гибкое управление, необходимое для достижения производительности, требуемой современными нейронными сетями. От крошечных регистров аккумуляторов внутри каждой ячейки MAC до массивных файлов векторных регистров в графических процессорах каждый бит регистра представляет собой инженерный компромисс между скоростью, площадью и мощностью. Поскольку рабочие нагрузки ИИ продолжают раздвигать границы вычислений, инновации в проектировании регистровых файлов, такие как иерархические регистры, банковские операции и интеграция с новыми технологиями памяти, останутся критически важными для создания следующего поколения эффективных высокопроизводительных ускорителей.

Для читателей, которые хотят получить более глубокое техническое понимание, следующие внешние ресурсы предоставляют дополнительный контекст: