Розуміння пам'яті великого нейромереж є важливим для оптимізації розгортання та навчання. Вона допомагає визначити вимоги до обладнання та ефективність. Ця стаття пояснює, як розрахувати пам'ять, що використовується моделями нейромереж.

Комплектуючі для використання пам'яті

Загальний опис пам'яті включає в себе кілька компонентів: параметри моделі, градієнти, оптимізатори станів і тимчасових буферів при обчисленні. Кожен компонент сприяє загальному споживанню пам'яті.

Розрахунок параметрів моделі пам'яті

Початковий фактор - розмір параметрів моделі. Для оцінки цього, розмноження кількості параметрів за розміром кожного параметра, як правило, 4 байтів для 32-розрядних чисел точки.

Наприклад, модель з 100 млн параметрів зажадала приблизно 400 Мб пам'яті лише для зберігання параметрів.

Додаткові пам'ятки

Під час навчання, градієнти та оптимізатори також споживають пам'ять. Градієнти зазвичай однакові розміри, як параметри, купуючи вимоги пам'яті. Оптимальні стани, такі як імпульс або адаптивні зміни курсу навчання, можуть додати додатково накладні.

Тимчасові буфери для активації та проміжних обчислень також сприяють загальному використанню пам'яті, особливо з великими розмірами партії або складними архітектурими.

Оцінка всього використання пам'яті

Для оцінки загальної пам'яті, сума пам'яті для параметрів, градієнтів, оптимізаторів станів та тимчасових буферів. Регульовані розрахунки на основі конкретної моделі архітектури та налаштування тренінгу.

  • Параметри моделі
  • Гроди
  • Стани оптимізатора
  • Активація буферів
  • Проміжні обчислення