Как рассчитать количество параметров в нейронной сети

Понимание того, как вычислять количество параметров в нейронной сети, необходимо для проектирования и анализа моделей. Параметры включают веса и предубеждения, которые сеть узнает во время обучения. В этом руководстве объясняются основные шаги для определения общего количества параметров в модели нейронной сети.

Параметры в полностью соединенных слоях

В полностью подключенном (плотном) слое каждый вход соединяется с каждым нейроном весом, и каждый нейрон имеет термин смещения.Общее количество параметров в таком слое вычисляется как:

Количество параметров = (Число входов × Количество нейронов) + Количество нейронов

Расчет параметров в сверточных слоях

Для свёрточных слоев параметры зависят от размера фильтра, количества фильтров и входных каналов. Формула такова:

Количество параметров = (Высота фильтра × Ширина фильтра × Количество входных каналов × Количество фильтров) + Количество фильтров

Общие параметры в модели

Для нахождения общего числа параметров в нейронной сети суммируйте параметры всех отдельных слоев. Это обеспечивает общую меру сложности и емкости модели.

Пример расчета

Рассмотрим модель с одним полностью подключенным слоем, принимающим 100 входов и производящим 50 выходов. Число параметров:

Этот расчет помогает понять размер и требования к обучению модели.