Нормалізація батчів – це методика, яка використовується в глибокому навчанні для поліпшення процесу підготовки нейромереж. Вона нормалізує вводи кожного шару, що дозволяє стабілізувати і прискорити навчання. У статті досліджуються розрахунки, залучені, переваги, пропозиції та способи розгортання нормалізації партії на практиці.

Розрахунок в нормалізації батчів

Під час тренувань, періодична нормалізація комп’ютерно-розважна частина кожної функції по поточному міні-податку. Нормалізація значення потім обчислюється шляхом відрахуванням риси та поділу стандартним відхиленням. Формула:

] // ] // ] // ] ] ]] // ]]] // ]]]]]

x] є входом, μ] є пакетним, σ2] є пакетним варіансом, а ε є невеликою констанцією для запобігання поділу нуль. Після нормалізації, вивчистих параметрів масштабу і перемикання виходу:

]и = γ * * β

Переваги нормалізації батчів

Нормалізація батчів пропонує кілька переваг у навчанні нейромереж. Вона зменшує внутрішню коваріатну зміну, яка є зміною розподілу мережевих активностей. Ця стабілізація дозволяє більшим курсам навчання і більш швидким збіжністю. Крім того, вона виступає у вигляді регулярності, потенційно зменшуючи необхідність інших методів, таких як крапельний.

Інші переваги включають поліпшення точності моделі і надійність, а також можливість використовувати більш глибокі мережі без страждання від ванішування або вибухових градієнтів.

Практичне розгортання нормалізації батчів

Реалізація нормалізації пакетів в нейромережі передбачає додавання шарів нормалізації партії після кожного конвої або повністю підключеного шару. В рамках, таких як TensorFlow або PyTorch, це прямо наперед з вбудованими функціями.

Під час тренувань, за нормалізаціям партії, оновлення їх рухомих середин середньої величини і варіабельності. Під час інференції ці середні використовуються для нормалізації, забезпечення послідовної продуктивності.

Важливо враховувати розмір партії при розгортанні нормалізації партії. Менші розміри партії можуть призвести до менш стабільних оцінок середньої і варіабельності, які можуть вплинути на модельний виступ. Альтернативи, такі як нормалізація шару або нормалізація групи, можуть бути використані в таких випадках.