Гіперпараметр тюнінг є вирішальним кроком в супервізійному навчанні, що передбачає вибір кращих параметрів моделі машинного навчання. Правильне тюнінг може істотно підвищити продуктивність моделі і точність. Ця стаття досліджує загальні методи і надає приклади, щоб краще зрозуміти процес.

Що таке Гіперпараметр?

Гіперпараметри є налаштування, які регулюють процес навчання моделі машинного навчання. На відміну від параметрів моделі, які навчаються під час тренувань, починаються гіперпараметри. Налаштування цих параметрів дозволяє оптимізувати здатність моделі до узагальнення нових даних.

Загальні методи нарахування гіперпараметра

  • Grid Search: Systematally шукає за допомогою зазначеного підмножини гіперпараметрів шляхом підготовки та оцінювання моделі для кожного поєднання.
  • Random Search: Випадкові зразки комбінації гіперпараметрів в межах визначених діапазонів, часто знаходжують хороші параметри швидше, ніж пошук сітки.
  • Bayesian Оптимізація: Використання імовірнісних моделей для вибору перспективних гіперпараметрів на основі попередніх результатів, спрямованих на пошук оптимальних параметрів.

Приклади приналежності гіперпараметра

Для підтримки векторної машини (SVM), гіперпараметри, такі як тип ядра та параметр стислості (C) можна налаштувати. У нейромережі швидкість навчання, кількість шарів, кількість нейронів є загальними гіперпараметрами для оптимізації.

Використання мережевого пошуку, вчений даних може перевірити різні комбінації типів ядер і значення C для визначення найкращої моделі виконання. Крім того, випадковий пошук може швидко вивчити широкий діапазон параметрів з меншою вартістю обчислень.