Перевага – це загальний виклик в навчально-тренувальних комплексних нейромережах, де моделі добре виконуються на навчальних даних, але погано на невидимих даних. Методика регулярної роботи допомагають покращити здатність узагальнення цих моделей, запобігаючи перенаряддя. У статті досліджуються методи підвищення кваліфікації, які ефективні для складних нейромереж.

Випадкові та різновиди

Dropout - це технологія, яка випадково деактивує субсет нейронів під час тренувань. Варіанти, як Spatial Dropout і DropConnect, впроваджують модифікації для поліпшення продуктивності в конкретних сценаріях. Dropout допомагає зменшити опір на специфічних нейронах, сприяти більш надійний рівень знань.

Нормативна нормалізація

Нормативна нормалізація ваги додає штрафні умови для обмеження величини ваги. Загальні методи включають L1 регулярну процедуру, яка стимулює роздратування, а також L2-регіляція, яка уникає великих вагань. Ці методи допомагають запобігти моделі від шуму в обслуговуванні.

Оздоблення даних та шум ін'єкцій

Аугментація даних штучно розширюється процесом підготовки даних шляхом застосування трансформацій, таких як обертання, масштабування або переміщення кольорів. Припустимо ін'єкції передбачає додавання випадкових шумів в вході або ваги під час тренувань. Обидва методи покращують міцність моделі і зменшують навантаження шляхом розширення моделі, щоб розширити модель для різних варіацій даних.

Додаткові методи

До інших методів регулярної регулярної локалізації відносяться:

  • Нормалізація: нормалізує вхід шарів для стабілізаторного навчання.
  • Early Stopping: halts training при підвищенні ефективності виконання робіт.
  • Спектральна нормалізація: перенапружує спектральну норму вагових матриць для стабілізуючого навчання.
  • DropBlock:] краплі контигузних регіонів у вигляді карт, що посилює регулярність.