Overfitting é um desafio comum no treinamento de redes neurais complexas, onde os modelos funcionam bem em dados de treinamento, mas pouco em dados invisíveis. As técnicas de regularização ajudam a melhorar a capacidade de generalização desses modelos, evitando o overfitting. Este artigo explora métodos avançados de regularização que são eficazes para redes neurais complexas.

Desistência e Variantes

A desistência é uma técnica de regularização amplamente utilizada que desativa aleatoriamente um subconjunto de neurônios durante o treinamento. Variantes como a desistência espacial e o DropConnect introduzem modificações para melhorar o desempenho em cenários específicos. A desistência ajuda a reduzir a dependência em neurônios específicos, promovendo uma aprendizagem mais robusta de recursos.

Regularização do Peso

A regularização do peso adiciona termos de penalização à função de perda para restringir a magnitude dos pesos.Os métodos comuns incluem a regularização L1, que estimula a esparsidade, e a regularização L2, que desencoraja grandes pesos.Essas técnicas ajudam a impedir que o modelo encaixe o ruído nos dados de treinamento.

Aumento de dados e injecção de ruído

O aumento de dados aumenta artificialmente o conjunto de dados de treinamento aplicando transformações como rotações, escalas ou mudanças de cor. A injeção de ruído envolve adicionar ruído aleatório a entradas ou pesos durante o treinamento. Ambos os métodos melhoram a robustez do modelo e reduzem o ajuste excessivo ao expor o modelo a diversas variações de dados.

Técnicas Avançadas

Outros métodos avançados de regularização incluem:

  • Normalização do embalo: normaliza entradas de camada para estabilizar a aprendizagem.
  • Paragem precoce: para o treino quando o desempenho de validação pára de melhorar.
  • Normalização espetral: restringe a norma espectral de matrizes de peso para estabilizar o treinamento.
  • DropBlock:] cai regiões contíguas em mapas de recursos, aumentando a regularização.