As redes neurais são ferramentas poderosas para resolver problemas complexos, mas também podem ajustar demais os dados de treinamento, reduzindo sua capacidade de generalização para novos dados. As técnicas de regularização ajudam a controlar a complexidade do modelo e melhorar o desempenho em dados invisíveis. Este artigo explora métodos comuns de regularização usados no treinamento de rede neural.

Desistência

A desistência é uma técnica onde neurônios selecionados aleatoriamente são ignorados durante o treinamento. Isto impede neurônios de coadaptar e incentiva a rede a desenvolver recursos mais robustos. Durante o teste, todos os neurônios são usados, mas suas saídas são escaladas para responder à desistência durante o treinamento.

Decaimento de Peso

A decaimento de peso adiciona uma penalidade à função de perda com base no tamanho dos pesos. Isto desencoraja grandes pesos, que podem levar a sobreajustamento. Comumente, a regularização L2 é usada, onde a penalidade é proporcional à soma dos pesos quadrados.

Alargamento de Dados

O aumento de dados aumenta a diversidade de dados de treinamento, aplicando transformações como rotações, traduções ou escalagem. Isso ajuda o modelo a aprender mais características gerais e reduz o excesso de ajuste, especialmente em tarefas de imagem e fala.

Parar cedo

A parada precoce envolve o monitoramento do desempenho do modelo em um conjunto de validação durante o treinamento. O treinamento é interrompido quando o desempenho pára de melhorar, impedindo que o modelo superfitize os dados do treinamento.

Resumo das Técnicas de Regularização

  • Dropout:] Ignora aleatoriamente os neurônios durante o treinamento.
  • Decaimento de peso:] Penaliza grandes pesos para evitar o excesso de ajuste.
  • Aumento de dados:]Expande dados de treinamento com transformações.
  • Paragem precoce: Para o treino quando os platôs de desempenho de validação.