Implementação da Regularização de Abandono: Cálculos e Efeito na Generalização da Rede Neural

A regularização de desistência é uma técnica usada em redes neurais para evitar o excesso de ajuste. Envolve a desativação aleatória de um subconjunto de neurônios durante o treinamento, o que ajuda o modelo a generalizar melhor a dados invisíveis. Este artigo explica como a evasão é implementada, como os cálculos são realizados e seu impacto no desempenho da rede neural.

Compreender a Regularização de Abandono

O abandono funciona ao definir aleatoriamente uma proporção de saídas de neurónios para zero durante cada iteração de treino. Isto impede que os neurónios se tornem demasiado dependentes de características específicas e encoraja a rede a desenvolver representações mais robustas. A taxa de abandono determina a fracção de neurónios desactivados.

Cálculos envolvidos na evasão

Durante o treino, cada neurónio é retido com probabilidade p. A saída de um neurónio i após a evasão é calculada como:

yi = ri * xi]

onde ri é uma variável aleatória de Bernoulli com probabilidade p[] de ser 1 (retida) e 0 (reduzida). Durante a inferência, os pesos são escalonados por p[] para contabilizar a evasão durante o treino.

Efeito na generalização da rede neural

A implementação de evasão melhora a capacidade do modelo de generalização, reduzindo o excesso de ajuste. Ele força a rede a aprender representações redundantes, tornando-a mais resistente ao ruído e variações de dados. Como resultado, modelos com evasão normalmente funcionam melhor na validação e testes de conjuntos de dados.