As funções de ativação são componentes essenciais das redes neurais. Determinam se um neurônio deve ser ativado ou não, influenciando a capacidade da rede de aprender padrões complexos. Compreender como essas funções funcionam e como computá-las é fundamental no projeto da rede neural.

Quais são as funções de ativação?

As funções de ativação introduzem não linearidade na rede. Sem elas, a rede neural se comportaria como um modelo linear, limitando sua capacidade de resolver problemas complexos. Transformam os sinais de entrada em sinais de saída que podem ser passados para camadas subsequentes.

Funções comuns de ativação

  • Sigmóide: Valores de saída entre 0 e 1, úteis para estimativa de probabilidade.
  • ReLU: A entrada é saída diretamente se positiva; caso contrário, zero. É computacionalmente eficiente e ajuda a mitigar gradientes de desaparecimento.
  • Tanh:] Valores de saída entre -1 e 1, centrados em torno de zero, o que pode melhorar a dinâmica de treinamento.

Funções de Activação de Computação

Cada função de ativação tem uma fórmula matemática usada para calcular a sua saída a partir da entrada. Por exemplo:

Sigmóide:
f(x) = 1 / (1 + e-x[)

ReLU:
f(x) = max(0, x)

Tanh:
f(x) = (e]x - e-x[) / (ex[] + e-x[])