Como calcular intervalos de confiança do modelo em aprendizagem de máquina

Os intervalos de confiança do modelo fornecem uma gama dentro da qual se espera que o verdadeiro desempenho do modelo ou valor do parâmetro caia com uma certa probabilidade. São úteis para compreender a incerteza associada às estimativas do modelo em aplicações de aprendizagem de máquina.

Entender os Intervalos de Confiança

Um intervalo de confiança é um intervalo estatístico calculado a partir de dados que provavelmente contém o valor verdadeiro do parâmetro. Na aprendizagem de máquina, isso pode se referir a métricas como precisão, precisão ou coeficientes de modelo.

Passos para calcular intervalos de confiança

Siga estes passos para calcular intervalos de confiança para métricas de modelos:

• Colete uma amostra de métricas de desempenho do modelo através de validação cruzada ou múltiplas execuções.
• Calcular a média e o desvio padrão da amostra.
• Escolha um nível de confiança (por exemplo, 95%).
• Determinar o valor crítico adequado da distribuição em t ou distribuição em z com base no tamanho da amostra e no nível de confiança.
• Calcular a margem de erro: valor crítico × (desvio padrão / tamanho da amostra).
• Calcular o intervalo de confiança como: média ± margem de erro .

Cálculo de Exemplo

Suponhamos que a acurácia de um modelo seja avaliada em mais de 30 corridas, com uma acurácia média de 85% e um desvio padrão de 3%.Para um nível de confiança de 95%, o valor crítico da distribuição t é de aproximadamente 2,045.

A margem de erro é: 2,045 × (3 / √30) . 2.045 × 0,547 . 1,12%. O intervalo de confiança é de 85% ± 1,12%, resultando em uma variação de aproximadamente 83,88% a 86,12%.