Dados desequilibrados são um desafio comum na aprendizagem de máquina, onde uma classe supera significativamente outras. Esse desequilíbrio pode levar a modelos tendenciosos que se apresentam mal em classes minoritárias. Técnicas de aprendizagem sensíveis aos custos abordam essa questão atribuindo custos diferentes a classificações erradas, ajudando modelos a focar em classes minoritárias.

Compreender os Dados Desbalanceados

Os conjuntos de dados desequilibrados ocorrem em vários campos, como detecção de fraudes, diagnóstico médico e filtragem de spam. Nesses casos, a classe minoritária é frequentemente mais importante, mas menos representada. Algoritmos padrão tendem a favorecer a classe majoritária, resultando em baixa memória para a classe minoritária.

Técnicas de aprendizagem sensíveis aos custos

A aprendizagem sensível aos custos implica modificar o processo de aprendizagem para explicar diferentes custos de classificação incorreta. Ao atribuir custos mais elevados aos erros em classes minoritárias, os modelos tornam-se mais sensíveis a essas classes, melhorando o desempenho geral.

Abordagens comuns

  • Algoritmos ponderados:] Pesos de classe incorporados na função de perda para penalizar mais fortemente a classificação incorreta de classes minoritárias.
  • Matrizes de custo: Defina uma matriz especificando o custo de cada tipo de classificação incorreta, orientando o modelo para minimizar o custo total.
  • Técnicas de amostragem: Combinar métodos sensíveis aos custos com sobreamostragem ou subamostragem para equilibrar o conjunto de dados.