Những dữ liệu được cân bằng là một thách thức phổ biến trong máy học, nơi một lớp vượt trội hơn số khác. sự mất cân bằng này có thể dẫn đến những mô hình thiên vị mà thực hiện kém trong lớp học thiểu số.

Hiểu dữ liệu cân bằng

Các bộ dữ liệu cân bằng xảy ra trong nhiều lĩnh vực như phát hiện gian lận, chẩn đoán y học và lọc rác. trong những trường hợp này, nhóm thiểu số thường quan trọng hơn nhưng ít được đại diện hơn. các thuật toán chuẩn thường ưu ái lớp học đa số, dẫn đến việc nhớ kém về lớp thiểu số.

Kỹ thuật học nhạy cảm với chi phí

Học cách nhạy cảm với chi phí cao bao gồm thay đổi tiến trình học để tính toán các chi phí phân loại khác nhau. bằng cách đặt chi phí cao hơn cho các lỗi trong các lớp thiểu số, mô hình trở nên nhạy cảm hơn với các lớp học này, cải thiện hiệu suất tổng thể.

Những cách tiếp cận thông thường

  • Các thuật toán đã được đánh giá ) Để kết hợp trọng lượng lớp học vào chức năng giảm thiểu để phân loại sai số của lớp học thiểu số nhiều hơn.
  • ma trận đối chiếu: định nghĩa một ma trận chỉ ra chi phí của mỗi loại phân loại sai, hướng dẫn mô hình để giảm thiểu tổng chi phí.
  • Kỹ thuật xếp chữ: kết hợp các phương pháp nhạy chi phí với quá trình xếp đặt hoặc cắt ngắn để cân bằng bộ dữ liệu.