Sự mất cân bằng dữ liệu xảy ra khi sự phân bố các lớp trong một bộ dữ liệu không đều. Điều này có thể ảnh hưởng đáng kể đến hiệu suất của việc giám sát mô hình học tập, dẫn đến dự đoán thiên vị và giảm tính chính xác cho các lớp học thiểu số.

Hiểu được sự cân bằng giữa dữ liệu và dữ liệu

Trong nhiều trường hợp trên thế giới, một số lớp học phổ biến hơn những lớp khác. ví dụ như trong việc phát hiện gian lận, các giao dịch lừa đảo rất hiếm khi so sánh với những trường hợp hợp hợp hợp hợp pháp. sự mất cân bằng này có thể làm cho các mô hình ưu đãi lớp đa số, bỏ qua lớp thiểu số.

Làm giảm hiệu quả

Để đánh giá sự mất cân bằng dữ liệu ảnh hưởng thế nào đến mô hình, một số thước đo có thể được dùng:

  • ) có thể bị đánh lừa trong bộ dữ liệu có cân bằng, vì có thể đạt được độ chính xác cao bằng cách luôn luôn dự đoán lớp học đa số.
  • Chương trình và Nhớ lại: cung cấp sự hiểu biết về khả năng nhận diện các trường hợp tích cực của mô hình.
  • Điểm F1: kết hợp chính xác và nhớ lại để đưa ra một biện pháp cân bằng.
  • đo khả năng phân biệt lớp qua ngưỡng.

Tính toán tác động

Một cách để định lượng tác động của sự mất cân bằng dữ liệu là so sánh hiệu suất mô hình trên các bộ dữ liệu cân bằng và cân bằng.

  • Đang áp dụng những phương pháp thay đổi cách tân như quá sửa chữa hoặc làm mờ đi.
  • Sử dụng dữ liệu tổng hợp như SMTE.
  • Đánh giá các thước đo trước và sau khi cân bằng các kỹ thuật.
  • Phân tích các thay đổi chính xác, nhớ và F1 điểm.

Bằng cách đo lường những thước đo này, các bác sĩ có thể đánh giá mức độ mất cân bằng ảnh hưởng của mô hình dự đoán và xác định chiến lược giảm thiểu thích hợp.