Tính toán thu nhập thông tin là một bước cơ bản trong việc xây dựng cây quyết định. Nó giúp xác định tính năng tốt nhất để chia sẻ dữ liệu tại mỗi nút, cải thiện độ chính xác của mô hình. Quá trình này bao gồm việc đo sự giảm entropy sau khi phân chia dữ liệu dựa trên một thuộc tính cụ thể.

Hiểu cách thực hiện

Tính toán bằng cách sử dụng xác suất của mỗi lớp trong bộ dữ liệu. Một bộ dữ liệu gồm các lớp hỗn hợp có entropy cao hơn, trong khi một bộ dữ liệu tinh khiết có entropy thấp hơn.

Công thức cho entropy là:

[FLT:] [FLT:] [FLT:] [FLT:]

Tính toán sự tăng thông tin

Sự tăng thông tin là sự khác biệt giữa entropy của dữ liệu gốc và entropy cân nặng sau khi chia ra.

Công thức để đạt được thông tin là:

[Sự sinh sôi của sự thông tin = Entropy(cha mẹ) - > ( thiếu cân của trẻ em)

Những bước tính toán thực tế

Để tính toán thu thập thông tin trong thực tế, theo những bước:

  • Tính toán entropy của toàn bộ bộ dữ liệu.
  • Phân chia dữ liệu bộ dựa trên tính năng đang được đánh giá.
  • Tính toán entropy cho mỗi bộ con được tạo ra bởi sự tách rời.
  • Tính toán trọng lượng trung bình của những sợi dây này.
  • Trừ giá trị này từ entropy gốc để tìm tăng thông tin.

Ví dụ

Giả sử một bộ dữ liệu có entropy ban đầu là 0.94. Sau khi tách dựa trên một tính năng, entropy trung bình của các tập tin con là 0.5. Thu nhập thông tin từ chia này là 0.44, cho thấy sự giảm đáng kể trong tính không chắc chắn.