Chọn tính năng là bước quan trọng trong việc xây dựng mô hình học máy hữu hiệu. Nó bao gồm việc xác định những biến số thích hợp nhất để cải thiện độ chính xác mô hình và giảm độ phức tạp. Phương pháp định lượng cung cấp phương pháp có hệ thống để đánh giá và chọn tính năng dựa trên tiêu chuẩn số.

Phương pháp định lượng phổ biến

Một số kỹ thuật định lượng được sử dụng rộng rãi cho việc chọn tính năng. Những phương pháp này đánh giá tầm quan trọng của tính năng bằng cách sử dụng các tiêu chuẩn thống kê hoặc các tiêu chuẩn thuật toán. Chọn phương pháp thích hợp phụ thuộc vào dữ liệu và vấn đề cụ thể.

Phương pháp lọc

Phương pháp lọc đánh giá tính năng dựa trên mối quan hệ thống kê với biến đích. Chúng có hiệu quả và phù hợp với dữ liệu không gian cao. Các kỹ thuật lọc phổ biến bao gồm:

  • Hợp hạch: đo mối quan hệ tuyến tính giữa các tính năng và mục tiêu.
  • Thử nghiệm Chi-Square:) xác định độc lập giữa các biến phân loại.
  • Thông tin sơ bộ:) Ghi chú số thông tin được chia sẻ giữa các biến số.

Phương pháp gói gọn

Phương pháp gói gọn đánh giá các bộ tính năng bằng cách đào tạo mô hình và chọn kết hợp mang lại hiệu quả tốt nhất.

  • Chọn về phía trước: bắt đầu với không có tính năng và thêm một cái vào mỗi lần.
  • Từ chối trả lời: bắt đầu với mọi tính năng và loại bỏ những điều ít quan trọng nhất.
  • Từ chối đệ quy: ) Hãy xóa bỏ những tính năng dựa trên khối lượng mô hình.

Phương pháp nhúng

Các phương pháp nhúng trong việc kết hợp các tính năng chọn lọc trong quá trình đào tạo mô hình. Chúng cân bằng hiệu quả và hiệu quả bằng cách sử dụng các kỹ thuật đều đặn hóa hoặc các thuật toán dựa trên cây.

  • Sự xâm nhập Laso: dùng L1 đều đặn hóa để thu nhỏ các hệ số tính năng ít quan trọng hơn thành số không.
  • Thuật toán cây giảm dần: ) Tất nhiên chọn những tính năng dựa trên sự tăng thông tin hoặc ô uế Gini.
  • Rừng Random: Tính năng quan trọng của nhiều cây.