Bỏ học và thường xuyên là kỹ thuật sử dụng trong máy học để cải thiện hiệu suất mô hình bằng cách ngăn chặn quá hợp lý. vượt qua các mô hình học tiếng ồn trong dữ liệu đào tạo, giảm khả năng của nó để tổng quát hóa dữ liệu mới.

Hiểu

Bỏ ra ngẫu nhiên vô hiệu hóa một phần của nơ ron trong quá trình đào tạo, giúp ngăn không cho mạng quá phụ thuộc vào các đường đi cụ thể. Tốc độ bỏ ra quyết định tỷ lệ phần trăm tế bào thần kinh không hoạt động trong mỗi lần lặp lại.

Tỷ lệ bỏ học điển hình là từ 0.2 đến 0. 5 điểm. Ví dụ, tỷ lệ bỏ học là 0.3 có nghĩa là trong mỗi bước đào tạo, 30% tế bào thần kinh bị tắt. Điều này khuyến khích mạng phát triển tính năng mạnh hơn.

Đều đặn hóa

Sự đều đặn thêm một hình phạt vào hàm mất mát để ngăn chặn các mô hình phức tạp. dạng thông thường nhất là L2 thường xuyên hóa, và nó sẽ giảm cân nặng.

[LLT:0] Lss = Original Loss + W ) ) ]

nơi LT: 1] là tổng số cân bình thường. Chọn một G là quan trọng; giá trị điển hình là khoảng từ 0.001 đến 0.01.

Chiến đấu để ngăn ngừa thái quá

Kết hợp việc bỏ học và thường xuyên hóa có thể giảm hiệu quả các phương pháp khác bao gồm dừng lại sớm, tăng cường dữ liệu và tăng cường hiệu suất chéo. Khả năng kiểm tra thường xuyên hiệu suất hợp lệ sẽ quyết định các tham số chuẩn tối ưu.

  • Sử dụng bỏ học với tỷ lệ giữa 0,2 và 0.5
  • Áp dụng đồng bộ L2 cho Nghề BAR khoảng 0.01
  • Huấn luyện xong, dừng lại sớm
  • Tập luyện dữ liệu để tăng sự đa dạng