Kỹ thuật thường xuyên là những công cụ thiết yếu trong máy học để ngăn chặn sự tổng quát hóa quá mức và cải tiến mô hình. họ giúp cân bằng sự phức tạp của một mô hình với khả năng thực hiện tốt trên dữ liệu vô hình bài viết này khám phá các phương pháp thường xuyên và ứng dụng của họ.

Hiểu được sự đều đặn

Việc thường xuyên hóa bao gồm thêm hình phạt vào hàm mất mát trong quá trình đào tạo mô hình. án này ngăn cản các mô hình phức tạp quá mức phù hợp với dữ liệu đào tạo quá chặt chẽ. bằng cách kiểm soát sự phức tạp mô hình, sự thường xuyên hóa tăng cường khả năng tổng quát của mô hình.

Công nghệ thông thường

  • L1 đều đặn hóa (Laso): [FLT: 1] Thêm hình phạt vào giá trị tuyệt đối của hệ số, khuyến khích độ tương xứng.
  • L2 đều đặn hóa (Ridge): [FLT: 1] thêm hình phạt vào hình vuông của các hệ số, khuyến khích trọng lượng nhỏ hơn.
  • Nhảy ra: ngẫu nhiên không hoạt động nơ ron trong quá trình đào tạo để ngăn chặn sự đồng-adatation.
  • Dừng lại ) ngừng luyện tập khi dữ liệu hợp lệ bắt đầu giảm.

Chọn sự đều đặn đúng

Chọn một phương pháp chuẩn nhất định tùy thuộc vào vấn đề và mô hình riêng. Đối với giải pháp strat, việc chuẩn hóa L1 là hiệu quả. Để giảm sự phức tạp về mô hình tổng thể, L2 thường được ưa thích. Các kỹ thuật phối hợp cũng có thể mang lại kết quả tốt hơn.