Quá phù hợp xảy ra khi một máy học mô hình học tập học tập quá tốt, bao gồm tiếng ồn và hơn nữa, mà giảm hiệu suất của nó trên dữ liệu mới. kỹ thuật thường xuyên hóa giúp ngăn chặn sự hạn chế của mô hình, thúc đẩy sự đơn giản và cải thiện tổng quát.

Hiểu được sự đều đặn

Việc thường xuyên hóa đưa ra các thuật ngữ bổ sung cho hàm mất mát trong quá trình đào tạo. những thuật ngữ này phạt các mô hình phức tạp, khuyến khích các giải pháp đơn giản hơn mà có khả năng làm quá sức. phương pháp thông thường bao gồm L1 và L2 đều đặn hóa.

Công nghệ thông thường

  • L1 đều đặn hóa (Laso): [FLT: 1] Thêm giá trị tuyệt đối của hệ số vào hàm mất, khuyến khích độ không vận.
  • L2 đều đặn hóa (Ridge): [FLT: 1] thêm giá trị bình phương của hệ số, khuyến khích trọng lượng nhỏ hơn.
  • Dropout: ngẫu nhiên không hoạt động nơ ron trong quá trình đào tạo mạng thần kinh để ngăn chặn sự đồng-adatation.
  • Dừng lại ) ngừng luyện tập khi dữ liệu hợp lệ bắt đầu giảm.

Ví dụ thế giới thực

Trong công việc nhận dạng ảnh, việc áp dụng bỏ học giúp mạng thần kinh tổng quát hơn để hình ảnh không thấy được. Đối với mô hình hồi quy tuyến tính dự đoán giá nhà ở, việc bình thường hóa L2 giảm đi phù hợp với mức độ thu hẹp của hệ số lớn, dẫn đến những dự đoán đáng tin cậy hơn.

Trong quá trình xử lý ngôn ngữ tự nhiên, việc dừng lại sớm được dùng để ngăn chặn sự quá trình đào tạo ngôn ngữ, đảm bảo chúng thực hiện tốt trên dữ liệu văn bản mới. những kỹ thuật này rất cần thiết trong nhiều lĩnh vực khác nhau để cải thiện sự mạnh mẽ và chính xác.