Thường xuyên hóa là một kỹ thuật sử dụng trong máy học để ngăn chặn quá hợp lý bằng cách thêm một hình phạt cho hàm mất mát. nó giúp mô hình tổng quát hóa dữ liệu tốt hơn để không nhìn thấy bằng cách làm nản lòng các giải pháp quá phức tạp.

Lý thuyết về sự đều đặn hóa

Việc đều đặn hóa đưa ra các thuật ngữ bổ sung cho các chức năng khách quan trong quá trình đào tạo. những thuật ngữ này phạt các tham số lớn mô hình, khuyến khích mô hình đơn giản hơn mà ít có khả năng phù hợp với tiếng ồn trong các dữ liệu đào tạo.

Công nghệ thông thường

  • Việc đều đặn hóaL1: thêm giá trị tuyệt đối của hệ số vào hàm mất, khuyến khích độ trễ.
  • L2 đều đặn hóa: thêm giá trị bình phương của hệ số, khuyến khích trọng lượng nhỏ hơn.
  • Nhảy ra: các đơn vị thả ngẫu nhiên trong quá trình đào tạo để giảm sự phụ thuộc vào các tế bào thần kinh đặc biệt.
  • Dừng lại ) ngừng luyện tập khi dữ liệu hợp lệ bắt đầu giảm.

Tính toán và giải phẫu

Trong hồi quy tuyến tính, ví dụ, L2 điều chỉnh chức năng chi phí như sau:

Mất = Sum của lỗi bình phương + * Sum của tạ bình phương

nơi teppi82 (lambda) là tham số thường xuyên kiểm soát sức mạnh của hình phạt. Chọn một BAR thích hợp là quan trọng và thường được thực hiện bằng cách thay đổi hình dạng.

Thực hành tốt nhất

Khi đều đặn thực hiện, hãy xem xét những thực hành tốt nhất sau:

  • Sử dụng sự va chạm chéo để điều chỉnh các tham số thông thường.
  • Bắt đầu với mô hình đơn giản và dần dần làm tăng sự phức tạp.
  • Kết hợp nhiều kỹ thuật đều đặn nếu cần thiết.
  • Theo dõi hiệu suất hợp lệ để tránh không phù hợp hoặc quá hợp lệ.