Các lớp học bỏ ra là một kỹ thuật thường xuyên được sử dụng trong các mô hình học sâu để ngăn chặn sự quá hợp, chúng hoạt động ngẫu nhiên bằng cách làm giảm một nhóm tế bào thần kinh, khuyến khích mạng phát triển các tính năng mạnh mẽ hơn. thực hiện đúng các lớp bỏ học có thể cải thiện đáng kể mô hình tổng quát và hiệu quả.

Thiết kế các nguyên tắc của lớp bị bỏ

Nguyên tắc chính đằng sau việc bỏ học là để giới thiệu tiếng ồn trong quá trình đào tạo, giảm sự phụ thuộc vào các nơ ron cụ thể. sự ngẫu nhiên này buộc mạng phải học các biểu tượng thừa, làm cho nó kiên cường hơn với dữ liệu mới. xem xét quan trọng bao gồm chọn tốc độ bỏ học và vị trí trong cấu trúc mạng.

Dùng hiệu quả sự bỏ học theo mô hình

Bỏ học là hiệu quả nhất khi áp dụng cho các lớp được kết nối đầy đủ và trước lớp xuất. Tỉ lệ bỏ học tiêu chuẩn từ 0. 2 đến 0. 5 tùy thuộc vào độ phức tạp của bộ dữ liệu. Cần phải cân bằng sức mạnh bỏ học để tránh thiếu phù hợp hoặc quá nhỏ.

Những thực hành tốt nhất để làm vui lòng

  • Áp dụng bỏ học sau khi kích hoạt chức năng như ReLU.
  • Sử dụng tỷ lệ bỏ học khác nhau cho các lớp khác nhau nếu cần thiết.
  • Kết hợp việc bỏ học với những kỹ thuật thường xuyên khác như phân rã trọng lượng.
  • Theo dõi hiệu suất hợp lệ để điều chỉnh tham số bỏ ra.