Sự thoái hóa là một kỹ thuật thường xuyên được sử dụng trong mạng lưới thần kinh để ngăn chặn sự quá trình sử dụng nó bao gồm việc ngẫu nhiên làm giảm một nhóm nhỏ các tế bào thần kinh trong quá trình đào tạo, khuyến khích mạng lưới phát triển các tính năng mạnh mẽ hơn. hiểu cơ sở lý thuyết và thực tế thực tiễn của nó có thể cải thiện hiệu suất mô hình và tổng quát hóa.

Nền tảng của sự bỏ học

Sự bỏ cuộc được đưa ra như một cách để giảm sự hợp tác phức tạp giữa các tế bào thần kinh. bằng cách ngẫu nhiên giảm đơn vị trong quá trình đào tạo, mạng lưới học cách thể hiện dư thừa, nâng cao khả năng tổng quát của nó để tổng quát hóa dữ liệu vô hình. kỹ thuật có thể được xem là một sự ước lượng để đào tạo một loạt các mạng lưới khác nhau cùng lúc.

Lời khuyên thực tế

Việc bỏ học hiệu quả đòi hỏi sự chú ý đến một số tham số nhất định. tỷ lệ bỏ học, xác định xác suất giảm chức năng của việc kích hoạt một nơ ron, thường là phạm vi từ 0.2 đến 0.5. nó thường được áp dụng sau khi các lớp kết nối hoàn toàn và đôi khi sau khi các lớp cách mạng, tùy thuộc vào cấu trúc.

Trong quá trình huấn luyện, việc bỏ học được hoạt động, nhưng nó bị tắt trong thời gian suy luận. để bù đắp cho các đơn vị đã thả, trọng lượng được tăng lên một cách thích hợp trong quá trình thử nghiệm.

Lời khuyên khác để dùng việc bỏ học

  • Kết hợp việc bỏ học với các phương pháp thường xuyên khác như phân rã trọng lượng.
  • Điều chỉnh tỷ lệ bỏ học dựa trên độ phức tạp của mô hình và bộ dữ liệu.
  • Sử dụng sự bỏ rơi trong các lớp kết nối hoàn toàn, vì nó ít hiệu quả hơn trong các lớp hình thành.
  • Theo dõi hiệu suất hợp lệ để tránh bị bỏ học quá mức, điều này có thể cản trở việc học.