Bỏ cuộc và Batch normalization là những kỹ thuật được sử dụng trong việc đào tạo mạng thần kinh để cải thiện hiệu suất mô hình và sự ổn định. hiểu được các nguyên tắc thiết kế và lợi ích thực tế có thể giúp xây dựng những mô hình học máy hữu hiệu hơn.

Bỏ ra: Đang tái tạo ra các phù hợp

Bỏ học là phương pháp thường xuyên mà ngẫu nhiên vô hiệu hóa một nhóm tế bào thần kinh trong quá trình đào tạo. Điều này ngăn cản mạng quá phụ thuộc vào các đường đi cụ thể, khuyến khích nó học các tính năng mạnh hơn.

Trong mỗi quá trình lặp lại, một phần tử nơ ron bị tắt, điều này buộc các tế bào thần kinh còn lại phải thích nghi. vào thời điểm suy luận, tất cả các tế bào thần kinh đều hoạt động, nhưng kết quả của chúng được cân đo để tính toán việc bỏ ra trong quá trình huấn luyện.

Sự bình thường hóa: Huấn luyện tăng tốc

Batch normalization làm cho đầu vào của mỗi lớp có sự phân phối nhất định. Điều này làm giảm sự thay đổi nội bộ, cho phép tốc độ học cao hơn và sự hội tụ nhanh hơn.

Nó hoạt động bằng cách chuẩn hóa các dữ liệu nhập trong mỗi lò ấp nhỏ, sau đó áp dụng các tham số có thể học được và các biến đổi. quá trình này ổn định quá trình đào tạo và có thể cải thiện tính chính xác của mô hình tổng thể.

Các nguyên tắc thiết kế

Cả hai kỹ thuật nhằm cải thiện hiệu quả tổng quát và hiệu quả đào tạo. Bỏ ra giới thiệu tiếng ồn trong quá trình đào tạo để ngăn chặn sự quá hợp, trong khi Batch normalization ổn định việc học tập bằng cách nhập lớp bình thường.

Để thực hiện những phương pháp này, cần phải điều chỉnh kỹ càng các siêu thông tin như là giảm tốc độ và kích thước hàng loạt. Sự kết hợp thích hợp có thể dẫn đến quá trình huấn luyện nhanh và mạnh hơn.

Lợi ích thực tế

  • Tổng quát hóa mô hình tăng cường
  • Nhanh hơn hội tụ trong thời gian huấn luyện
  • Giảm nguy cơ quá sức chịu đựng
  • Được cải thiện trong việc huấn luyện sự ổn định