Hiểu được nguyên nhân và giải pháp có thể cải thiện mô hình hiệu suất và sự ổn định đào tạo.

Hiểu các dốc màu di chuyển

Vấn đề biến mất chủ yếu xảy ra trong mạng lưới sâu trong quá trình mở rộng. Khi tín hiệu lỗi truyền ngược qua nhiều lớp, dốc có thể giảm theo cấp số nhân. Điều này dẫn đến việc học rất chậm hoặc không có khả năng học tập ở các lớp trước.

Nguyên nhân thông thường

  • Sử dụng chức năng kích hoạt như sgmoid hoặc tanh mà press nhập vào trong phạm vi nhỏ.
  • Kiến trúc mạng lưới sâu với nhiều lớp.
  • Khởi tạo trọng lượng.

Giải pháp thực tiễn

Một số kỹ thuật có thể giảm thiểu biến mất dốc màu và cải thiện kết quả đào tạo.

Hàm khởi động

Thay đổi hình sgmoid hoặc tanh với ReLU (tọa độ tuyến đã được quy định) hoặc biến thể của nó giúp duy trì dòng chảy dốc. Những chức năng này không gột bóng vào phạm vi nhỏ, cho phép đổ dốc đi qua hiệu quả hơn.

Kích hoạt Độ sáng

Dùng những phương pháp khởi đầu thích hợp như Xavier hoặc ông ta khởi xướng, có thể ngăn không cho các dốc dốc màu biến mất hoặc nổ tung vào lúc bắt đầu huấn luyện.

Kiến trúc mạng

Việc tăng dần kết nối còn sót lại hoặc bỏ qua kết nối cho phép chuyển tiếp các lớp nhất định, duy trì sức mạnh của chúng trong quá trình hỗ trợ.