Hiểu được tác động của tốc độ học tập trên mạng thần kinh là thiết yếu để dự báo tài chính hiệu quả. Tốc độ học tập quyết định xem một mô hình sẽ cập nhật trọng lượng nhanh như thế nào trong quá trình đào tạo. Chọn một tỷ lệ học tập thích hợp có thể cải thiện tính chính xác mô hình và hiệu quả đào tạo mô hình.

Tỷ lệ học tập là bao nhiêu?

Tỷ lệ học tập là một siêu máy tính mà kiểm soát kích thước của các bước được thực hiện trong thời gian tối ưu hóa. một tỷ lệ học tập nhỏ kết quả trong sự hội tụ chậm, trong khi một lớn có thể làm cho mô hình để bắn quá tối ưu giải pháp.

Ảnh hưởng trên sự hội tụ mạng thần kinh

Tỷ lệ học tập ảnh hưởng nhanh đến mức nào mạng thần kinh đạt mức tối thiểu trong hàm mất mát. Một tỷ lệ học tập thích hợp đảm bảo sự tiến bộ đều đặn về phía hội tụ, giảm thời gian huấn luyện và tăng độ chính xác. Ngược lại, một tốc độ học tập không phù hợp có thể dẫn đến sự phân tách hoặc bị mắc kẹt ở tiểu cầu địa phương.

Chiến thuật để chọn tỷ lệ học tập

  • Tìm kiếm: ) Thử nghiệm tỷ lệ học tập cố định để tìm giá trị tốt nhất.
  • Lịch trình đăng ký: điều chỉnh tốc độ học tập, chẳng hạn như giảm nó sau một số giai đoạn nhất định.
  • Phương pháp làm báp têm:) dùng những người tối ưu như Adam hoặc RMSprop để tự động điều chỉnh tốc độ học tập.
  • Đang sắp xếp: quan sát sự mất tập luyện để điều chỉnh tốc độ học tập một cách năng động.