Cách thức này giúp cải thiện hiệu suất huấn luyện và độ chính xác mô hình bằng cách ngăn chặn các vấn đề như biến mất dốc và phù hợp.

Công nghệ sở khởi tầm quan trọng

Sự khởi đầu đúng trọng lượng là thiết yếu cho việc huấn luyện hữu hiệu, đảm bảo rằng mạng lưới bắt đầu với trọng lượng thích hợp, hỗ trợ sự hội tụ nhanh hơn và hiệu quả hơn.

Phương pháp sở khởi phổ biến

  • Ban đầu Random: gán giá trị ngẫu nhiên nhỏ cho trọng lượng, thường dùng đồng phục hoặc phân phối thông thường.
  • Ban đầu người dùng: thiết kế để giữ sự biến đổi của sự hoạt động trên các lớp.
  • Ông khởi xướng: thích hợp cho việc kích hoạt ReLU, nó thích nghi các biến đổi dựa trên số đơn vị nhập.

Các phương pháp thông thường

Phương pháp thường xuyên hóa giúp ngăn chặn sự quá mức bằng cách thêm những hạn chế vào quá trình đào tạo. họ cải thiện khả năng tổng quát của mô hình để tổng quát hóa dữ liệu vô hình.

Phương pháp thông thường

  • Nhảy ra: ngẫu nhiên vô hiệu hóa các tế bào thần kinh trong quá trình đào tạo để giảm sự phụ thuộc vào các con đường cụ thể.
  • L2 đều đặn hóa: thêm một hình phạt tỷ lệ cho trọng lượng bình phương đến hàm mất.
  • Dừng lại ) ngừng luyện tập khi dữ liệu hợp lệ bắt đầu giảm.