Những mô hình học tập sâu sắc là những công cụ mạnh mẽ nhưng thường gặp những cạm bẫy phổ biến có thể cản trở hiệu quả của chúng. hiểu được những vấn đề này và áp dụng những hiểu biết toán học có thể giúp cải thiện sự chính xác mô hình và sự mạnh mẽ.

Quá hợp lý và không phù hợp

Quá hợp xảy ra khi một mô hình học tiếng ồn trong dữ liệu đào tạo, dẫn đến sự tổng quát thấp.

Lss = Epirical Loss + Gung * tôm ) ) ) )

Điều chỉnh đúng đắn của GHHH sẽ giúp cân bằng thành kiến và biến đổi.

Name

Trong khi hỗ trợ lại, các dốc có thể trở thành rất nhỏ (tự động) hoặc rất lớn (rất lớn), cản trở việc huấn luyện. Dùng chức năng kích hoạt như ReLU tigates biến mất vì đạo hàm của nó không đổi cho đầu vào tích cực. Hơn nữa, các kỹ thuật chuẩn như Batch normalization được huấn luyện ổn định bằng cách duy trì mức độ tích cực và biến đổi của lớp đầu vào.

Khởi đầu kém

Ban đầu, việc khởi tạo trọng lượng không đúng có thể làm chậm việc huấn luyện hoặc gây ra vấn đề hội tụ. Xavier đặt trọng lượng dựa trên số lượng đầu vào và đầu ra nơ ron, nhằm giữ cho sự biến đổi của các hoạt động phù hợp với các lớp.

Var(w) = 2 / (n) in ) + n [FLT:] ] ) ) )]]] ]] ]] [FLT:]]] [FLT:]]]

Công cụ & xoá

Các bộ dữ liệu cân bằng có thể định kiến đối với các lớp học đa số. các kỹ thuật viên như chức năng giảm cân nặng được gán cho các lỗi giai cấp nhỏ.

[FLT:] L [FLT:] * y * [p [FLT:] [FLT:]] ] ] ] [FLT:]] [FLT:]]

  • & Đều đặn hoá
  • Sự khởi đầu thích hợp
  • Kĩ thuật chuẩn hoá
  • Tăng cường dữ liệu
  • Lớp nặng