Các kỹ thuật thường xuyên cải thiện khả năng tổng quát của các mô hình này bằng cách ngăn chặn quá trình điều khiển. bài này khám phá các phương pháp thông thường tiên tiến hiệu quả cho mạng thần kinh phức tạp.

Bỏ học và biến thế

Bỏ học là một kỹ thuật thường xuyên được sử dụng ngẫu nhiên để vô hiệu hóa một nhóm nhỏ của nơ ron trong quá trình đào tạo. Nhiều loại như sự giảm thiểu sinh vật như Spatial Dropout và DropConnct giới thiệu những sửa đổi để cải thiện hiệu suất trong một trường hợp cụ thể. Bỏ ra giúp giảm sự phụ thuộc vào các nơ-ron cụ thể, khuyến khích việc học thêm tính năng mạnh mẽ hơn.

Độ đều đặn

Việc thường xuyên hóa độ cân nhắc tăng các điều khoản hình phạt vào hàm hàm giảm cân để hạn chế độ nặng của trọng lượng. phương pháp thông thường bao gồm L1 đều đặn hóa, khuyến khích độ lưu thông và mức độ bình thường hóa L2, làm giảm cân nặng. những kỹ thuật này ngăn cản mô hình tiếng ồn trong dữ liệu đào tạo.

Sự thẩm vấn và tiếng ồn

Dữ liệu gia tăng nhân tạo mở rộng dữ liệu bằng cách áp dụng các biến đổi như quay, co giãn hay đổi màu. Tiêm nhiễu bao gồm thêm nhiễu ngẫu nhiên vào đầu vào hay tạ. Cả hai phương pháp cải thiện tính mạnh và giảm hiệu suất phù hợp bằng cách phơi bày mô hình cho các biến thể dữ liệu khác nhau.

Kỹ thuật cao cấp

Những phương pháp đều đặn cao cấp khác bao gồm:

  • Sự chuẩn hóa cơ bản: bình thường hoá lớp đầu vào để ổn định việc học.
  • Dừng lại ) ngừng luyện tập khi hiệu suất hợp lệ ngừng cải thiện.
  • Spectral normalization: ép buộc các quy tắc quang phổ của ma trận trọng lượng để ổn định đào tạo.
  • DropBlock: thả các vùng liên tục trong bản đồ, tăng cường sự đều đặn.