Những kỹ thuật thường xuyên là cần thiết trong việc học hỏi sâu để ngăn chặn sự phù hợp và tăng cường khả năng tổng quát của mô hình để tổng quát hóa dữ liệu không nhìn thấy được.

Bỏ học

Bỏ học là một kỹ thuật thường xuyên mà ngẫu nhiên vô hiệu hóa một nhóm tế bào thần kinh trong quá trình đào tạo. Nó ngăn ngừa các tế bào thần kinh đồng phát triển và khuyến khích mạng phát triển các tính năng mạnh hơn. Thông thường, tỷ lệ bỏ ra từ 0.2 đến 0.5, tùy thuộc vào mô hình và thiết lập dữ liệu.

Giảm cân

Phân rã cân nặng, còn được biết đến như là L2 thường xuyên, thêm một thuật ngữ hình phạt vào hàm mất dựa trên độ lớn của trọng lượng. Điều này làm giảm cân lớn, dẫn đến mô hình đơn giản hơn có xu hướng vượt quá mức. thường được dùng với các thuật toán tối ưu như Adam hoặc SGD.

Sự thẩm vấn dữ liệu

Công nghệ này tăng sự đa dạng của dữ liệu đào tạo, giúp mô hình học thêm tính năng tổng quát và giảm phù hợp.

Dừng lại sớm

Việc dừng lại đầu tiên giám sát hiệu suất của mô hình trên một tập hợp hợp hợp lệ trong quá trình đào tạo. khi hiệu suất hợp lệ ngừng cải thiện, đào tạo bị dừng lại. điều này ngăn cản mô hình không cho phù hợp với dữ liệu đào tạo và giúp duy trì khả năng tổng quát hóa.