Các chức năng kích hoạt là những thành phần quan trọng của mạng thần kinh, chúng giới thiệu các mô hình phi tuyến tính, cho phép các mô hình học các mẫu phức tạp.

Hàm hình thành thông thường

Một số chức năng kích hoạt được sử dụng rộng rãi trong việc học hỏi sâu sắc, và mỗi chức năng có những đặc điểm đặc trưng khác nhau ảnh hưởng đến tốc độ và độ chính xác của việc huấn luyện.

  • ReLU (tọa độ tuyến tính): ) Tính toán và giảm dần các dốc màu biến mất.
  • Sigmoid: sản xuất ra kết xuất từ 0 đến 1, hữu ích cho mô hình xác suất.
  • Tanh: kết quả ra giữa - 1 và 1, nằm giữa 0.
  • Leaky ReLU: Địa chỉ địa chỉ đang chết vấn đề ReLU bằng cách cho phép chuyển dốc nhỏ khi không hoạt động.

Ảnh hưởng trên hiệu quả của mô hình

Sự lựa chọn của chức năng kích hoạt ảnh hưởng đến tốc độ đào tạo, hội tụ, và hiệu suất tổng thể. hàm số như ReLU tăng tốc huấn luyện và giảm tải tính toán. Ngược lại, sgmoid và tanh có thể gây ra biến mất dốc, học chậm.

Name

Khi chọn một chức năng kích hoạt, hãy xem xét công việc và cấu trúc mạng. Các biến thể ReLU thường được ưu tiên cho mạng sâu vì hiệu suất của nó. Đối với các lớp xuất, sgmoid hoặc mềm (x) thường được dùng.