Chức năng kích hoạt là những thành phần thiết yếu trong mạng thần kinh, đưa ra các mô hình không tuyến tính giúp học các mẫu phức tạp. Việc chọn chức năng kích hoạt thích hợp có thể tác động đáng kể đến hiệu suất và khả năng đào tạo của mô hình. Bài này cung cấp một tổng quan định lượng các chức năng hoạt động phổ biến để hỗ trợ việc đưa ra các lựa chọn có hiểu biết.

Hàm hình thành thông thường

Một số chức năng kích hoạt được sử dụng rộng rãi trong mạng thần kinh, mỗi chức năng có những tính chất độc đáo, hiểu được những đặc điểm định lượng của chúng giúp chọn chức năng tốt nhất cho những nhiệm vụ cụ thể.

Y học trình diễn

Số đo cỡ quan trọng cho việc đánh giá hàm kích hoạt bao gồm:

  • Dòng chảy màu: xác định chức năng truyền tải màu sắc tốt như thế nào trong quá trình sau khi mở rộng.
  • Phạm vi đầu ra: ảnh hưởng đến khả năng kích hoạt của việc mô phỏng phân phối dữ liệu khác nhau.
  • Hiệu suất tính toán [FLT: 1] ảnh hưởng đến tốc độ đào tạo và sử dụng tài nguyên.

So sánh định lượng

Dưới đây là so sánh các hàm hoạt động phổ biến dựa trên tính chất của chúng:

  • ReLU: kết quả xuất số không cho đầu vào và tuyến tính cho đầu vào tích cực. Nó có một đổ dốc của 1 cho giá trị tích cực, làm cho nó hiệu quả để đào tạo các mạng sâu.
  • Sigmoid: sản xuất ra kết xuất giữa 0 và 1. Nó giảm dốc cho độ lớn đầu vào, có thể học chậm.
  • Tanh: kết quả ra đời giữa -1 và 1. Tương tự như sgmoid nhưng trung tâm là 0, cải thiện sự hội tụ trong một số trường hợp.
  • Leaky ReLU:[FLT: 1] Cho phép một dốc nhỏ cho đầu vào tiêu cực, giảm vấn đề "Deing ReLU".

Chọn hàm đúng

Chọn phụ thuộc vào ứng dụng và cấu trúc mô hình đặc trưng. Phân tích định lượng cho thấy ReLU và biến thể của nó thường tạo điều kiện cho việc đào tạo nhanh hơn và lưu chuyển dốc tốt hơn trong mạng sâu. Sigmoid và tanh có thể thích hợp với các lớp xuất hoặc các công việc cụ thể cần thiết để hạn chế kết xuất.