Các chức năng kích hoạt là các thành phần thiết yếu của mạng thần kinh. Chúng xác định kết xuất của một nơ ron dựa trên các đầu vào của nó, cho phép mạng này học các mẫu phức tạp. Bài này giải thích cách tính toán các hàm từng bước một.

Hiểu các hàm khởi động

Các chức năng kích hoạt biến những tín hiệu nhập thành kết quả có thể được sử dụng bởi các lớp sau đó. Các chức năng thông thường bao gồm hình xoắn, tanh và ReLU. Mỗi chức năng có những tính chất độc đáo ảnh hưởng đến quá trình học tập.

Tính hàm kiểu Silamoid

Hàm sgmoid được định nghĩa là f(x) = 1 / (1 + e )- x) ) .

  • Nhập giá trị của x.
  • Tính toán hàm mũ của -x.
  • Thêm 1 vào số mũ này.
  • Chia 1 bởi kết quả để có được kết quả.

Tính hàm ReLU

Đơn vị tuyến tái định nghĩa là đơn vị đơn giản: [FLT: 0] f(x) = tối đa( 0, x)). Để tính toán:

  • Nhập giá trị của x.
  • Nếu x lớn hơn 0, xuất x.
  • Nếu x nhỏ hơn hoặc bằng 0, xuất 0.

Tính hàm Tanh

Hàm tương đối f(x) = (e)x ) - e - x) . / (e x [FL: 6) [FL: 6).

  • Tính toán ex và e -x.
  • Trừ -x từ e ) )x .
  • Thêm x và e -x.
  • Chia cho tổng để có được kết quả.