Hiểu số lượng tham số trong mạng thần kinh sâu là thiết yếu để tối ưu hóa việc triển khai của chúng, đặc biệt trong môi trường với nguồn tài nguyên máy tính hạn chế. Bài này giải thích cách tính tổng số tham số trong cấu trúc mạng thần kinh khác nhau.

Phương pháp tính cơ bản

Tổng số tham số trong mạng thần kinh là tổng số của tất cả các khối và thành kiến trên các lớp. Đối với các lớp được kết nối đầy đủ, tính toán bao gồm nhân số đơn vị nhập vào với số đơn vị xuất và thêm thành kiến.

Ví dụ, một lớp với 100 đơn vị nhập và 50 đơn vị xuất có:

  • Trọng lượng: 100 x 50 = 5000
  • Biase: 50
  • Tổng tham số: 5.050

Lớp tiến hóa

Trong các lớp hình thành, các tham số phụ thuộc vào kích thước bộ lọc, số bộ lọc và kênh nhập. Công thức là:

Số tham số = (tiểu thức lọc cao x độ rộng x nhập kênh x số bộ lọc) + thành kiến

Ảnh hưởng khi triển khai

Kĩ thuật như việc cắt tỉa, định lượng và sử dụng kiến trúc nhỏ hơn giúp đạt được mục tiêu này mà không cần phải hy sinh chính xác đáng kể.