Sự mở rộng là một thuật toán cơ bản được dùng để đào tạo mạng thần kinh sâu sắc. Nó bao gồm tính toán chuyển đổi chức năng mất với mỗi trọng lượng trong mạng, cho phép cập nhật trọng lượng để giảm thiểu lỗi. Bài này cung cấp một tổng quát từng bước một của quá trình hỗ trợ, tập trung vào các tính toán liên quan đến việc đào tạo một mạng sâu.

Qua

Tiến trình bắt đầu với một thẻ đi qua, nơi dữ liệu nhập được truyền qua mạng. Mỗi nơ ron tính toán một số lượng lớn các đầu vào, thêm vào một chức năng kích hoạt. Mỗi lớp hoạt hoạt hoạt hoạt hoạt động như là đầu vào cho lớp tiếp theo cho đến khi dự đoán cuối cùng được thu thập.

Tính toán những người mất mát

Một khi mạng sinh ra một kết quả, hàm mất cân bằng giữa kết xuất và nhãn đúng. Chức năng mất thường bao gồm Lỗi định dạng trung bình và Dây chéo. Mục tiêu là giảm thiểu sự mất mát này thông qua việc điều chỉnh trọng lượng.

Qua trái ngược: Tính chất Gradient

Trung tâm của sự hỗ trợ bao gồm tính toán các dốc của sự mất đi theo mỗi trọng lượng. Bắt đầu từ lớp xuất, các thuật ngữ lỗi được tính toán và truyền ngược lại qua mạng. Điều này bao gồm việc áp dụng quy tắc dây chuyền để tính đạo hàm tại mỗi lớp.

Đối với mỗi nơ ron, các thuật ngữ lỗi được xác định bằng cách nhân đạo hàm kích hoạt với số lượng nặng của lỗi từ lớp tiếp theo. các thuật ngữ lỗi sau đó được sử dụng để tính toán chuyển màu cho mỗi trọng lượng và thành kiến.

Đang cập nhật các ảnh hưởng

Dùng các dốc màu đã tính, trọng lượng được cập nhật thường xuyên qua gradient descent. Các quy tắc cập nhật trừ một phần của độ dốc từ trọng lượng hiện tại, được điều khiển bởi tốc độ học tập. Quá trình này giảm thiểu sự mất đi qua sự lặp lại tiếp theo.

Tóm tắt bước đi quan trọng

  • Thực hiện một thông qua trước để tính toán dự đoán.
  • Tính toán sự mất giữa các dự đoán và nhãn đúng.
  • Tính toán các số hạng lỗi bắt đầu từ lớp xuất ngược lại.
  • Tính toán chuyển đổi cho mỗi trọng lượng và thành kiến.
  • Cập nhật trọng lượng bằng cách dùng gradient descent.