Hiểu được các nền tảng toán học giúp thiết kế các thuật toán hiệu quả bằng cách giảm thiểu các chức năng và các dốc màu, hướng dẫn quá trình tối ưu hóa.

Mất hàm trong việc học tập giám sát

Các hàm mất đo sự khác biệt giữa kết xuất dự đoán của một mô hình và nhãn thật. Chúng là thiết yếu cho việc đào tạo mô hình bằng cách cung cấp một giá trị vô hướng mà chỉ ra hiệu quả của mô hình.

Chức năng mất mát thông thường bao gồm ngụ ý bình phương lỗi (MSE) cho các công việc hồi quy và giảm liên kết để phân loại nhiệm vụ. Sự lựa chọn chức năng mất ảnh hưởng đến tiến trình học tập và hành vi hội tụ.

Đang giảm dốc hàm số

Gradient là đạo hàm của hàm mất theo các tham số mô hình. Nó chỉ hướng và độ lớn của các điều chỉnh cần thiết để giảm thiểu mất mát trong quá trình đào tạo.

Ví dụ, dốc dốc của MSE đối với một dự đoán (hat{y} là (hat{y} - y), ở đâu (y) là nhãn đúng. Đạo hàm này hướng dẫn các quy tắc cập nhật trong thuật toán gradient descent.

Cách tô màu

Các thuật toán gốc Gradient lặp lại các tham số mô hình cập nhật bằng cách di chuyển theo hướng ngược lại với dốc màu. Quá trình này giảm thiểu chức năng mất mát, tăng độ chính xác mô hình theo thời gian.

  • Tính toán sự mất mát cho dự đoán hiện tại.
  • Tính toán dốc màu của mất với các tham số.
  • Cập nhật tham số bằng cách trừ đi một độ dốc quy mô.
  • Nhắc lại cho đến khi hội tụ hoặc dừng các tiêu chuẩn.