Việc triển khai những mô hình học tập sâu trên các thiết bị cạnh cần phải tối ưu hóa kích thước và hiệu quả tính toán của chúng.

Hiểu định lượng hoá

Định lượng bao gồm giảm độ chính xác của các con số dùng để đại diện các tham số mô hình và hoạt động. Thay vì số điểm nổi 32 bit, định dạng giá trị thấp hơn như số nguyên 8 bit được dùng. Tính năng này giảm khả năng sử dụng bộ nhớ và tăng tốc độ so với phần cứng tương thích.

Các kỹ thuật định lượng thông thường bao gồm sau khi được huấn luyện định lượng và định lượng-nhìn. sau khi được đào tạo, trong khi tính toán lại để tính toán chính xác hơn.

Suy nghĩ

Việc tách rời trọng lượng không cần thiết hay ít quan trọng khỏi mạng thần kinh. Kết quả là mô hình nhỏ hơn cần thiết ít tính toán hơn. Tính năng có thể được áp dụng trong hay sau khi luyện tập, với các kỹ thuật như việc cắt giảm độ lớn, loại bỏ trọng lượng dưới một ngưỡng nhất định.

Những chiến lược sắc bén bao gồm việc cắt tỉa cấu trúc, loại bỏ toàn bộ tế bào thần kinh hoặc bộ lọc, và việc cắt tỉa không cấu trúc, loại bỏ từng khối lượng, thường dẫn đến những mô hình hiệu quả hơn về máy gia tốc phần cứng.

Kết hợp Số và Số lượng

Việc đo lường và cắt tỉa có thể tối ưu hóa đáng kể các mô hình sâu để triển khai cạnh. tiến trình này thường bao gồm việc tỉa mẫu trước tiên để giảm kích thước và độ phức tạp, sau đó là tính toán để nén thêm mô hình và tăng tốc độ suy luận.

Tính toán kỹ lưỡng là cần thiết để duy trì sự chính xác của mô hình. Các kỹ thuật như việc cắt tỉa và tính toán sau khi cắt tỉa giúp phục hồi sự mất mát khả năng làm việc. Tương thích phần cứng cũng nên được xem là tối đa hóa lợi ích.

Lời khuyên đầy khích lệ

  • Bắt đầu với việc tỉa để loại bỏ những khối lượng thừa.
  • Dùng định lượng-sự huấn luyện để tăng tính chính xác.
  • Kiểm tra mô hình tối ưu trên phần cứng mục tiêu để đạt được thành tích.
  • Tốt thôi, sau khi áp dụng cả hai kỹ thuật.
  • Theo dõi độ chính xác để đảm bảo sự thoái hóa tối thiểu.