Việc bình thường hóa giai đoạn là một kỹ thuật được sử dụng trong việc học sâu để cải thiện quá trình đào tạo các mạng thần kinh. nó bình thường hóa các đầu vào của mỗi lớp, giúp ổn định và tăng tốc việc học. bài báo này khám phá các tính toán liên quan, lợi ích nó mang lại, và làm thế nào để triển khai các mẻ bình thường hóa trong thực tế.

Tính trong tiến trình bình thường hoá

Trong quá trình huấn luyện, việc tạo hình bình thường hóa mẻ tính toán giá trị và biến đổi của mỗi tính năng trên con mini hiện tại. Giá trị bình thường được tính toán sau đó bằng cách trừ giá trị trung và chia bởi độ lệch chuẩn.

) ) x = (x - tôm) /

Nơi x là đầu vào [FLT:], ) ) [FLT:] là một hàng nhỏ [FLT:] là sự biến đổi, và [FL:] [FL:] [FL: 7] là một hằng số nhỏ để ngăn chặn sự phân chia bởi số không. Sau khi thông thường, học cách chuyển đổi, tìm hiểu các tham số và hiệu số thay đổi:

) [FLT = ban đầu] * x

Lợi ích của việc bình thường hóa

Sự bình thường hóa tạo ra một số lợi thế trong việc đào tạo mạng thần kinh. nó giảm sự thay đổi nội bộ, đó là sự thay đổi trong sự phân phối của việc hoạt động mạng. Việc ổn định này cho phép tốc độ học cao hơn và sự hội tụ nhanh hơn. Hơn nữa, nó hoạt động như một dạng bình thường hóa, có khả năng làm giảm nhu cầu cho các kỹ thuật khác như bỏ ra.

Những lợi ích khác bao gồm sự chính xác và sự mạnh mẽ của mô hình, cũng như khả năng sử dụng mạng lưới sâu hơn mà không bị mất đi hoặc phát nổ.

Triển khai thực tế bình thường hóa

Làm cho mẻ đá bình thường trong mạng thần kinh bao gồm thêm một lớp bình thường sau mỗi lớp cách mạng hay kết nối hoàn toàn. Trong khung như TensorFlow hay PyTorch, điều này đơn giản với các chức năng được xây dựng sẵn.

Trong quá trình huấn luyện, các lớp bình thường hóa, nâng cấp trung bình di chuyển của chúng lên mức bình thường và biến đổi.

Điều quan trọng là xem xét kích cỡ hàng loạt khi triển khai bình thường hoá. Kích cỡ mẻ nhỏ hơn có thể dẫn đến ước tính thấp hơn và biến đổi, có thể ảnh hưởng đến hiệu suất mô hình. Những cách khác như lớp bình thường hóa hoặc nhóm bình thường hóa có thể được dùng trong trường hợp như thế.