طبیعی سازی Batch یک تکنیک است که در یادگیری عمیق برای بهبود روند آموزش شبکه های عصبی استفاده می شود.این ورودی های هر لایه را عادی می کند که به تثبیت و تسریع یادگیری کمک می کند.این مقاله محاسبات درگیر، مزایایی که ارائه می دهد و چگونگی استقرار عادی سازی در عمل را بررسی می کند.

محاسبه در Batch Normalization

در طول آموزش، عادی سازی دسته ای، معنی و تفاوت هر ویژگی را در سراسر مینی بوک فعلی محاسبه می کند. ارزش نرمال شده پس از آن با کاهش معنی و تقسیم بندی توسط انحراف استاندارد محاسبه می شود:

[[ویرایش] [[[۱]] [۱۰] [۱۰] [۱۰]] [۱۰] [۱۰] [۳] [۳] [۳] [۱۰] [۳] [۳] [۳] [۳] [۳] [۳] [۱۰] [۳] [۳] [۳] [۳]

در حالی که [در این باره] ورودی است، [FLT3] [FLT: تقسیم بندی دسته ای است و [F7] یک ثابت کوچک است که از تقسیم بندی طبیعی جلوگیری می کند و پارامترهای قابل تغییر را می آموزند.

[[ویرایش] [[[ویرایش] [FLT2] [FLT] [FLT2] [FLT] [FLT] [FLT]] [FLT2] [FLT] [x] + [۳۲] [[[۱۰] [۲۲] [۱۰] [۳] [۳] [۳] [۳] [۳] [[[۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [[[[[[[[[[[[[[[[[[[[[[۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳

مزایای Batch Normalization

طبیعی سازی Batch مزایای مختلفی در شبکه های عصبی آموزش می دهد.این باعث کاهش تغییر هماهنگ داخلی می شود که تغییر در توزیع فعال سازی شبکه است.این تثبیت اجازه می دهد تا نرخ های یادگیری بالاتر و همگرایی سریع تر را کاهش دهد، به عنوان یک شکل منظم سازی، به طور بالقوه کاهش نیاز به تکنیک های دیگر مانند افت.

مزایای دیگر شامل دقت مدل بهبود یافته و استحکام، و همچنین توانایی استفاده از شبکه های عمیق تر بدون رنج از از بین رفتن یا انفجار گرادیان است.

اجرای عملی Batch Normalization

پیاده سازی منظم سازی دسته ای در یک شبکه عصبی شامل اضافه کردن یک لایه عادی سازی دسته بعد از هر لایه ی اتصالی یا کاملا متصل است.در چارچوب هایی مانند TensorFlow یا PyTorch، این کار با عملکردهای داخلی ساده است.

در طول آموزش، لایه های عادی سازی دسته به روز رسانی میانگین های متحرک خود را از معنی و تفاوت در طول استنتاج، این میانگین ها برای عادی سازی استفاده می شود، اطمینان از عملکرد سازگار.

مهم است که اندازه دسته بندی را در هنگام استقرار نرمال سازی دسته بندی در نظر بگیرید. اندازه های دسته کوچک تر ممکن است منجر به تخمین های کمتر پایدار از معنی و تفاوت شود که می تواند بر عملکرد مدل مانند عادی سازی لایه یا عادی سازی گروه تأثیر بگذارد.