شبکه های عصبی ابزار قدرتمندی برای حل مشکلات پیچیده هستند، اما آنها همچنین می توانند داده های آموزشی را بیش از حد بهینه کنند، توانایی آنها برای تعمیم به داده های جدید را کاهش دهند. تکنیک های منظم سازی به کنترل پیچیدگی مدل و بهبود عملکرد در داده های ناشناخته کمک می کند.این مقاله روش های منظم سازی رایج مورد استفاده در آموزش شبکه عصبی را بررسی می کند.

Dropout

Dropout یک تکنیک است که در آن نورون های منتخب در طول آموزش نادیده گرفته می شوند، این مانع از آن می شود که نورون ها از co-adapting جلوگیری کنند و شبکه را تشویق می کنند تا ویژگی های قوی تری را توسعه دهند.

کاهش وزن

کاهش وزن باعث می شود که مجازات به تابع از دست دادن بر اساس اندازه وزن اضافه شود، این باعث می شود وزن های بزرگ، که می تواند به طور معمول، L2 منظم سازی استفاده می شود، که در آن مجازات متناسب با مجموع وزن مربع است.

اطلاعات آگوست

تقویت داده ها تنوع داده های آموزشی را با استفاده از تحولات مانند چرخش، ترجمه ها یا مقیاس پذیری افزایش می دهد، این به مدل کمک می کند تا ویژگی های عمومی بیشتری را یاد بگیرد و بیش از حد، به ویژه در تصاویر و وظایف گفتاری را کاهش دهد.

توقف اولیه

توقف اولیه شامل نظارت بر عملکرد مدل در یک مجموعه اعتبار در طول آموزش است متوقف می شود، زمانی که عملکرد متوقف می شود، جلوگیری از مدل از بیش از حد داده های آموزش.

تکنیک های منظم سازی خلاصه

  • [[۱] [۱۰]: [[۱۰] [۱۰] [۱۰] [۱]] [۱۰] [۱] [۱] [۱۰] [۱]] [۶] [۶] به طور تصادفی نورون ها را در طول آموزش نادیده می گیرد.
  • [در این باره] [و [از این رو] [از روی [و] [از این رو] [از روی [و] [از این رو] بر [و] [از این رو] بر [واز] [از روی] [و]] [از [و]] [و]] [از [و]] [از [براى جلوگیری از [براى [براى] [براى [براى [براى [براى [براى] [براى [براى [براى] [براى] [براى [براى [براى] [براى [براى] [براى [براى] [براى] [براى] [براى] [براى [براى [براى [براى [براى [براى [براى] [از [براى] [براى] [از [از [از [از [از [براى] [براى] [از [از [از [از [براى] [از [از [از [براى] [از [از [براى] [براى] [براى] [از [از [از [از [براى] [براى]
  • [[۱] [۱۰] [۱] [۱] [۱] [۱]] [۱]] [۱] [۱]] [۱] [۱]]) داده های آموزشی را با دگرگونی ها گسترش می دهد.
  • [در این باره]: [[۱]] [۱۰] [۱] [۱]] [۱] [۱] [۱]] آموزش را در هنگام ارزیابی عملکرد، متوقف کنید.