Dropout و مرتب سازی تکنیک های استفاده شده در یادگیری ماشین برای بهبود عملکرد مدل با جلوگیری از بیش از حد مناسب است. Overfitring زمانی رخ می دهد که یک مدل در داده های آموزشی سر و صدا می دهد و توانایی آن برای تعمیم داده های جدید را کاهش می دهد. پیاده سازی این استراتژی ها شامل محاسبات خاص و بهترین شیوه ها می شود.

درک Dropout

ترک کردن به طور تصادفی یک بخش از نورون ها را در طول آموزش غیرفعال می کند که به جلوگیری از تبدیل شدن شبکه به بیش از حد به مسیرهای خاص کمک می کند. نرخ ترک تعیین می کند درصد نورون های غیرفعال شده در هر تکرار.

به عنوان مثال، میزان افت معمول از 0.2 تا 0.5 متغیر است، نرخ افت 0.3 به این معنی است که 30 درصد از نورون ها در هر مرحله تمرینی خاموش می شوند.این شبکه را تشویق می کند تا ویژگی های قوی تری را توسعه دهد.

اجرای منظم

منظم سازی یک مجازات برای تابع از دست دادن برای دلسرد کردن مدل های پیچیده اضافه می کند. رایج ترین شکل آن، L2 منظم است که وزن زیادی را جریمه می کند. اصطلاح منظم سازی به عنوان:

[[ویرایش] [۱] [۱۰] [۱] [۱۰] [۱] [۱۰] [۱۰] [۱] [۲] [۱۰] [۱۰] [۳] [۳] [۳] [۳] [۳] [۳] [۱۰] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [[[[[۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۲] [۳] [

در حالی که λ (lambda) پارامتر منظم سازی است و ⁇ (2 مجموع وزن مربعی است که انتخاب λ مناسب بسیار مهم است؛ مقادیر معمول از 0.1.

استراتژی ها برای جلوگیری از Overfit

ترکیب ترک و مرتب سازی می تواند به طور موثر بیش از حد را کاهش دهد.استراتژی های دیگر شامل توقف اولیه، افزایش داده ها و ارزیابی متقابل است.به طور منظم نظارت بر عملکرد اعتبار سنجی کمک می کند تا پارامترهای منظم بهینه را تعیین کند.

  • استفاده از افت نرخ بین 0.2 و 0.5
  • استفاده از L2 منظم سازی با λ در اطراف 0.01
  • توقف زود هنگام در طول تمرین
  • آموزش آگوست برای افزایش تنوع