Dropout یک تکنیک منظم سازی است که در شبکه های عصبی برای جلوگیری از بیش از حد استفاده می شود، شامل غیرفعال کردن یک زیرمجموعه از نورون ها در طول آموزش است که شبکه را تشویق می کند تا ویژگی های قوی تری را توسعه دهد. درک پایه نظری و پیاده سازی عملی آن می تواند عملکرد مدل و تعمیم را بهبود بخشد.

بنیادهای تئوری Dropout

Dropout به عنوان راهی برای کاهش co-ptations پیچیده در میان نورون ها معرفی شد و به طور تصادفی واحدهای کشویی را در طول آموزش، شبکه نمایش های اضافی را یاد می گیرد، که توانایی آن را برای تعمیم داده های ناشناخته افزایش می دهد.این تکنیک می تواند به عنوان یک تقریبی برای آموزش یک گروه از شبکه های مختلف به طور همزمان مشاهده شود.

نکات اجرایی عملی

پیاده سازی قطره به طور موثر نیاز به توجه به پارامترهای خاصی دارد. نرخ ترک، که احتمال فعال کردن یک نورون را مشخص می کند، به طور معمول از 0.2 تا 0.5 متغیر است.این معمولا پس از لایه های متصل به طور کامل و گاهی پس از لایه های هم تکامل، بسته به معماری، اعمال می شود.

در طول آموزش، ترک فعال است، اما در طول استنتاج خاموش می شود.برای جبران واحدهای کاهش یافته، وزن به طور مناسب در طول تست مقیاس می شود. بسیاری از چارچوب های یادگیری عمیق این را به طور خودکار، ساده سازی فرآیند پیاده سازی.

نکات اضافی برای استفاده از Dropout

  • ترکیب قطره با دیگر روش های منظم مانند کاهش وزن.
  • نرخ های کاهش تنظیم شده بر اساس پیچیدگی مدل و مجموعه داده ها.
  • از قطره در لایه های کاملا متصل استفاده کنید، زیرا در لایه های همجوشی کمتر موثر است.
  • نظارت بر عملکرد اعتبار سنجی برای جلوگیری از خروج بیش از حد، که می تواند مانع یادگیری.