لایه های کشویی یک تکنیک منظم سازی است که در مدل های یادگیری عمیق برای جلوگیری از بیش از حد استفاده می شود.آنها به طور تصادفی فعال کردن یک زیرمجموعه از نورون ها در طول آموزش، که شبکه را تشویق می کند تا ویژگی های قوی تر را توسعه دهد.

اصول طراحی لایه های Dropout

اصل اولیه پشت ترک، معرفی سر و صدا در طول آموزش است که وابستگی به نورون های خاص را کاهش می دهد، این تصادفی شبکه را مجبور می کند تا نمایش های اضافی را یاد بگیرد، و آن را انعطاف پذیرتر به داده های جدید می کند.

استفاده موثر از Dropout در مدل ها

Dropout زمانی موثر است که برای لایه های کاملا متصل و قبل از لایه خروجی استفاده شود.میزان افت معمولی از 0.2 به 0.5، بسته به پیچیدگی مدل و مجموعه داده ها، ضروری است که تعادل قدرت کاهش برای جلوگیری از کم و یا بیش از حد معمول.

بهترین روش ها برای اجرای

  • پس از فعال سازی مانند ReLU، از Dropout استفاده کنید.
  • در صورت لزوم از نرخ های مختلف کاهش برای لایه های مختلف استفاده کنید.
  • ترکیب قطره با سایر تکنیک های منظم مانند کاهش وزن.
  • نظارت بر عملکرد اعتبار سنجی برای تنظیم پارامترهای خروج