مدل های یادگیری عمیق ابزار قدرتمندی هستند اما اغلب با مشکلات رایج مواجه می شوند که می توانند مانع عملکرد آنها شوند و درک این مسائل و استفاده از بینش های ریاضی می تواند به بهبود دقت مدل و استحکام آن کمک کند.

Overfit و Underfit

Overfit زمانی اتفاق می افتد که یک مدل در داده های آموزشی سر و صدا می دهد که منجر به تعمیم ضعیف می شود. Underfit زمانی اتفاق می افتد که مدل برای گرفتن الگوهای اساسی بسیار ساده است. تکنیک های منظم سازی مانند L2 مرتب سازی، اضافه کردن یک اصطلاح مجازات به عملکرد از دست دادن بر اساس وزن مدل، که می تواند به عنوان:

[در این باره] [و] [از دست دادن] = زیان های ناگهانی + λ [[[۱]] [[۲]] [۲] [۱۰] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۳] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۳] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۳] [۳] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲]

در جایی که λ قدرت منظم سازی را کنترل می کند، تنظیم مناسب λ به تعادل سوگیری و اختلاف کمک می کند.

دانلود فیلم Vanishing and Exploding

در طول ارتقاء عقب، گرادیان می توانند بسیار کوچک (ونینگ) یا بسیار بزرگ (exploding)، مانع آموزش و استفاده از توابع فعال مانند ReLU کاهش گرادیان از بین رفتن به دلیل مشتق آن ثابت برای ورودی های مثبت است.

آغاز ضعیف

وزن اولیه به طور نادرست می تواند آموزش را آهسته کند یا باعث مشکلات همگرایی شود. خاویر اولیه وزن را بر اساس تعداد نورون های ورودی و خروجی تنظیم می کند، با هدف حفظ تفاوت های فعال سازی سازگار با لایه های ریاضی، وزن از توزیع با تفاوت ها نمونه می شود:

[[ویرایش] [۲] [۲] [۲] [۲] [۲] [۲] [۱۰] [۱۰] [۳] [۳] [[۳]] [۱۰] [۳] [۱۰] [۳] [۱۰] [۱۰] [۱۰] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [[[۳] [۳] [۳] [۳] [[[[[[[[۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [[[[[[[[[[[[[[[[[[[

قابلیت Im Balance

مجموعه داده های متعادل می توانند مدل های سوگیری نسبت به کلاس های اکثریت را به کار گیرند. تکنیک هایی مانند کاهش وزن، مجازات های بالاتری را به خطاهای طبقاتی اقلیت اختصاص می دهند. از دست دادن متقابل-نتروفیلی وزن:

[[ویرایش] [۱] [۱۰] [۱] [۱۰] [۱] [۱۰] [۱] [۱] [۱۰] [۱] [۱۰] [۱]] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۱۰] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳

  • منظم سازی
  • مقدماتی مناسب
  • تکنیک های عادی سازی
  • افزایش داده ها
  • وزن کلاس