خطای تعمیم انتظار می رود که چگونه یک مدل یادگیری ماشین بر روی داده های ناشناخته انجام می دهد و برآورد این خطا برای توسعه مدل های قابل اعتماد و اجتناب از بیش از حد ضروری است.این مقاله به بررسی پایه های نظری و تکنیک های عملی برای محاسبه خطای عمومی مورد انتظار است.

بنیادهای نظری

از نظر تئوری، خطای تعمیم انتظار به عنوان تفاوت بین عملکرد یک مدل در داده های آموزشی و عملکرد مورد انتظار آن بر روی داده های جدید تعریف می شود.این اغلب به عنوان ارزش مورد انتظار عملکرد از دست دادن بر توزیع داده ها بیان می شود. چندین محدودیت و نابرابری، مانند Hoeffding و McDiarmid، بینش هایی را در مورد چگونگی این خطا می دهد که چگونه می تواند بر اساس پیچیدگی داده ها و مدل داده ها تخمین زده شود.

روش های عملی برای برآورد

تمرین کنندگان از تکنیک های مختلف برای برآورد خطای کلی سازی در سناریوهای دنیای واقعی استفاده می کنند. Cross-validation یک روش رایج است، که داده ها به آموزش تقسیم می شوند و اعتبار چندین بار برای ارزیابی عملکرد مدل اختصاص می یابد. علاوه بر این، بوتینگ شامل جمع آوری داده ها برای ارزیابی تنوع پذیری در برآوردها است.

پیچیدگی مدل و منظم سازی

پیچیدگی مدل به طور قابل توجهی بر خطای تعمیم تاثیر می گذارد. مدل های پیچیده تر تمایل دارند داده های آموزشی را بهتر تنظیم کنند اما ممکن است در تکنیک های منظم سازی جدید مانند L2 یا L1 مجازات، به کنترل پیچیدگی و بهبود تعادل مدل مناسب و سادگی برای به حداقل رساندن خطا مورد انتظار بسیار مهم باشد.

  • صلیب-validation
  • بوت استرپی
  • مرزهای تحلیلی
  • تکنیک های منظم سازی