Table of Contents
تکنیک های منظم سازی ابزار ضروری در یادگیری ماشین برای جلوگیری از تعمیم بیش از حد و بهبود مدل است.آنها به تعادل پیچیدگی یک مدل با توانایی آن برای انجام خوب در داده های دیده نشده کمک می کنند.این مقاله روش های معمول و برنامه های خود را بررسی می کند.
درک منظم
منظم سازی شامل اضافه کردن مجازات به عملکرد از دست دادن در طول آموزش مدل است.این مجازات از مدل های بیش از حد پیچیده که متناسب با داده های آموزش بسیار نزدیک است، با کنترل پیچیدگی مدل، منظم سازی توانایی مدل برای تعمیم دادن را افزایش می دهد.
تکنیک های معمول سازی
- منظم سازی L1 (Lasso): مجازات متناسب با ارزش مطلق از شاخص ها، ترویج کمپرستی.
- ] (Ridge): مجازات متناسب با مربع از ضریب ها، تشویق وزن های کوچکتر.
- Dropout: به طور تصادفی نورون ها را در طول آموزش غیرفعال می کند تا از co-adaptation جلوگیری کند.
- توقف: آموزش را متوقف می کند، زمانی که عملکرد در داده های اعتباری شروع به کاهش می کند.
انتخاب منظم سازی صحیح
انتخاب یک روش منظم مناسب بستگی به مشکل و مدل خاص دارد.برای راه حل های پراکنده، L1 منظم سازی موثر است.برای کاهش پیچیدگی کلی مدل، L2 اغلب ترجیح می دهد.