یادگیری سوپرvised یک منطقه اصلی یادگیری ماشین است که شامل مدل های آموزشی با استفاده از داده های برچسب شده است. درک پایه های ریاضی کمک می کند تا با حذف توابع از دست دادن و گرادیان آنها، که فرآیند بهینه سازی را هدایت می کنند، الگوریتم های موثر را طراحی کنند.

از دست دادن توابع در آموزش عالی

توابع از دست دادن، اختلاف بین خروجی های پیش بینی شده یک مدل و برچسب های واقعی را اندازه گیری می کنند، آنها برای مدل های آموزشی با ارائه یک ارزش اسکالر که نشان می دهد که چقدر خوب مدل انجام می دهد، ضروری هستند.

توابع از دست دادن مشترک شامل خطای مربعی (MSE) برای وظایف رگرسیون و از دست دادن متقابل برای وظایف طبقه بندی است.انتخاب عملکرد از دست دادن بر روند یادگیری و رفتار همگرایی تأثیر می گذارد.

حذف فارغ التحصیلان از دست دادن توابع

گرادیان مشتقات تابع از دست دادن با توجه به پارامترهای مدل هستند.آنها نشان دهنده جهت و اندازه تنظیمات مورد نیاز برای به حداقل رساندن از دست دادن در طول آموزش هستند.

به عنوان مثال، گرادیان MSE با توجه به پیش بینی (تنفری) (2(hat{y} - y)) است، که در آن (y) برچسب واقعی است.این مشتق هدایت کننده قانون به روز رسانی در الگوریتم های شیب دار.

بهینه سازی با Gradients

الگوریتم های درجه بندی نزولی با حرکت در جهت مخالف گرادیان، پارامترهای مدل به روز رسانی را به طور غریزی با حرکت در جهت مخالف گرادیان به حداقل می رسانند.این فرآیند عملکرد از دست دادن را به حداقل می رساند، بهبود دقت مدل در طول زمان.

  • کاهش پیش بینی های فعلی را محاسبه کنید.
  • گرادینت از دست دادن را با توجه به پارامترهای تکمیل کنید.
  • پارامترهای به روز رسانی با کم کردن یک گرادینت مقیاسی
  • تکرار کنید تا همگرایی یا توقف معیارها برآورده شود.