الگوریتم های بهینه سازی در یادگیری ماشین برای مدل های آموزشی به طور موثر ضروری هستند، آنها به به به حداقل رساندن خطا یا عملکرد از دست دادن کمک می کنند، بهبود دقت پیش بینی ها.این مقاله الگوریتم های رایج را بررسی می کند، با تمرکز بر شیب و تغییرات آن.

درجه بندی Descent

Gradiention یک الگوریتم بهینه سازی است که به طور غریزی پارامترهای مدل را تنظیم می کند تا تابع از دست دادن را به حداقل برساند.این گرادینت از دست دادن را با توجه به پارامترهای و به روز رسانی آنها محاسبه می کند.

تنوع از گرادیان از گرادیان شامل دسته، تصادفی و روش های مینی بکچ، هر کدام در مورد اینکه چقدر داده ها برای محاسبه گرادیان در هر تکرار استفاده می کنند، متفاوت است.

سایر الگوریتم های بهینه سازی

فراتر از شیب، چندین الگوریتم هدف بهبود سرعت همگرایی و جلوگیری از مینیما محلی هستند:

  • [[۱] [۱۰] [۱۰] [۱] [۱۰] [۱]] [۱۰] [۱]]: با توجه به به به روز رسانی های گذشته، شیب دار شوید.
  • [FLT: Adapts Learning Rate بر اساس شیب تاریخی پارامترهای]
  • [FLT: ترکیب حرکت و نرخ یادگیری تطبیقی برای آموزش کارآمد.
  • ] : نرخ یادگیری را با میانگین متحرک گرادیان های اخیر تقسیم می کند.

انتخاب الگوریتم مناسب

انتخاب یک الگوریتم بهینه سازی بستگی به مشکل خاص، اندازه داده ها و منابع محاسباتی دارد. آزمایش اغلب به شناسایی موثرترین روش برای یک کار معین کمک می کند.