Table of Contents
Gradiention یک الگوریتم بهینه سازی اساسی است که برای آموزش شبکه های عصبی استفاده می شود و به حداقل رساندن خطا با تنظیم وزن شبکه کمک می کند. درک اینکه چگونه کار می کند برای توسعه مدل های یادگیری ماشین موثر ضروری است.
Gradient Descent چیست؟
Gradiention یک فرایند انگیزشی است که پارامترهای مدل را برای کاهش عملکرد از دست دادن به روز می کند. گرادیان از دست دادن را با توجه به هر پارامتر محاسبه می کند و در جهت مخالف گرادینت حرکت می کند.این روند تا زمانی که مدل به حداقل خطا برسد ادامه می یابد.
انواع Gradient Descent
- [[ویرایش] [۱] [۱۰] [۱۰] [۱] [۱۰] [۱]] [۱]] از کل مجموعه داده ها برای محاسبه شیب در هر بار استفاده کنید.
- میانگین متوسط Descent (SGD): از یک نقطه داده در یک زمان استفاده می کند، و به روز رسانی های مکرر تر است.
- Mini-batch Gradient Descent: ترکیب مزایای دسته و روش های تصادفی با استفاده از زیرمجموعه های کوچک داده است.
اجرای عملی
پیاده سازی گرادیان شامل محاسبه گرادیان تابع از دست دادن و به روز رسانی وزن بر اساس آن است که نرخ یادگیری یک پارامتر حیاتی است که اندازه هر به روز رسانی را تعیین می کند. انتخاب یک نرخ یادگیری مناسب، همگرایی سریع تر را بدون عیب یابی حداقل تضمین می کند.
در شبکه های عصبی، از ارتقاء مجدد برای محاسبه گرادیان به طور موثر استفاده می شود.این خطا را از طریق شبکه به عقب می اندازد و اجازه می دهد تا برای محاسبه گرادیان برای هر وزن.