Gradiention یک الگوریتم بهینه سازی است که برای به حداقل رساندن یک تابع توسط آنی که به سمت پایین ترین نقطه حرکت می کند، استفاده می شود، به طور گسترده ای در یادگیری ماشین برای بهینه سازی مدل ها با تنظیم پارامترهای تنظیم برای کاهش خطا استفاده می شود.این مقاله توضیح می دهد محاسبات گام به گام در استفاده از گرادیان برای یادگیری ماشین آلات.

درک الگوریتم درجه بندی ( Gradient Descent Algorithm)

ایده اصلی گرادیان بودن این است که پارامترهای مدل را در جهت شیب منفی تابع از دست دادن به روز رسانی کنید، این روند ادامه می یابد تا زمانی که پارامترهای به حداقل نقطه، به طور ایده آل حداقل جهانی، به هم پیوسته باشند.

مرحله به مرحله محاسبه فرایند

فرض کنید ما یک مدل رگرسیون خطی ساده با عملکرد از دست دادن داریم، مانند خطای Squared (MSE) مراحل برای استفاده از گرادیان به شرح زیر است:

  • پارامترهای اولیه (به عنوان مثال، وزن و سوگیری) را با مقادیر تصادفی کوچک آغاز کنید.
  • خروجی پیش بینی شده را با استفاده از پارامترهای فعلی محاسبه کنید.
  • ارزش عملکرد از دست دادن را بر اساس پیش بینی ها و داده های واقعی تکمیل کنید.
  • گرادیان تابع از دست دادن را با توجه به هر پارامتر محاسبه کنید.
  • به روز رسانی هر پارامتر با کاهش محصول نرخ یادگیری و گرادینت مربوطه.

این فرآیند برای تعدادی از کلروفیل ها یا تا زمانی که تغییر در از دست دادن غیر قابل قبول شود، تکرار می شود.

مثالی از Calculation

در این میان، یک نکته ی واحد در مورد (FLT:0) را در نظر بگیرید که شامل ۲ (FLT:1) و خروجی (FLT:2y) است که ۴ وزن اولیه (FLT:4w = ۰.۸ (FLT:۵) و پیش فرض (F=) = ۰ است.

پیش بینی محاسبه: ⁇ = wx + b = 0.5 * 2 + 0 = 1

خطایی که در آن وجود دارد: (FLT:0)error = 1 - 4 = 3

گرادیان کالculate:

وزن متوسط (FLT:0 ⁇ L/ ⁇ w = 2 * = 2 * (-3) * 2 = 12

[در این باره]، ⁇ L/ ⁇ b = 2 * خطای = 2 * (-3) = 6

پارامترهای به روز رسانی:

وزن جدید: = 0.5 - 0.1 * (-12) = 0.5 + 1.2 = 1.7

پیش زمینه جدید: b = 0 - 0.1 * (-6) = 0 + 0.6 = 0.6