ارتقاء مجدد یک الگوریتم اساسی است که برای آموزش شبکه های عصبی عمیق استفاده می شود.این شامل محاسبه گرادیان عملکرد از دست دادن با توجه به هر وزن در شبکه است، اجازه می دهد به روز رسانی وزن که به حداقل رساندن خطا است.این مقاله یک مرور گام به گام از روند ارتقاء عقب، با تمرکز بر محاسبات درگیر در آموزش شبکه عمیق است.

Pass Forward Pass

این فرآیند با یک گذر رو به جلو آغاز می شود، جایی که داده های ورودی از طریق شبکه منتشر می شوند، هر نورون یک مجموع وزن ورودی های آن را محاسبه می کند، سوگیری را اضافه می کند و یک تابع فعال سازی را اعمال می کند. خروجی هر لایه به عنوان ورودی لایه بعدی عمل می کند تا پیش بینی نهایی به دست آید.

محاسبه خسارت

هنگامی که شبکه تولید یک خروجی، عملکرد از دست دادن تفاوت بین خروجی پیش بینی شده و برچسب واقعی از دست دادن توابع شامل خطای مربع و Cross-Entropy است. هدف این است که این کاهش را از طریق تنظیمات وزن به حداقل برساند.

Backward Pass: Gradient Co قطع عضو

هسته ارتقاء پشت شامل محاسبه گرادیان از دست دادن با توجه به هر وزن است.از لایه خروجی شروع، اصطلاح خطا محاسبه شده و به عقب از طریق شبکه منتشر می شود.این شامل استفاده از قانون زنجیره برای محاسبه مشتقات در هر لایه است.

برای هر نورون، اصطلاح خطا با ضرب کردن مشتق از تابع فعال سازی با مقدار وزنی از خطاهای لایه بعدی تعیین می شود.این شرایط خطا برای محاسبه گرادیان برای هر وزن و تعصب استفاده می شود.

افزایش وزن

با استفاده از گرادیان محاسبه شده، وزن ها به طور معمول از طریق گرادیان به روز می شوند.قانون به روز رسانی یک درصد از گرادیان از وزن فعلی را که توسط نرخ یادگیری کنترل می شود، کاهش می دهد.

خلاصه داستان : Key Step

  • یک گذر رو به جلو برای پیش بینی های محاسبه انجام دهید.
  • کاهش بین پیش بینی ها و برچسب های واقعی را محاسبه کنید.
  • شرایط خطای کامل از لایه خروجی به سمت عقب شروع می شود.
  • شیب های Calculate برای هر وزن و تعصب.
  • به روز رسانی وزن با استفاده از گرادیان