Table of Contents
توابع فعال سازی اجزای ضروری در شبکه های عصبی هستند، معرفی غیر خطی که مدل ها را قادر می سازد تا الگوهای پیچیده را یاد بگیرند.انتخاب عملکرد مناسب می تواند به طور قابل توجهی بر عملکرد و آموزش بهره وری یک مدل تاثیر بگذارد.این مقاله یک مرور کلی از توابع فعال سازی مشترک را برای کمک به انتخاب های آگاهانه فراهم می کند.
توابع فعال سازی مشترک
چندین عملکرد فعال سازی به طور گسترده در شبکه های عصبی مورد استفاده قرار می گیرد، هر کدام با ویژگی های منحصر به فرد، درک ویژگی های کمی خود را در انتخاب بهترین عملکرد برای وظایف خاص کمک می کند.
معیارهای عملکردی
معیارهای کلیدی برای ارزیابی عملکرد فعال سازی عبارتند از:
- [در این میان] [و] [[[[۱]]] [[۱۰]]]] [۱۰]] [۱۰]] [۱۰]] [۱۰]] [۱۰]] [۱] [۱۰] [۱]] [۱۰] [۱۰] [۱۰] [۱]] [۱۰] [۱] [۱] [۱۰] [۱] [۱] [۱] [۱] [۱۰] [۱۰] [۱] [۱] [۱] [۱۰] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱۰]] [۱۰] [۱۰] [۱۰] [۱]]] [۱۰]]]]] [۱۰] [۱۰] [۱] [۱۰] [۱] [۱] [۱] [۱] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱]]] [۱] [۱۰] [۱] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱] [۱] [۱] [۱۰] [۱۰] [
- محدوده: بر توانایی فعال سازی برای مدل سازی توزیع داده های مختلف تاثیر می گذارد.
- بهره وری محاسباتی: سرعت آموزش و استفاده از منابع را تحت تاثیر قرار می دهد.
مقایسه کمی
در زیر مقایسه ای از توابع فعال سازی محبوب بر اساس خواص آنها است:
- ReLU: خروجی صفر برای ورودی های منفی و خطی برای ورودی های مثبت است، آن دارای شیب 1 برای مقادیر مثبت، و آن را برای آموزش شبکه های عمیق کارآمد است.
- Sigmoid: خروجی بین 0 و 1 را تولید می کند، شیب آن برای اندازه های ورودی بزرگ کاهش می یابد، که می تواند یادگیری کند.
- [[۱] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱۰] [۱] [۱۰] [۱] [۱] [۱] [۱]] [۱] [۱] [۱] [۱۰] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱]] [۱] [۱] [۱] [۱]]] [۱]]]]]]] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱
- ReLU: اجازه می دهد یک گرادی کوچک برای ورودی های منفی، کاهش مشکل "dying ReLU" است.
انتخاب عملکرد مناسب فعال سازی
انتخاب بستگی به برنامه خاص و معماری مدل دارد. تجزیه و تحلیل Quantitative نشان می دهد که ReLU و انواع آن به طور کلی آموزش سریع تر و جریان گرادیتر در شبکه های عمیق را تسهیل می کنند. Sigmoid و تانگو ممکن است برای لایه های خروجی یا وظایف خاص که نیاز به خروجی های محدود دارند مناسب باشد.