مقیاس پذیری ویژگی یک گام پیش پردازش حیاتی در آموزش شبکه های عصبی است که شامل تنظیم طیف وسیعی از ویژگی های ورودی برای بهبود عملکرد مدل و سرعت همگرایی است. درک پایه های ریاضی کمک می کند تا تکنیک های مقیاس پذیری مناسب برای سناریوهای مختلف را اعمال کند.

بنیادهای ریاضی مقیاس پذیری

روش های مقیاس پذیری ویژگی، داده ها را تغییر می دهند تا اطمینان حاصل شود که هر ویژگی به طور مساوی به فرآیند یادگیری کمک می کند. تکنیک های مشترک شامل مقیاس پذیری و استاندارد سازی مینی-حداکثر ویژگی ها را به یک محدوده خاص تبدیل می کند، به طور معمول [0، 1] با استفاده از فرمول:

[x] = (x) / (حداکثر (x) - (x) - (x)

از سوی دیگر، مراکز دارای معانی اطراف به معنای با اختلاف واحد هستند:

[[ویرایش] [۱] [۱۰] = (x-μ) / σ [[۱۰]

تاثیر بر آموزش شبکه عصبی

مقیاس پذیری مناسب ویژگی می تواند به طور قابل توجهی بهبود روند آموزش. آن کمک می کند تا در همگرایی سریع تر با جلوگیری از ویژگی های با محدوده های بزرگتر از تسلط بر به روز رسانی های یادگیری کمک کند. علاوه بر این، ویژگی های مقیاس شده منجر به گرادیان پایدار تر، کاهش خطر از بین رفتن یا منفجر کردن گرادیان.

شبکه های عصبی با توابع فعال مانند sigmoid یا تانگو به ویژه به مقیاس های ویژگی حساس هستند. Scaling تضمین می کند که ورودی ها در مناطق فعال این توابع سقوط می کنند و باعث افزایش بهره وری یادگیری می شوند.

بررسی های عملی

هنگام استفاده از مقیاس پذیری ویژگی، مهم است که فقط در داده های آموزشی مقیاس پذیر باشید و سپس همان تحول را به اعتبار و داده های تست اعمال کنید.این مانع نشت داده ها می شود و مقیاس پذیری مداوم در سراسر مجموعه داده ها را تضمین می کند.

  • از مقیاس پذیری min-max برای ویژگی های محدود استفاده کنید.
  • استاندارد سازی را برای داده های توزیع شده به طور معمول اعمال کنید.
  • همیشه مقیاس پذیر در داده های آموزشی است.
  • داده های در مقیاس مجدد پس از هر گونه افزایش داده