درک تعداد پارامترهای شبکه های عصبی عمیق برای بهینه سازی استقرار آنها ضروری است، به ویژه در محیط هایی که منابع محاسباتی محدود دارند، این مقاله توضیح می دهد که چگونه پارامترهای کلی در معماری های مختلف شبکه عصبی را محاسبه کنیم.

روش محاسبه پایه Calculation Method

تعداد کل پارامترهای موجود در یک شبکه عصبی مجموع تمام وزن ها و تعصبات در لایه ها است.برای لایه های کاملا متصل، محاسبه شامل ضرب و شتم تعداد واحدهای ورودی توسط تعداد واحدهای خروجی و اضافه کردن سوگیری ها است.

به عنوان مثال، یک لایه با 100 واحد ورودی و 50 واحد خروجی دارای:

  • وزن: 100 x 50 = 5000
  • نام بازی : 50
  • مجموع پارامترهای: 5050

لایه های کانویال Convolutional Layers

در لایه های همجوشی، پارامترهای بستگی به اندازه فیلتر، تعداد فیلترها و کانال های ورودی دارد:

تعداد پارامترهای = (فیلتر ارتفاع x عرض x کانال های ورودی x تعداد فیلترهای) + سوگیری ها

تاثیر بر استقرار

کاهش تعداد پارامترهای می تواند بهره وری مدل را بهبود بخشد و استفاده از حافظه را کاهش دهد. تکنیک هایی مانند مدل ⁇ ، quantization و استفاده از معماری های کوچکتر به دستیابی به این هدف بدون دقت به طور قابل توجهی قربانی می کنند.