إن فهم آثار الذاكرة للشبكات العصبية الكبيرة أمر أساسي لتحقيق الاستخدام الأمثل للنشر والتدريب، وهو يساعد على تحديد متطلبات المعدات وكفاءتها، وتشرح هذه المادة كيفية حساب الذاكرة التي تستخدمها نماذج الشبكات العصبية.

عناصر استخدام الذاكرة

ويشمل مجموع آثار الذاكرة عدة عناصر: البارامترات النموذجية، والتدرجات، وولايات الذرة، والعناصر العازلة المؤقتة أثناء الحساب، ويسهم كل عنصر في الاستهلاك العام للذاكرة.

مقياس نموذجي للحساب

العامل الرئيسي هو حجم بارامترات النموذج لتقدير هذا، مضاعفة عدد البارامترات بحجم كل بارامتر، عادة 4 بواسطات لأرقام نقاط العائمة 32

فعلى سبيل المثال، سيتطلب نموذج يحتوي على 100 مليون بارامترات حوالي 400 ميغابايت من الذاكرة فقط من أجل خزن البارامترات.

النظر في مذكرات إضافية

وأثناء التدريب، تستهلك الدول المتدرجات والخيارات أيضاً الذاكرة، وعادة ما تكون العتبات بنفس حجم البارامترات، وتضاعف متطلبات الذاكرة، ويمكن أن تضيف الدول ذات الوجهة العليا، مثل متغيرات الزخم أو معدل التعلم التكيّفي، مزيداً من النفقات العامة.

كما أن العوازل المؤقتة للتفعيلات والحسابات الوسيطة تسهم في الاستخدام الكلي للذاكرة، لا سيما بحجم دفعة كبيرة أو بنية معقدة.

تقدير إجمالي المذبحة

لتقدير الأثر الكلي للذاكرة، ولخص الذاكرة بالنسبة للبارامترات، والتدرجات، وولايات الذرة، والعوازل المؤقتة، وتعديل الحسابات استنادا إلى هيكل نموذجي محدد وإنشاء تدريب.

  • المعايير النموذجية
  • العتّبات
  • ولايات أوبتيمر
  • عوازل النشاط
  • الحواسيب الوسيطة