חישוב טביעת הרגל הזיכרון של רשתות עצביות גדולות

הבנת טביעת הרגל של רשתות עצביות גדולות חיונית לאופטימיזציה של פריסה ואימון.זה עוזר לקבוע דרישות חומרה ויעילות. מאמר זה מסביר כיצד לחשב את הזיכרון המשמש מודלים ברשת עצבית.

המונחים: Memory usage

טביעת הרגל הכוללת של הזיכרון כוללת מספר רכיבים: פרמטרים מודל, ⁇ s, מצבים אופטימיזציה, ומציינים זמניים במהלך חישוב.כל רכיב תורם לצריכת הזיכרון הכוללת.

חישוב מודל Parameters Memory

הגורם העיקרי הוא הגודל של הפרמטרים של המודל.כדי להעריך את זה, להכפיל את מספר הפרמטרים על ידי גודל של כל פרמטר, בדרך כלל 4 מצעים עבור מספרי נקודת צף 32 סיביות.

לדוגמה, מודל עם 100 מיליון פרמטרים ידרוש בערך 400 MB של זיכרון רק לאחסון פרמטרים.

שיקולים נוספים

במהלך אימון, ⁇ s ו- אופטימיזציה מדינות גם לצרוך זיכרון. Gradients הם בדרך כלל אותו גודל כמו פרמטרים, הכפלת הדרישה לזיכרון.

מציצים זמניים להפעלתם ומדישובים ביניים תורמים גם לשימוש זיכרון הכולל, במיוחד עם גדלים גדולים או אדריכלות מורכבת.

הערכה כוללת של זיכרון

כדי להעריך את טביעת הרגל הכוללת של הזיכרון, לסכם את הזיכרון לפרמטרים, ⁇ s, מצבים אופטימיזציה, ו buffers זמני. להתאים חישובים המבוססים על ארכיטקטורת מודלים ספציפיים והגדרת אימונים.