מודלים המבוססים על אנרגיה ברשתות נילי: תיאוריה, קלקלוציות, ועולם האמיתי משתמשים במקרים

מודלים המבוססים על אנרגיה (EBMs) הם סוג של מודלים ברשת עצבית המגדירים פונקציה אנרגיה לייצג את תאימות בין קלטות ופלטים.מודלים אלה משמשים במשימות למידה מכונה שונות, כולל התחדשות מודלים ללמידה ללא פיקוח. מאמר זה חוקר את המושגים הבסיסיים, חישובים מתמטיים, יישומים מעשיים של EBMs ברשתות עצביות.

מושגי יסוד של מודלים המבוססים על אנרגיה

EBMs להקצות ערך אנרגיה מדרגרית לכל תצורה של משתנים קלט ופלט.המטרה היא ללמוד פונקציה אנרגיה שבה תצורה נכונה או רצויה יש אנרגיה נמוכה, בעוד שלאלה לא נכונים יש אנרגיה גבוהה.בניגוד למודלים מסורתיים של פרוביביליסטיים, EBMs לא מודל במפורש הסתברות הפצה אבל להתמקד ב minimization אנרגיה.

⁇ מתמטית ב EBMs

הליבה של EBM הוא הפונקציה האנרגיה שלה, בדרך כלל מלוטש כמו E(x, y), שבו x הוא קלט ו y הוא הפלט. במהלך אימון, המודל מאמת פרמטרים כדי למזער את האנרגיה של תצורה נכונה למקסם אותו עבור אלה לא נכונים. הפונקציה אובדן לעתים קרובות כרוך ניגודיות או שיטות מחיאות כפיים אחרות כדי להעריך ביעילות.

קלודות כרוכות במקד את ⁇ של הפונקציה האנרגיה ביחס לפרמטרים מודל, אשר מנחה את תהליך אופטימיזציה.שיטות כמו מארקוב שרשרת מונטה קרלו (MC) משמשים כדי להשוות את ההפצה על תצורה במהלך אימון.

מקרים של שימוש אמיתי בעולם

מודלים המבוססים על אנרגיה מוחלים בתחומים שונים, כולל:

• (ב) הדור של תמונה:ראהFLT:1) EBMs יכול ליצור תמונות מציאותיות על ידי הדגמת תצורה של אנרגיה נמוכה.
• (ב) ⁇ :0) ⁇ ⁇ : 1FLT:1 גבוה אנרגיה ציוני מצביעים על חריגות או חריגות בנתונים.
• (ב) ,0) ,Reinforcement Learning:FLT:1ig: EBMs מסייע לדינמיקה של סביבת מודלים ותפקודי תגמול.
• עיבוד שפה:0 (Natural Language Processing: FLT:103) בשימוש עבור משימות כמו עיצוב שפה והבנה סמנטית.