ग्रैडिएंट वंश एक अनुकूलन एल्गोरिथ्म है जिसका उपयोग इटरेटिव द्वारा कम से कम एक कार्य को कम करने के लिए किया जाता है जो कि सबसे कम बिंदु की ओर बढ़ रहा है। यह व्यापक रूप से त्रुटि को कम करने के लिए मापदंडों को समायोजित करके मॉडल को अनुकूलित करने के लिए मशीन लर्निंग कार्यों के लिए gradient वंश को लागू करने में शामिल चरण-दर-चरण गणनाओं को बताता है।

ग्रैडिएंट डेसेंट अल्गोरिथम को समझना

ढाली वंश का मुख्य विचार हानि समारोह के नकारात्मक ढाल की दिशा में मॉडल मापदंडों को अद्यतन करना है। यह प्रक्रिया तब तक जारी रहती है जब तक कि मापदंडों को न्यूनतम बिंदु पर अभिसरण नहीं किया जाता है, आदर्श रूप से वैश्विक न्यूनतम।

चरण-दर-चरण गणना प्रक्रिया

मान लीजिए कि हमारे पास एक साधारण रैखिक प्रतिगमन मॉडल है जिसमें एक हानि फंक्शन है, जैसे कि मीन स्क्वायर त्रुटि (MSE)। ढाल वंश लगाने के लिए कदम इस प्रकार हैं:

  • छोटे यादृच्छिक मूल्यों के साथ पैरामीटर (जैसे, वजन और पूर्वाग्रह) शुरू करना।
  • वर्तमान मापदंडों का उपयोग करके पूर्वानुमानित आउटपुट की गणना करें।
  • भविष्यवाणियों और वास्तविक डेटा के आधार पर हानि समारोह मूल्य का समाधान करें।
  • प्रत्येक पैरामीटर के संबंध में हानि समारोह के ढाल की गणना करें।
  • प्रत्येक पैरामीटर को सीखने की दर और संबंधित ढाल के उत्पाद को घटाकर अद्यतन करें।

यह प्रक्रिया एक निर्धारित संख्या में पुनरावृत्तियों के लिए दोहराती है या जब तक कि नुकसान में परिवर्तन नगण्य हो जाता है।

उदाहरण Calculation

इनपुट के साथ एक एकल डेटा बिंदु पर विचार करें x = 2 और आउटपुट y = 4 ]]. शुरू वजन w = 0.5 ]] और पूर्वाग्रह b = 0]]]] 0.1 ]] की एक सीखने की दर का उपयोग करें।

पूर्वानुमान की गणना:

Compute त्रुटि: error = y = 1 - 4 = -3

गणना ढाल:

Gradient w.r.t. भार: alanl/vaw = 2 * त्रुटि * x = 2 * (-3) * 2 = -12

Gradient w.r.t. पूर्वाग्रह: alanl/halb = 2 * त्रुटि = 2 * (-3) = -6

अद्यतन पैरामीटर:

नया वजन: w = 0.5 - 0.1 * (-12) = 0.5 + 1.2 = 1.7 ]

नया पूर्वाग्रह: b = 0 - 0.1 * (-6) = 0 + 0.6 = 0.6 ]