ड्रॉपआउट और नियमितीकरण मशीन लर्निंग में ओवरफिटिंग को रोकने के द्वारा मॉडल प्रदर्शन में सुधार करने के लिए उपयोग की जाने वाली तकनीक हैं। ओवरफिटिंग तब होती है जब एक मॉडल प्रशिक्षण डेटा में शोर सीखता है, जिससे नए डेटा को सामान्य करने की क्षमता कम हो जाती है। इन रणनीतियों को लागू करने में विशिष्ट गणनाएं और सर्वोत्तम प्रथाओं शामिल हैं।

ड्रॉपआउट को समझना

ड्रॉपआउट यादृच्छिक रूप से प्रशिक्षण के दौरान न्यूरॉन्स के एक अंश को निष्क्रिय करता है, जो नेटवर्क को विशिष्ट मार्गों पर बहुत अधिक निर्भर होने से रोकने में मदद करता है। ड्रॉपआउट दर प्रत्येक पुनरावृत्ति में निष्क्रिय न्यूरॉन्स के प्रतिशत को निर्धारित करती है।

विशिष्ट बूंद दर 0.2 से 0.5 तक होती है। उदाहरण के लिए, प्रत्येक प्रशिक्षण चरण के दौरान 0.3 का मतलब 30% न्यूरॉन्स बंद हो जाते हैं। यह नेटवर्क को अधिक मजबूत सुविधाओं को विकसित करने के लिए प्रोत्साहित करता है।

नियमितीकरण को कार्यान्वित करना

नियमितीकरण जटिल मॉडल को हतोत्साहित करने के लिए हानि समारोह के लिए एक दंड जोड़ता है। सबसे आम रूप L2 नियमितीकरण है, जो बड़े वजनों को दंडित करता है। नियमितीकरण शब्द की गणना निम्नानुसार की जाती है:

Los = मूल हानि + λ * δ(w]2]]]]]]]]

जहां λ (lambda) नियमितीकरण पैरामीटर है, और Σ(w 2 ) वर्गाकार वजन का योग है। एक उचित λ चुनना महत्वपूर्ण है; विशिष्ट मान 0.001 से 0.1 तक हैं।

रणनीतियाँ ओवरफिटिंग को रोकने के लिए

ड्रॉपआउट और नियमितीकरण का संयोजन प्रभावी रूप से ओवरफिटिंग को कम कर सकता है। अन्य रणनीतियों में प्रारंभिक रोक, डेटा वृद्धि और क्रॉस-वैलिडेशन शामिल हैं। नियमित रूप से निगरानी सत्यापन प्रदर्शन इष्टतम नियमितीकरण मापदंडों को निर्धारित करने में मदद करता है।

  • 0.2 और 0.5 के बीच की दर से ड्रॉपआउट का उपयोग करें
  • L2 नियमितीकरण को लगभग 0.01 के साथ लागू करें
  • प्रशिक्षण के दौरान प्रारंभिक रोक लागू करना
  • विविधता बढ़ाने के लिए ऑगमेंट प्रशिक्षण डेटा