Table of Contents
ड्रॉपआउट नियमितीकरण एक तकनीक है जिसका उपयोग तंत्रिका नेटवर्क में ओवरफिटिंग को रोकने के लिए किया जाता है। इसमें प्रशिक्षण के दौरान न्यूरोन की एक सबसेट को बेतरतीब ढंग से निष्क्रिय करना शामिल है, जो मॉडल को अनदेखा डेटा के लिए बेहतर बनाने में मदद करता है। यह लेख बताता है कि कैसे ड्रॉपआउट कार्यान्वित किया जाता है, कैसे गणना की जाती है, और तंत्रिका नेटवर्क प्रदर्शन पर इसका प्रभाव।
ड्रॉपआउट नियमितीकरण को समझना
ड्रॉपआउट यादृच्छिक रूप से प्रत्येक प्रशिक्षण पुनरावृत्ति के दौरान न्यूरोन आउटपुट के अनुपात को शून्य करने के लिए निर्धारित करते हैं। यह न्यूरॉन्स को विशिष्ट विशेषताओं पर अत्यधिक निर्भर होने से रोकता है और नेटवर्क को अधिक मजबूत प्रतिनिधित्व विकसित करने के लिए प्रोत्साहित करता है। ड्रॉपआउट दर न्यूरॉन्स के अंश को निष्क्रिय कर देता है।
ड्रॉपआउट में शामिल होने की गणना
प्रशिक्षण के दौरान, प्रत्येक न्यूरॉन को संभावना के साथ रखा जाता है p]. एक न्यूरॉन का उत्पादन i] ड्रॉपआउट के बाद की गणना की जाती है:
]y]i]] = r]i]]]]]]]]]]i]]]]]]]]]]]
जहाँ ]r]i]] ], एक Bernoulli है जो संभावित रूप से परिवर्तनीय है p]] of being 1 (retained) and 0 (dropped). Inference के दौरान, भार ]p] द्वारा प्रशिक्षण के दौरान छोड़ने के लिए जिम्मेदार हैं।
तंत्रिका नेटवर्क सामान्यीकरण पर प्रभाव
ड्रॉपआउट को लागू करने से ओवरफिटिंग को कम करके मॉडल की क्षमता को सामान्यीकृत करने में मदद मिलती है। यह नेटवर्क को अनावश्यक प्रतिनिधित्व को जानने के लिए मजबूर करता है, जिससे डेटा में शोर और विविधताओं के लिए इसे और अधिक लचीला बना दिया जाता है। नतीजतन, ड्रॉपआउट वाले मॉडल आम तौर पर सत्यापन और परीक्षण डेटासेट पर बेहतर प्रदर्शन करते हैं।
- विशिष्ट न्यूरॉन्स पर निर्भरता को कम करता है
- मजबूत सुविधा सीखने को प्रोत्साहित करता है
- ओवरफिटिंग घटाना
- परीक्षण सटीकता में सुधार