Table of Contents
सक्रियण कार्य तंत्रिका नेटवर्क के आवश्यक घटक हैं। वे यह निर्धारित करते हैं कि क्या एक न्यूरोन को सक्रिय किया जाना चाहिए या नहीं, जटिल पैटर्न सीखने की नेटवर्क की क्षमता को प्रभावित करना चाहिए। यह समझना कि ये कार्य कैसे काम करते हैं और उन्हें कैसे समझने के लिए तंत्रिका नेटवर्क डिजाइन में मौलिक है।
क्या सक्रियण कार्य हैं?
सक्रियण कार्य नेटवर्क में गैर-रैखिकता पेश करते हैं। उनके बिना, तंत्रिका नेटवर्क एक रैखिक मॉडल की तरह व्यवहार करेगा, जिससे जटिल समस्याओं को हल करने की क्षमता को सीमित किया जा सके। वे इनपुट संकेतों को आउटपुट सिग्नल में बदल देते हैं जो बाद की परतों में पारित हो सकते हैं।
आम सक्रियण कार्य
- Sigmoid: 0 से 1 के बीच आउटपुट मान, संभावना अनुमान के लिए उपयोगी।
- ReLU: इनपुट को सीधे सकारात्मक रूप से आउटपुट करता है; अन्यथा, शून्य यह computationally कुशल है और vanishing gradients को कम करने में मदद करता है।
- Tanh: 0 से 1 के बीच आउटपुट मान, शून्य के आसपास केंद्रित, जो प्रशिक्षण गतिशीलता में सुधार कर सकते हैं।
कम्प्यूटिंग सक्रियण कार्य
प्रत्येक सक्रियण समारोह में एक गणितीय सूत्र होता है जो इनपुट से इसके आउटपुट को गणना करने के लिए उपयोग किया जाता है। उदाहरण के लिए:
]Sigmoid:]
f(x) = 1/ (1 + e]]-x]]]
ReLU:
f(x) = अधिकतम(0, x)]]
Tanh:]
f(x) = (e]x] - e]]] -x]]]]]]]]]]]]]]]] / (e ]x] + e]-x[FLT:]]]]]]]]]]]]