म्यूचुअल जानकारी एक सांख्यिकीय माप है जिसका उपयोग दो चरों के बीच निर्भरता का मूल्यांकन करने के लिए किया जाता है। सुविधा चयन में, यह उन विशेषताओं की पहचान करने में मदद करता है जिनमें लक्ष्य चर के बारे में सबसे अधिक प्रासंगिक जानकारी होती है। इस विधि का व्यापक रूप से मशीन लर्निंग में उपयोग किया जाता है ताकि मॉडल प्रदर्शन को बेहतर बनाया जा सके।

म्यूचुअल सूचना क्या है?

म्यूचुअल जानकारी एक यादृच्छिक चर के बारे में प्राप्त जानकारी की मात्रा को निर्धारित करती है। यह दूसरे के एक परिवर्तनीय दिए गए ज्ञान की अनिश्चितता में कमी को मापता है। एक उच्च पारस्परिक सूचना मान चर के बीच एक मजबूत निर्भरता को इंगित करता है।

म्यूचुअल सूचना की गणना

गणना में चर के संभावित वितरण शामिल हैं। सूत्र संयुक्त संभावना वितरण और परिवर्तनीय के व्यक्तिगत संभावना वितरण पर आधारित है। सामान्य सूत्र है:

I(X;Y) = Σ p(x,y) log (p(x,y) /(p(x) p(y))]]

कहाँ:

  • p(x,y) X और Y की संयुक्त संभावना है।
  • p(x)] और p(y)]]], ], ]]]], ], ]p(y)]]], (FLT:3]]]]], (FLT:0]]]]]]]], ]]]]]]]]]]]]

अनुप्रयोग in फ़ीचर चयन

सुविधा चयन में, आपसी जानकारी यह निर्धारित करने में मदद करती है कि कौन सी सुविधाएँ लक्ष्य चर के लिए सबसे अधिक प्रासंगिक हैं। उच्च पारस्परिक सूचना स्कोर के साथ विशेषताएं अधिक जानकारीपूर्ण मानी जाती हैं और मॉडल प्रशिक्षण के लिए प्राथमिकता दी जाती हैं। यह प्रक्रिया आयामीता को कम करती है और मॉडल दक्षता में सुधार करती है।

आम तरीकों में प्रत्येक सुविधा और लक्ष्य के बीच पारस्परिक जानकारी की गणना शामिल है, फिर स्कोर के आधार पर शीर्ष सुविधाओं का चयन करना। यह दृष्टिकोण विशेष रूप से उच्च-आयामी डेटा को संभालने के लिए उपयोगी है।