相互情報とは、二つの変数間の依存性を評価するために使用される統計的な測定です。特徴の選択では、ターゲット変数に関する最も関連性の高い情報を持つ機能を特定するのに役立ちます。この方法は、最も有益な機能を選択することによってモデルのパフォーマンスを向上させるために機械学習で広く使用されています。

相互情報とは?

相互情報では、別の変数から得られた情報量を別の変数に定量化します。これは、他の知識を与えられた1つの変数の不確実性の減少を測定します。より高い相互情報価値は、変数間のより強い依存性を示します。

相互情報の計算

計算は変数の確率分布を含みます。式は、ジョイント確率分布と変数の個々の確率分布に基づいています。一般的な式は次のとおりです。

[I(X;Y) = Σ Σ p(x、y) ログ(p(x、y) /(p(x) p(y)))]

どこ:

  • []p(x,y)[は、XとYの共同確率です
  • []p(x)]と[p(y)は、マージンの確率です

機能選択の適用

機能選択では、相互情報では、どの機能がターゲット変数に最も関連しているかを判断するのに役立ちます。より高い相互情報スコアを持つ機能は、より有益な考慮され、モデルのトレーニングのために優先されます。このプロセスは寸法を減らし、モデルの効率を改善します。

共通方法は、各機能とターゲット間で相互情報を計算し、スコアに基づいてトップ機能を選択します。このアプローチは、特に、高次元データを扱うのに役立ちます。