バランスの取れたデータは、機械学習の共通の課題であり、その1つのクラスは他の数を著しくアウトナンバーします。この不均衡は、少数のクラスで不公平な実行を偏ったモデルにつながることができます。効果的なテクニックを実装することで、モデルの公正性と精度を向上させることができます。

データ・インバランスの理解

データセット内のクラスを配布してもデータ不均衡が発生します。例えば、不正検知では、本物取引は膨大な数の不正なものになります。この不均衡は、モデルが大部分のクラスを好むようにし、マイノリティクラスのインスタンスを検出する能力を減らすことができます。

バランスをとりたいテクニック

複数のメソッドを使用して、データの不均衡を緩和できます。

  • []:[]] をリサンプリングするマイナーティクラスまたは過半数クラスをオーバーサンプリングすることにより、データセットを調整します。
  • 合成データ生成:[] SMOTEのようなアルゴリズムを使用して、少数民族クラスの合成例を作成します。
  • アルゴリズムのアプローチ:[エンサンブルメソッドなどの不均衡に強いモデルを雇用する。
  • 集中学習:] は、トレーニング中に、よりマイナーなクラスにより高い誤解を割り当てます。

公正性を改善する計算

精度、リコール、F1スコアなどのメトリックは、不均衡なデータに対するモデル性能を評価するのに役立ちます。 G-meanとAUC-ROCの計算は、感度と特異性のバランスに関する洞察を提供します。 これらの計算は公平性を向上させるための調整ガイドです。

例えば、F1-Score は次のように計算されます。

F1 = 2 * (予言 *リコール)/(予言 +リコール)

これらメトリックの最適化により、モデルはすべてのクラスをうまく実行し、公平性と信頼性を促進します。