Wie man Modellvertrauensintervalle im maschinellen Lernen berechnet

Modell-Konfidenzintervalle bieten einen Bereich, in dem die tatsächliche Modellleistung oder der tatsächliche Parameterwert mit einer gewissen Wahrscheinlichkeit sinken dürfte, und sind nützlich, um die Unsicherheit zu verstehen, die mit Modellschätzungen in maschinellen Lernanwendungen verbunden ist.

Vertrauensintervalle verstehen

Ein Konfidenzintervall ist ein statistischer Bereich, der aus Daten berechnet wird, die wahrscheinlich den wahren Parameterwert enthalten.

Schritte zur Berechnung von Vertrauensintervallen

Befolgen Sie die folgenden Schritte, um Konfidenzintervalle für Modellmetriken zu berechnen:

• Sammeln Sie eine Stichprobe von Modellleistungsmetriken durch Cross-Validierung oder mehrere Durchläufe.
• Die mittlere und die Standardabweichung der Probe sind zu berechnen.
• Wählen Sie ein Konfidenzniveau (z. B. 95%).
• Bestimmen Sie den geeigneten kritischen Wert aus der t-Verteilung oder z-Verteilung auf der Grundlage der Stichprobengröße und des Konfidenzniveaus.
• Berechnen Sie die Fehlermarge: kritischer Wert × (Standardabweichung / √Sample size).
• Berechnen Sie das Konfidenzintervall als: mittelwert ± Fehlermarge.

Beispielrechnung

Angenommen, die Genauigkeit eines Modells wird über 30 Durchläufe mit einer mittleren Genauigkeit von 85% und einer Standardabweichung von 3% ausgewertet. Bei einem Vertrauensniveau von 95% beträgt der kritische Wert aus der t-Verteilung etwa 2,045.

Die Fehlergrenze ist: 2,045 × (3 / √30) ≈ 2,045 × 0,547 ≈ 1,12%. Das Konfidenzintervall beträgt 85% ± 1,12%, was zu einem Bereich von etwa 83,88% bis 86,12% führt.