Как рассчитать интервалы доверия в модели машинного обучения

Доверительные интервалы модели обеспечивают диапазон, в пределах которого ожидается, что истинное значение производительности модели или параметра упадет с определенной вероятностью. Они полезны для понимания неопределенности, связанной с оценками модели в приложениях машинного обучения.

Понимание интервалов доверия

Доверительный интервал — это статистический диапазон, вычисляемый из данных, которые, вероятно, содержат истинное значение параметра.В машинном обучении это может относиться к метрикам, таким как точность, точность или коэффициенты модели.

Шаги для расчета интервалов доверия

Выполните следующие шаги для вычисления доверительных интервалов для типовых метрик:

• Соберите образец показателей производительности модели через перекрестную валидацию или несколько запусков.
• Вычислить среднее и стандартное отклонение выборки.
• Выберите уровень доверия (например, 95%).
• Определить соответствующее критическое значение от t-распределения или z-распределения на основе размера выборки и уровня достоверности.
• Вычислите предел погрешности: критическое значение × (стандартное отклонение / √образец размера).
• Вычислите доверительный интервал как: средний ± предел погрешности.

Пример расчета

Предположим, что точность модели оценивается более чем в 30 прогонов, со средней точностью 85% и стандартным отклонением 3%.Для 95%-го уровня достоверности критическое значение от t-распределения составляет примерно 2,055.

Погрешность составляет: 2,055 × (3/√30) ≈ 2,055 × 0,547 ≈ 1,12 %. Доверительный интервал составляет 85 % ± 1,12 %, в результате чего диапазон составляет примерно от 83,88 % до 86,12 %.