Дерево решений против вспомогательных векторных машин: что более интерпретируемо?

Понимание интерпретируемости моделей в машинном обучении

При построении прогностической модели специалисты по данным сталкиваются с фундаментальным компромиссом между точностью и интерпретацией. Модель, которая достигает высокой прогностической производительности, но не может объяснить ее решения, часто отвергается в регулируемых отраслях, в то время как прозрачная модель может принести в жертву некоторую производительность, но заслужить доверие заинтересованных сторон. Два классических алгоритма, которые иллюстрируют это напряжение, - это деревья решений и вспомогательные векторные машины (SVM). Оба широко используются в течение десятилетий, но они находятся на противоположных концах спектра интерпретируемости. Эта статья обеспечивает глубокое сравнение этих двух методов, фокусируясь на интерпретируемости, и предлагает практическое руководство по выбору каждого.

Интерпретируемость в машинном обучении относится к степени, в которой человек может понять причину предсказания модели. Это не двоичное свойство, а континуум. Модели, которые по своей сути интерпретируемы — часто называемые моделями «стеклянного ящика» — позволяют пользователям отслеживать рассуждения шаг за шагом. Модели черного ящика, напротив, производят прогнозы, которые трудно объяснить без вспомогательных инструментов. Деревья решений широко рассматриваются как высоко интерпретируемые, в то время как SVM обычно считаются черными ящиками, особенно при использовании с нелинейными ядрами. Однако это обобщение заслуживает тщательного изучения.

Деревья решений: чемпионы по стеклянной коробке

Дерево решений — это контролируемый алгоритм обучения, который разделяет пространство признаков на области с помощью ряда двоичных решений. Каждый внутренний узел дерева проверяет значение одной особенности, каждая ветвь представляет результат теста, а каждый узел листьев содержит предсказанную метка или распределение вероятностей. Полученная структура — это блок-схема, за которой можно следовать от корня до листа, что делает логику модели полностью прозрачной.

Например, рассмотрим дерево, которое предсказывает, есть ли у пациента определенное заболевание. Первый узел может проверить, превышает ли возраст пациента 60 лет, следующий может проверить, превышает ли артериальное давление порог, и так далее. Любой может проследить путь и точно увидеть, какие условия привели к диагнозу. Эта прозрачность является основной причиной, почему деревья решений являются алгоритмом перехода в областях, где объяснение так же важно, как прогнозирование, таких как медицина, банковское дело и соблюдение законов.

Как строятся деревья решений

Деревья решений строятся с использованием рекурсивного разделения. На каждом этапе алгоритм выбирает функцию и точку разделения, которая наилучшим образом разделяет данные в соответствии с критерием чистоты — обычно примеси Джини или энтропии для классификации и средней квадратной ошибки для регрессии. Расщепление продолжается до тех пор, пока не будет выполнено условие остановки, такое как максимальная глубина дерева, минимальное количество образцов на лист или когда дальнейшее улучшение невозможно.

Одним из ключевых преимуществ этого процесса является то, что он естественным образом обрабатывает как числовые, так и категориальные признаки, инвариантен к монотонным преобразованиям признаков и может захватывать нелинейные отношения, не требуя от пользователя разработки терминов взаимодействия. Структура дерева также делает недостающую обработку значений простой, часто через суррогатные расколы.

Преимущества деревьев решений для интерпретации

• Визуальное представление: Дерево можно нарисовать и проверить напрямую. Даже неспециалисты могут понять дерево с умеренным числом узлов.
• Важность характеристик : Подсчитав, сколько раз функция используется для расщепления и сколько примесей она уменьшает, можно получить глобальные показатели важности характеристик.
• Локальные объяснения: Для любого индивидуального предсказания путь от корня до листа обеспечивает точное, основанное на правилах объяснение.
• Нет необходимости в масштабировании данных : Деревья решений не подвержены различиям в шкале признаков, что упрощает конвейер предварительной обработки.
• Смешанные типы данных: Они могут обрабатывать непрерывные, порядковые и номинальные переменные нативно.

Ограничения деревьев решений

Несмотря на свою прозрачность, деревья решений имеют хорошо известные слабости. Они склонны к переоборудованию, особенно при выращивании на полную глубину. Дерево, которое запоминает данные обучения, плохо обобщает новые наблюдения. Обрезка - либо предварительная (ограничивающая глубина), либо после обрезки (удаление ветвей после строительства) - имеет важное значение, но снижает точность.

Дерево решений также нестабильно: небольшое изменение данных обучения может привести к совершенно другой структуре дерева. Эта дисперсия может подорвать доверие, потому что две модели, обученные на аналогичных наборах данных, могут давать разные объяснения. Кроме того, деревья борются за моделирование аддитивных структур, где множество функций вносят свой вклад линейным образом; они требуют много разбиений для приближения простой линейной границы решения.

Ансамбли и стоимость интерпретируемости

Для преодоления слабостей отдельных деревьев обычно используются ансамблевые методы, такие как Случайные леса и Градиентные поднятые деревья. Они объединяют множество деревьев для достижения более высокой точности и прочности. Однако интерпретируемость одного дерева теряется: ансамбль из сотен или тысяч деревьев становится чёрным ящиком, хотя каждое составляющее дерево прозрачно. По этой причине строгие требования интерпретируемости часто требуют одного, хорошо изрезанного дерева, а не леса.

Тем не менее, ансамбльные модели могут по-прежнему обеспечивать некоторый уровень объяснимости через важность признаков (например, важность перестановки, значения SHAP, частичные графики зависимости). Эти пост-сходовые объяснения не так прямолинейны, как следование по одному пути, но они могут приблизить глобальное поведение модели. Если интерпретируемость является абсолютным требованием, а точность является вторичной, то лучшим выбором является одно дерево решений.

Векторные машины поддержки: мощность за счет прозрачности

Векторные машины поддержки — это класс управляемых моделей обучения, которые находят оптимальное разделение гиперплоскости между классами. Основная идея состоит в максимизации запаса — расстояния между гиперплоскостью и ближайшими точками данных от каждого класса, известными как векторы поддержки. Этот принцип максимального запаса дает SVM сильные обобщающие свойства, особенно в многомерных пространствах.

Для линейно разделимых данных функция принятия решения представляет собой линейную комбинацию признаков: . Знак определяет предсказанный класс. Весовой вектор определяется исключительно опорными векторами, делая модель разреженной: на границу решения влияет только подмножество точек обучения. Эту разреженность иногда называют преимуществом интерпретируемости, поскольку опорные векторы «обобщают» данные, но на практике интерпретировать значение высокоразмерного весового вектора сложно.

Кернел-трюк и нелинейные границы

Истинная сила SVMs исходит из трюка ядра. Путем отображения входных данных в пространство с более высокой размерностью с использованием функции ядра, SVMs может изучать сложные нелинейные границы решения, все еще решая выпуклую проблему оптимизации. Общие ядра включают полиномиальное ядро, ядро радиальной основы (RBF) и сигмоидное ядро.

Когда используется нелинейное ядро, функция принятия решения становится суммой оценок ядра между тестовой точкой и опорными векторами: . Весы αi могут быть положительными или отрицательными, а ядро K может не иметь интуитивной интерпретации в исходном пространстве признаков. Здесь теряется интерпретируемость. Человек не может легко понять, почему конкретная точка классифицируется определенным образом, потому что граница принятия решений живет в преобразованном пространстве, которое не имеет прямого значения.

Преимущества вспомогательных векторных машин

• Высокая точность в высокоразмерных пространствах: SVM хорошо работают, когда количество признаков превышает количество образцов, например, в классификации текста или анализе экспрессии генов.
• Слабый к выбросам : Вариант мягкой маржи наказывает за неверные классификации с компромиссным параметром C, и только опорные векторы имеют значение. Выбросы, которые находятся далеко от предела, не имеют влияния, если они не становятся опорными векторами.
• Гибкость ядра: При наличии соответствующего ядра СВМ могут моделировать очень сложные границы принятия решений.
• Отдельное решение: Модель зависит только от опорных векторов, что делает прогнозирование относительно эффективным, если число опорных векторов мало.

Недостатки для интерпретации

Основным недостатком является непрозрачность. Даже при линейном ядре интерпретация вектора w требует экспертизы домена; величина и знак каждого коэффициента не соответствуют простым порогам принятия решений, подобным пороговым значениям в дереве. Для нелинейных ядер модель по существу является чёрным ящиком. Кроме того, SVM не обеспечивают вероятностные выходы нативно (хотя масштабирование Платта может быть применено).

SVM также требуют тщательной предварительной обработки: все функции должны быть масштабированы до аналогичных диапазонов, как правило, с помощью стандартизации или масштабирования по min-max, потому что запас чувствителен к масштабам функций. Это добавляет дополнительный шаг, который усложняет интерпретацию. Кроме того, настройка гиперпараметров - особенно выбор ядра и параметр регуляризации C - требует перекрестной проверки и знания домена, и поведение полученной модели может резко измениться с небольшими корректировками параметров.

Можно ли сделать SVM более интерпретируемыми?

Для линейных СВМ существует несколько методов повышения интерпретируемости СВМ. Для линейных СВМ коэффициенты веса могут быть проверены как значения признаков, особенно если характеристики находятся в одной шкале. Аналитики могут изучить самые большие положительные и отрицательные веса, чтобы понять, что движет классификацией. Однако этот подход становится ненадежным, когда характеристики коррелируют.

Для нелинейных СВМ пост-сходовые методы объяснения, такие как LIME (локальные интерпретируемые модельно-агностические объяснения) или SHAP (сланцевые аддитивные объяснения), могут приблизиться к границе решения локально вокруг прогноза. Эти методы создают простую суррогатную модель (например, линейную модель или дерево решений), которая имитирует СВМ в локальном регионе.

Другой подход заключается в том, чтобы обучить Дерево решений только опорным векторам или использовать SVM для предварительной фильтрации функций, а затем построить прозрачную модель на уменьшенном наборе функций. Эти гибриды обмениваются некоторой точностью для улучшения интерпретируемости.

Сравнение голова к голове: деревья решений против СВМ

Когда выбрать дерево решений

Деревья решений являются предпочтительным выбором, когда интерпретируемость не подлежит обсуждению.

• Здравоохранение: Врачи и регуляторы должны понимать, почему модель предсказывает болезнь. Дерево с небольшим количеством путей может быть рассмотрено медицинской комиссией.
• Финансы и кредитный рейтинг: Кредиторы должны объяснять решения о кредите клиентам и аудиторам.Многие нормативные акты (например, ECOA в США) требуют прозрачного обоснования.
• Правовое и комплаенс: Автоматизированные решения, имеющие правовые последствия, должны быть проверяемыми. Дерево решений может быть напечатано и рассмотрено в суде.
• Исследовательский анализ данных: Деревья дают быстрое визуальное представление о том, какие функции имеют наибольшее значение и как они взаимодействуют.
• Низкий и умеренный размер данных: Когда набор данных не огромен и цель состоит в развертывании простой, понятной модели.

Когда выбрать поддерживающий вектор

SVMs сияют, когда точность имеет первостепенное значение, и проблема сложна, но потребность в объяснении менее строга. Типичные приложения включают:

• Текстная классификация: СВМ с линейными ядрами высокоэффективны для обнаружения спама, анализа настроений и маркировки тем, где пространство признаков велико (мешок слов) и интерпретируемость отдельных признаков менее критична.
• Распознавание изображений: Хотя глубокое обучение в значительной степени заменило SVM в задачах изображения, SVM с ядрами RBF по-прежнему хорошо работают для небольших наборов данных, где уже была выполнена экстракция функций (например, с использованием предварительно обученных функций CNN).
• Биоинформатика: При проблемах с экспрессией генов или классификацией белков количество признаков намного превышает количество образцов, и СВМ избегают переобучения лучше, чем многие альтернативные модели.
• Геонаука и дистанционное зондирование: СВМ популярны для классификации поземельного покрова со спутниковых снимков, где спектральные полосы измеримы и граница принятия решений сложна.
• Обнаружение мошенничества: Когда сигнал тонкий, а набор данных высокоразмерный, SVM могут достичь высокой точности, а стоимость ложного срабатывания может быть достаточно низкой, чтобы выдержать черный ящик (или приемлемы пост-срочные объяснения).

Торговля на основе интерпретируемости и точности: можете ли вы иметь оба?

Согласно общепринятому мнению, вы должны выбирать между высоко интерпретируемой, но потенциально неточной моделью (например, неглубокое дерево решений) и точной, но непрозрачной моделью (например, SVM с ядром RBF).

Выбор функций с помощью SVM

Можно использовать рекурсивную ликвидацию признаков SVM (SVM-RFE) для выбора небольшого подмножества признаков, а затем обучить дерево решений этим признакам. Этот гибрид сохраняет интерпретируемость, используя способность SVM идентифицировать дискриминационные признаки.