Отбор характеристик и инженерия являются важными шагами в контролируемом обучении. Они помогают улучшить производительность модели, уменьшить переобучение и сократить время обучения. В этой статье обсуждаются практические методы эффективного выбора и разработки функций.

Методы выбора функций

Выбор функций включает в себя выбор наиболее релевантных функций из набора данных.Общие методы включают методы фильтрации, методы обертки и встроенные методы.

Методы фильтрации

Методы фильтрации оценивают особенности на основе статистических показателей, таких как корреляция, хи-квадрат или взаимная информация. Они являются вычислительно эффективными и подходят для высокоразмерных данных.

Методы Wrapper

Методы обёртки выбирают функции с помощью обучающих моделей на различных подмножествах и оценки их производительности. Методы включают рекурсивное устранение признаков и выбор вперед/назад.

Встроенные методы

Встроенные методы включают выбор признаков во время обучения модели. Примеры включают методы регуляризации, такие как Лассо, и меры важности на основе дерева решений.

Особенности инженерных стратегий

Функциональная инженерия превращает необработанные данные в значимые функции, которые улучшают обучение модели. Она включает в себя создание новых функций, кодирование категориальных переменных и масштабирование числовых данных.

Создание новых функций

Генерация новых функций может включать математические комбинации, агрегации или преобразования, специфичные для домена. Они могут выявить скрытые закономерности в данных.

Кодирование категорических переменных

Преобразование категориальных данных в числовой формат имеет решающее значение.Общие методы включают одногорячее кодирование, кодирование меток и целевое кодирование.

Масштабирование числовых данных

Масштабирование гарантирует, что функции находятся в сопоставимых масштабах, что приносит пользу многим алгоритмам. Методы включают масштабирование и стандартизацию по принципу min-max.