Понимание математики, стоящей за T-sne, для визуализации данных в больших измерениях

t-SNE (t-Distributed Stochastic Neighbor Embedding) - популярная техника визуализации высокоразмерных данных в двух или трех измерениях. Она помогает выявить закономерности и кластеры, которые нелегко наблюдать в исходных данных. Понимание математических принципов, лежащих в основе t-SNE, может улучшить его применение и интерпретацию.

Основные концепции t-SNE

t-SNE преобразует точки данных высокой размерности в распределение вероятностей, отражающее их сходство. Затем он ищет встраивание низкой размерности, которое сохраняет эти сходства как можно ближе. Процесс включает в себя два основных шага: вычисление попарных сходств и минимизация расхождения между распределениями.

Математические основы

В многомерном пространстве сходство между двумя точками моделируется с помощью гауссового распределения. Вероятность того, что точка j является соседом точки i, даётся:

p_{j |i} = frac{exp(- |x_i — x_j |^2/2 2sigma i^2)}[sum {k neq i} exp(- |x_i — x_k |2/2sigma i^2)]

Это определяет распределение вероятности по соседям для каждой точки.Совместная вероятность p_ij симметризируется как:

p_ij = frac{p_{j |i} + p_{i |j}[2N]]

где N — общее количество точек.В маломерном пространстве сходство моделируется с помощью t-распределения Студента с одной степенью свободы:

q_ij = frac{(1 + |y_i — y_j |^2^{-1}}{sum {k neq l} (1 + |y_k — y_l |^2^{-1}}

Процесс оптимизации

Цель состоит в том, чтобы найти точки с низкой размерностью , _, , которые минимизируют расхождение Куллбэка-Лейблера между высоко- и низкомерными распределениями: