t-SNE (t-Distributed Stochastic Сусід Embedding) є популярною технікою для візуалізації високовимірних даних в двох або трьох розмірах. Це допомагає виявити візерунки та кластери, які не легко спостережуються в оригінальних даних. Розуміння математичних принципів за t-SNE може поліпшити його застосування та інтерпретацію.

Основні поняття Т-СН

t-SNE перетворює високовимірні дані точки в розподіл ймовірності, що відображає їх схожість. Потім він шукає низьковимірну побудову, яка зберігає ці схожості максимально наближені. Процес передбачає два основних кроки: обчислення пористих аналогічностей і мінімізації дивергенції між розподілами.

Математичні основи

У просторому просторі схожість між двома точками моделюється за допомогою Gaussian розподілу. Імовірність, що точка j - сусід точки i]

j j]] // ^2 / 2sigma i^2)}{sum {k neq i} exp(-phpxi - x]]]k]k] ^2 / 2sigma i^2

Це визначає розподіл ймовірностей над сусідами для кожної точки. Схимметерезована ймовірність ij]:

+ p // FFLT:5]}{2N}

N] – загальна кількість точок. У маловимірному просторі, схожості моделюються за допомогою студентського т-розподілу з однією ступенем свободи:

ijj] // ^2)rc-1}}{sum {k neq l} (1 + )k - y]j]] ^2)rc-1}}{sum {k neq l} (1 + ^y[k[ - y[[l]] }}^2)rc-1}}

Процес оптимізації

Мета роботи — знайти низьковимірні точки i]], які мінімують дивергенцію Кулбек-Leibler між високо- та низьковимірними розподілами:

KL(P ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

Це досягається через градієнтний спуск, регулюючи позиції точок у низьковимірному просторі для зменшення дивергенції. Грандієнти комп’ютерні, засновані на відмінностях p]ij] і qij].

Висновок

Розуміння математичної основи Т-СН передбачає розтирання як суть моделюються і як проводиться оптимізація з вирівнюванням цих схожостей по розмірах. Ця основа допомагає в параметрах тюнінга і інтерпретації візуалізацій ефективно.