T-sne 뒤에 수학 이해 Visualizing 높은 치수 데이터

t-SNE (t-Distributed Stochastic Neighbor Embedding)은 2 개 또는 3 개의 차원에서 높은 치수 데이터를 시각화하기위한 인기있는 기술입니다. 원본 데이터에서 쉽게 관찰 할 수없는 패턴과 클러스터를 밝혀줍니다. t-SNE 뒤에 수학 원칙을 이해하면 응용 프로그램과 해석을 향상시킬 수 있습니다.

t-SNE의 핵심 개념

t-SNE는 높은 차원 데이터 포인트를 그들의 유사성을 반영하는 확률 분포로 변환합니다. 그런 다음 가능한 한 바싹 보존하는 저차원 embedding을 추구합니다. 이 과정은 쌍방향 유사성을 계산하고 배포 사이의 분기를 최소화합니다.

수학 재단

높은 차원 공간에서 두 점 사이의 유사성은 가우스 사 배급을 사용하여 모델링됩니다. 점 j의 확률은 포인트의 이웃 i]에 의해 주어집니다:

p_j|i = frac{exp(-|x_]i] - x_j]|^2 / 2sigma i^2)}{sum {k neq i} exp(-|x_i_{]_{]]_{]]_{]]_]]}}}}

이 각 지점의 이웃에 대한 확률 분배를 정의합니다. 공동 확률 p_ij은 다음과 같이 심화됩니다:

_ij = frac{p_]j|i] + p_i|j}{2N}

여기서 N]는 총 포인트의 숫자입니다. 저차원 공간에서는 학생의 t-distribution을 사용하여 자유의 정도를 갖게 됩니다.

_]ij = frac{(1 +|y_]i] - y_j|^2){-1}}{sum {k neq l} (1 + |y_k - y_{]] - y_]]]:9]}

Optimization 과정

목표는 낮은 차원 포인트 y_i]]를 찾을 수 있으며, 높은 치수의 분포와 낮은 치수의 분포 사이의 커다란 차이가 최소화합니다.

KL(P ||Q)= sum {i neq j} p_]ij] log frac{p_ij}{q_]ij}]}

이것은 그라디언트를 통해 달성된다, 낮은 차원 공간의 지점의 위치를 조정. 그리스는 p_]ij] ]]와 q_]]ij]]]].