Comprendere la matematica dietro la tecnica T per la visualizzazione di dati ad alta dimensione

t-SNE (t-Distributed Stochastic Quartiere Embedding) è una tecnica popolare per la visualizzazione di dati ad alta dimensione in due o tre dimensioni. Aiuta a rivelare modelli e cluster che non sono facilmente osservabili nei dati originali. Capire i principi matematici dietro t-SNE può migliorare la sua applicazione e interpretazione.

Concetti core di t-SNE

t-SNE converte i punti di dati ad alta dimensione in una distribuzione di probabilità che riflette le loro similitudini, e cerca quindi un'integrazione di dimensioni ridotte che conserva queste somiglianze il più possibile. Il processo comporta due passaggi principali: l'elaborazione di somiglianze a due modi e minimizzando una divergenza tra distribuzioni.

Fondazioni matematiche

Nello spazio ad alta dimensione, la somiglianza tra due punti è modellata utilizzando una distribuzione gaussiana. La probabilità che il punto j]] è un vicino di punto i] è data da:

[FLT] [[FLT]] ] = frac{exp(-|x_]i - x_]j|^2 / 2sigma i^2)}{sum {k neq i} exp(-|x

Questo definisce una distribuzione di probabilità sui vicini per ogni punto. La probabilità comune p_ij]] è simmetrizzata come:

_ij] = frac{p_j|i] + p_i|j}{2N}

N]] è il numero totale di punti. Nello spazio a bassa dimensione, le somiglianze sono modellate utilizzando una distribuzione t dello studente con un grado di libertà:

_,] = frac{(1 + |y_]i] - y_j|}^{-1}}{sum {k neq l} (1 + |y_]k

Processo di ottimizzazione

L'obiettivo è quello di trovare punti di bassa dimensione []y_i[][]] che minimizzano la divergenza Kullback-Leibler tra le distribuzioni ad alta e bassa dimensione:

KL(P |Q) = somma {i neq j} p_ij] log frac{p_ij[}{q_]ij]}

Questo si ottiene attraverso la discesa gradiente, regolando le posizioni dei punti nello spazio di bassa dimensione per ridurre la divergenza. I gradienti sono calcolati in base alle differenze tra ]p_]ij] e ]]]q_ij