t-SNE (t-distribuert stokastisk naboinnbygging) er en populær teknikk for å visualisere høydimensjonale data i to eller tre dimensjoner. Det hjelper til å avsløre mønstre og klynger som ikke lett kan observeres i de opprinnelige dataene. Forstå de matematiske prinsippene bak t-SNE kan forbedre sin anvendelse og tolkning.

Kjernebegreper av t-SNE

t-SNE konverterer høydimensjonale datapunkter til en sannsynlighetsfordeling som gjenspeiler likhetene deres. Den søker deretter en lavdimensjonell innbygging som bevarer disse likhetene så nøye som mulig. Prosessen involverer to hovedtrinn: å beregne parvise likheter og minimere en forskjell mellom distribusjoner.

Matematiske stiftelser

I det høydimensjonale rommet er likheten mellom to punkt modellert ved hjelp av en gaussisk fordeling. Sannsynligheten som punktet ]j] er en nabo til punkt ]i]] er gitt av:

j ⁇ i] = frac{exp(- ⁇ x]i]] - x]j]]]]] - x]k^

Dette definerer en sannsynlighetsfordeling over naboer for hvert punkt. Den felles sannsynligheten p]ij er symmetrisert som:

p]ij] = frac{p]j ⁇ i] + pi ⁇ j]}{2N}

hvor N er det totale antall poeng. I det lavdimensjonale rommet er likheter modellert ved hjelp av en students t-fordeling med én grad av frihet:

q]i] - y]j]^^{sum {k neq l} (1 ]]k] - y]]l]^^{FLT:1}

Optimasjonsprosessen

Målet er å finne lave dimensjoner y]i] som minimerer Kullback-Leibler-divergensen mellom de høy- og lavdimensjonale distribusjonene:

KL(P ⁇ Q) = sum {i neq j} pij log frac{pij]}{q]ij}

Dette oppnås gjennom gradientnedstigning, justere posisjoner av punkt i det lavdimensjonale rommet for å redusere forskjeller. Gradientene beregnes basert på forskjellene mellom pij] og q]ij]]].

Konklusjon

Forstå det matematiske grunnlaget for t-SNE innebærer å forstå hvordan likheter modelleres og hvordan optimalisering justerer disse likhetene på t-SNEs dimensjoner. Dette grunnlaget bidrar til å tuningparametre og tolke visualiseringer effektivt.