Κατανόηση των Μαθηματικών Πίσω από το T-sne για την Οραματοποίηση των δεδομένων υψηλής διάστασης

Το t-SNE (t-Distributed Stochastic Frior Embedding) είναι μια δημοφιλής τεχνική για την απεικόνιση δεδομένων υψηλής διάστασης σε δύο ή τρεις διαστάσεις. Βοηθά στην αποκάλυψη προτύπων και συστάδων που δεν είναι εύκολα παρατηρήσιμα στα αρχικά δεδομένα. Η κατανόηση των μαθηματικών αρχών πίσω από το t-SNE μπορεί να βελτιώσει την εφαρμογή και την ερμηνεία του.

Βασικές έννοιες του t-SNE

Το t-SNE μετατρέπει τα υψηλής διάστασης σημεία δεδομένων σε μια κατανομή πιθανοτήτων που αντανακλά τις ομοιότητες τους. Στη συνέχεια επιδιώκει μια χαμηλής διάστασης ενσωμάτωση που διατηρεί αυτές τις ομοιότητες όσο το δυνατόν πιο κοντά. Η διαδικασία περιλαμβάνει δύο κύρια βήματα: υπολογιστικές ομοιότητες σε ζεύγη και ελαχιστοποιώντας μια απόκλιση μεταξύ των κατανομών.

Μαθηματικά Ιδρύματα

Στον υπερδιάστατο χώρο, η ομοιότητα μεταξύ δύο σημείων μοντελοποιείται χρησιμοποιώντας μια Gaussian κατανομή. Η πιθανότητα ότι το σημείο j είναι γειτονικό σημείο i δίνεται από:

p_j

Αυτό ορίζει μια κατανομή πιθανοτήτων πάνω από τους γείτονες για κάθε σημείο. Η κοινή πιθανότητα p[_ij είναι συμβολική ως:

_ij = frac{p_j

όπου N είναι ο συνολικός αριθμός σημείων. Στον χώρο των χαμηλών διαστάσεων, οι ομοιότητες διαμορφώνονται με τη χρήση της διανομής ενός μαθητή με έναν βαθμό ελευθερίας:

q _ij = frac{(1 +

Διαδικασία βελτιστοποίησης

Στόχος είναι να βρεθούν χαμηλά διαστασιολογημένα σημεία y_i που ελαχιστοποιούν την απόκλιση Kullback-Leibler μεταξύ των υψηλής και χαμηλής διάστασης διανομών:

KL(P

Αυτό επιτυγχάνεται μέσω της κλίσης κατάβασης, προσαρμόζοντας τις θέσεις των σημείων στον χαμηλό-διάστατο χώρο για τη μείωση της απόκλισης. Οι κλίσεις υπολογίζονται με βάση τις διαφορές μεταξύ p_ij] και q_ij].

Συμπέρασμα

Η κατανόηση της μαθηματικής βάσης του t-SNE περιλαμβάνει την κατανόηση του τρόπου με τον οποίο οι ομοιότητες μοντελοποιούνται και πώς η βελτιστοποίηση ευθυγραμμίζει αυτές τις ομοιότητες σε διαστάσεις.