Η επεξεργασία δεδομένων είναι ένα κρίσιμο βήμα στην προετοιμασία των ακατέργαστων δεδομένων για μη επιτηρούμενες εργασίες μάθησης. Τα κατάλληλα επεξεργασμένα δεδομένα μπορούν να βελτιώσουν σημαντικά την απόδοση αλγορίθμων όπως η συσπειρωματοποίηση και η μείωση της διαστασιμότητας.

Κατανόηση των Ακατέργαστων Δεδομένων

Μπορεί να προέρχεται από διάφορες πηγές όπως κορμούς, αισθητήρες, ή βάσεις δεδομένων, το καθένα με διαφορετικές μορφές και ποιότητα. Αναγνωρίζοντας αυτά τα ζητήματα είναι το πρώτο βήμα προς την αποτελεσματική προεπεξεργασία.

Τεχνικές καθαρισμού δεδομένων

Τα δεδομένα καθαρισμού περιλαμβάνουν χειρισμό των τιμών που λείπουν, αφαίρεση διπλών και διόρθωση σφαλμάτων.

  • Imputation: Συμπλήρωση των τιμών που λείπουν με μέση, διάμεση ή κατάσταση.
  • Φιλτράρισμα: Αφαίρεση των υπερβολικών ή του θορύβου.
  • Κανονική ταξινόμηση: Σκαρφαλώνοντας τα δεδομένα σε ένα τυποποιημένο εύρος.
  • Κωδικοποίηση: Μετατροπή κατηγορηματικών μεταβλητών σε αριθμητικές μορφές.

Μηχανική χαρακτηριστικών

Η μετατροπή των ακατέργαστων δεδομένων σε χαρακτηριστικά που αντιπροσωπεύουν καλύτερα τα υποκείμενα πρότυπα είναι απαραίτητη. Οι τεχνικές περιλαμβάνουν τη δημιουργία νέων χαρακτηριστικών, την επιλογή σχετικών και τη μείωση της διαστασιμότητας.

Μείωση της διαστάσεώς τους

Τεχνικές όπως η κύρια ανάλυση συστατικών (PCA) και η t-Distributed Stochastic Friend Embeding (t-SNE) μειώνουν τον αριθμό των χαρακτηριστικών ενώ διατηρούν σημαντικές δομές. Αυτό απλοποιεί την ανάλυση και την οπτικοποίηση.