Οι τεχνικές τακτικοποίησης είναι απαραίτητες για τη βαθιά μάθηση για την πρόληψη της υπερταχύτητας και την ενίσχυση της ικανότητας του μοντέλου να γενικεύει σε αόρατα δεδομένα.

Αποχώρηση

Το Dropout είναι μια δημοφιλής τεχνική κανονικοποίησης που απενεργοποιεί τυχαία ένα υποσύνολο νευρώνων κατά τη διάρκεια της εκπαίδευσης. Αυτό εμποδίζει τους νευρώνες από το να συν-προσαρμόσουν και ενθαρρύνει το δίκτυο να αναπτύξουν πιο στιβαρά χαρακτηριστικά. Τυπικά, τα ποσοστά εγκατάλειψης κυμαίνονται από 0.2 έως 0.5, ανάλογα με το μοντέλο και το σύνολο δεδομένων.

Αποβολή βάρους

Η διάσπαση βάρους, γνωστή και ως κανονικοποίηση L2, προσθέτει έναν όρο ποινής στη λειτουργία απώλειας με βάση το μέγεθος των βαρών. Αυτό αποθαρρύνει τα μεγάλα βάρη, οδηγώντας σε απλούστερα μοντέλα που είναι λιγότερο επιρρεπή στην υπερπροσαρμοσμένη. Χρησιμοποιείται συνήθως σε συνδυασμό με αλγόριθμους βελτιστοποίησης όπως ο Adam ή η SGD.

Αύξηση δεδομένων

Η αύξηση των δεδομένων περιλαμβάνει τη δημιουργία πρόσθετων δειγμάτων κατάρτισης μέσω μετασχηματισμών όπως περιστροφή, κλιμάκωση, ή αναστροφή. Αυτή η τεχνική αυξάνει την ποικιλομορφία των δεδομένων κατάρτισης, βοηθώντας το μοντέλο να μάθουν πιο γενικά χαρακτηριστικά και μειώνοντας την υπερπροσαρμοσμένη.

Πρόωρη Στάση

Όταν η επικύρωση σταματά να βελτιώνεται, η εκπαίδευση σταματά. Αυτό εμποδίζει το μοντέλο να υπερπροσαρμόσει τα δεδομένα της εκπαίδευσης και βοηθά στη διατήρηση των δυνατοτήτων γενίκευσης.