Τα βαθιά νευρωνικά δίκτυα μπορούν να αντιμετωπίσουν προκλήσεις κατά τη διάρκεια της κατάρτισης, ειδικά με το πρόβλημα της διαλείπουσας κλίσης. Αυτό το ζήτημα συμβαίνει όταν οι κλίσεις γίνονται πολύ μικρές, εμποδίζοντας την ικανότητα του δικτύου να μαθαίνει αποτελεσματικά.

Κατανόηση του Εξαφανιζόμενου Προβλήματος της Διαβαθμίσεως

Κατά τη διάρκεια της μετατροπής, οι βαθμίδες πολλαπλασιάζονται προς τα πίσω μέσω του δικτύου. Αν οι κλίσεις μειώνονται εκθετικά, τα προηγούμενα στρώματα μαθαίνουν πολύ αργά ή σταματούν εντελώς τη μάθηση. Αυτό περιορίζει την ικανότητα του δικτύου σε μοντελοποιημένες λειτουργίες.

Τεχνικές για την Μίτιγκατε το Τεύχος

Αρκετές μέθοδοι μπορούν να βοηθήσουν στη μείωση των επιπτώσεων των διαχωριζόμενων βαθμίδων:

  • Λειτουργίες ενεργοποίησης: Χρησιμοποιώντας λειτουργίες όπως η RLU (Αναδιατυπωμένη Γραμμική Μονάδα) αντί για σιγμοειδές ή ταν βοηθά στη διατήρηση ισχυρότερων βαθμίδων.
  • Αρχισμός weight: Σωστές μέθοδοι αρχικοποίησης, όπως η αρχικοποίηση Xavier ή He, εμποδίζουν τις κλίσεις να συρρικνωθούν ή να εκραγούν αρχικά.
  • Batch Normalization: Η ομαλοποίηση των εισροών στρώματος σταθεροποιεί τη μάθηση και διατηρεί την υγιή ροή κλίσης.
  • Συνδέσεις σκιπ: Αρχιτεκτονικές όπως το ResNet εισάγουν συντομεύσεις που επιτρέπουν στις βαθμίδες να παρακάμπτουν ορισμένα στρώματα.
  • Κλιματισμός ακτινοβολίας: Περιορισμός του μεγέθους των βαθμίδων κατά την εκπαίδευση τους εμποδίζει να γίνουν πολύ μικρές ή πολύ μεγάλες.

Υπολογισμοί και Μαθηματικές Ενόραση

Η κλίση στο στρώμα l κατά τη διάρκεια της αναδιανομής της πλάτης μπορεί να εκφραστεί ως:

⁇ L/ ⁇ wl = ⁇ L/ ⁇ a[ l × ⁇ a l/ ⁇ w l

όπου L είναι η ζημία, w[l είναι τα βάρη, και al]] είναι οι ενεργοποιήσεις. Ο κανόνας της αλυσίδας πολλαπλασιάζει τα παράγωγα σε στρώματα, τα οποία μπορούν να οδηγήσουν σε εκθετική διάσπαση εάν τα παράγωγα είναι μικρότερα του ενός.

Για λειτουργίες ενεργοποίησης όπως το σιγμοειδές, το παράγωγο είναι:

s'(x) = σ(x) × (1 - σ(x))

Δεδομένου ότι το σ(x) κυμαίνεται μεταξύ 0 και 1, το παράγωγο μπορεί να είναι πολύ μικρό, ειδικά για μεγάλο