Η σταδιακή εξαφάνιση και έκρηξη είναι κοινά ζητήματα στην εκπαίδευση των βαθέων νευρωνικών δικτύων. Συμβαίνουν όταν οι κλίσεις γίνονται πολύ μικρές ή πολύ μεγάλες κατά την διάρκεια της οπισθοδιαδικασίας, επηρεάζοντας τη διαδικασία μάθησης. Η κατανόηση αυτών των φαινομένων περιλαμβάνει την ανάλυση των υπολογισμών πίσω από τις ενημερώσεις βάρους και την εξερεύνηση πιθανών λύσεων.

Εξαφάνιση βαθμίδων

Η σταδιακή εξαφάνιση συμβαίνει όταν οι κλίσεις μειώνονται εκθετικά καθώς πολλαπλασιάζονται προς τα πίσω μέσω στρωμάτων. Αυτό έχει ως αποτέλεσμα πολύ μικρές αναπροσαρμογές βάρους, προκαλώντας το δίκτυο να μάθει πολύ αργά ή να σταματήσει να μαθαίνει εντελώς.

Μαθηματικά, εάν το παράγωγο της συνάρτησης ενεργοποίησης είναι μικρότερο από 1, η κλίση στο στρώμα l μπορεί να εκφραστεί ως:

⁇ L/ ⁇ wl = ( ⁇ L/ ⁇ al] * ( ⁇ a] l]/ ⁇ z]] * ( ⁇ z]) * ( ⁇ z] l]/ ⁇ w l]

όπου ⁇ al/ ⁇ zl] είναι το παράγωγο της λειτουργίας ενεργοποίησης. Αν το παράγωγο αυτό είναι μικρότερο από 1, ο επαναλαμβανόμενος πολλαπλασιασμός προκαλεί εκθετική μείωση της διαβάθμισης.

Εκρηκτική διαβάθμιση

Η εκρηκτική έκρηξη των βαθμίδων εμφανίζεται όταν οι κλίσεις αναπτύσσονται εκθετικά κατά την αντίστροφη επεξεργασία. Αυτό οδηγεί σε πολύ μεγάλες αναπροσαρμογές βάρους, που μπορεί να προκαλέσει αστάθεια και απόκλιση στην κατάρτιση.

Μαθηματικά, αν τα παράγωγα που εμπλέκονται είναι μεγαλύτερα από 1, οι κλίσεις μπορούν να αυξηθούν εκθετικά:

⁇ L/ ⁇ wl ⁇ ( ⁇ L/ ⁇ a l+1]] * ( ⁇ a] l+1]/ ⁇ z] l+1) * ( ⁇ z] l+1/ ⁇ a] l] * ...

Λύσεις για Εξαφανίσεις και Εκρηκτικές Διαβαθμίσεις

Αρκετές τεχνικές μπορούν να μετριάσει αυτά τα ζητήματα:

  • Αρχισμός της ύγρανσης: Η χρήση μεθόδων όπως η αρχικοποίηση Xavier ή He βοηθά στη διατήρηση σταθερών βαθμίδων.
  • Λειτουργίες ενεργοποίησης: Η RELU και οι παραλλαγές της μειώνουν τον κίνδυνο εξαφάνισης βαθμίδων.
  • Κλιματισμός ακτινοβολίας: Περιορισμός της μέγιστης τιμής των κλισμάτων αποτρέπει την έκρηξη.
  • Κανονική οργάνωση: Η ομαλοποίηση παρτίδας σταθεροποιεί τη διαδικασία μάθησης.