Η αντιπαραγωγή είναι ένας θεμελιώδης αλγόριθμος που χρησιμοποιείται για την εκπαίδευση των βαθέων νευρωνικών δικτύων. Περιλαμβάνει τον υπολογισμό των βαθμίδων της λειτουργίας απώλειας σε σχέση με κάθε βάρος στο δίκτυο, επιτρέποντας ενημερώσεις βάρους που ελαχιστοποιούν τα σφάλματα. Αυτό το άρθρο παρέχει μια σταδιακή επισκόπηση της διαδικασίας της οπισθοδιαβολής, εστιάζοντας στους υπολογισμούς που εμπλέκονται στην εκπαίδευση ενός βαθιού δικτύου.

Πρόσω ολοταχώς

Η διαδικασία ξεκινά με μια πρόσθια διέλευση, όπου τα δεδομένα εισόδου πολλαπλασιάζονται μέσω του δικτύου. Κάθε νευρώνας υπολογίζει ένα σταθμισμένο άθροισμα των εισόδων του, προσθέτει μια προκατάληψη, και εφαρμόζει μια λειτουργία ενεργοποίησης. Η έξοδος κάθε στρώμαυ χρησιμεύει ως η είσοδος για το επόμενο στρώμα μέχρι να επιτευχθεί η τελική πρόβλεψη.

Υπολογίζοντας την Απώλεια

Μόλις το δίκτυο παράγει μια έξοδο, η λειτουργία απώλειας μετράει τη διαφορά μεταξύ της προβλεπόμενης εξόδου και της πραγματικής ετικέτας. Οι κοινές λειτουργίες απώλειας περιλαμβάνουν το μέσο τετραγωνισμένο σφάλμα και την διασταυρούμενη εντροπία. Ο στόχος είναι να ελαχιστοποιηθεί αυτή η απώλεια μέσω των προσαρμογών βάρους.

Πλευρική διαδρομή: Υπολογισμός διαβάθμισης

Ο πυρήνας της backpropagation περιλαμβάνει τον υπολογισμό των βαθμίδων της απώλειας σε σχέση με κάθε βάρος. Ξεκινώντας από το στρώμα εξόδου, ο όρος σφάλματος υπολογίζεται και πολλαπλασιάζεται προς τα πίσω μέσω του δικτύου. Αυτό περιλαμβάνει την εφαρμογή του κανόνα αλυσίδας για τον υπολογισμό παραγώγων σε κάθε στρώμα.

Για κάθε νευρώνα, ο όρος σφάλματος καθορίζεται πολλαπλασιάζοντας το παράγωγο της συνάρτησης ενεργοποίησης με το σταθμισμένο άθροισμα σφαλμάτων από το επόμενο στρώμα. Αυτοί οι όροι σφάλματος χρησιμοποιούνται στη συνέχεια για τον υπολογισμό των βαθμίδων για κάθε βάρος και μεροληψία.

Ενημέρωση των βαρών

Χρησιμοποιώντας τις υπολογισμένες κλίσεις, τα βάρη ενημερώνονται τυπικά μέσω της κλίσης κάθοδο. Ο κανόνας αναπροσαρμογής αφαιρεί ένα κλάσμα της κλίσης από το τρέχον βάρος, που ελέγχεται από το ποσοστό μάθησης. Αυτή η διαδικασία μειώνει την απώλεια σε διαδοχικές επαναλήψεις.

Περίληψη των βασικών βημάτων

  • Εκτελέστε μια πρόσθια πάσα για να υπολογίσετε τις προβλέψεις.
  • Υπολογίστε την απώλεια μεταξύ προβλέψεων και αληθινών ετικετών.
  • Υπολογισμός όρων σφάλματος που ξεκινούν από το στρώμα εξόδου προς τα πίσω.
  • Υπολογίστε βαθμίδες για κάθε βάρος και μεροληψία.
  • Ενημέρωση βαρών με τη χρήση κλίσης κατάβασης.