Η κατάβαση βαθμίδων είναι ένας αλγόριθμος βελτιστοποίησης που χρησιμοποιείται για την ελαχιστοποίηση μιας συνάρτησης με επαναλαμβανόμενη κίνηση προς το χαμηλότερο σημείο. Χρησιμοποιείται ευρέως στην εκμάθηση μηχανών για τη βελτιστοποίηση μοντέλων με την προσαρμογή παραμέτρων για τη μείωση του σφάλματος. Αυτό το άρθρο εξηγεί τους βαθμιαίως υπολογισμούς που εμπλέκονται στην εφαρμογή κλίσης κατάβασης για εργασίες μάθησης μηχανών.

Κατανόηση του Αλγόριθμου της Βαθμονόμησης

Η βασική ιδέα της κλίσης κάθοδο είναι να ενημερώσει τις παραμέτρους του μοντέλου προς την κατεύθυνση της αρνητικής κλίσης της συνάρτησης απώλειας. Αυτή η διαδικασία συνεχίζεται μέχρι οι παράμετροι να συγκλίνουν σε ένα ελάχιστο σημείο, ιδανικά το ελάχιστο παγκόσμιο.

Διαδικασία υπολογισμού βήμα προς βήμα

Ας υποθέσουμε ότι έχουμε ένα απλό γραμμικό μοντέλο παλινδρόμησης με μια λειτουργία απώλειας, όπως το μέσο τετραγωνικό σφάλμα (MSE). Τα βήματα για την εφαρμογή κλίσης κατάβασης είναι τα ακόλουθα:

  • Αρχίστε τις παραμέτρους (π.χ., βάρη και μεροληψία) με μικρές τυχαίες τιμές.
  • Υπολογίστε την προβλεπόμενη έξοδο χρησιμοποιώντας τρέχουσες παραμέτρους.
  • Υπολογίστε την τιμή λειτουργίας απώλειας με βάση τις προβλέψεις και τα πραγματικά δεδομένα.
  • Υπολογίστε την κλίση της λειτουργίας απώλειας σε σχέση με κάθε παράμετρο.
  • Ενημέρωση κάθε παραμέτρου αφαιρώντας το προϊόν του ρυθμού μάθησης και την αντίστοιχη κλίση.

Η διαδικασία αυτή επαναλαμβάνεται για έναν καθορισμένο αριθμό επαναλήψεις ή μέχρι η μεταβολή της απώλειας να γίνει αμελητέα.

Παράδειγμα υπολογισμού

Εξετάστε ένα ενιαίο σημείο δεδομένων με είσοδο x = 2 και έξοδο y = 4. Αρχικό βάρος w = 0.5]] και μεροληψία b = 0. Χρησιμοποιήστε ένα ποσοστό μάθησης 0.1.

Υπολογίστε πρόβλεψη: ⁇ = wx + b = 0,5 * 2 + 0 = 1

Σφάλμα υπολογισμού: τρόμος = ⁇ - y = 1 - 4 = -3

Υπολογίστε τις κλίσεις:

Βαθμίδα βάρους w.r.t.: ⁇ L/ ⁇ w = 2 * σφάλμα * x = 2 * (-3) * 2 = - 12

Διαβάθμιση με προτροπή: ⁇ L/ ⁇ b = 2 * σφάλμα = 2 * (-3) = -6

Παράμετροι ενημέρωσης:

Νέο βάρος: w = 0.5 - 0.1 * (-12) = 0.5 + 1.2 = 1.7

Νέα προκατάληψη: b = 0 - 0.1 * (-6) = 0 + 0.6 = 0.6