Οι λειτουργίες ενεργοποίησης είναι βασικά συστατικά των νευρωνικών δικτύων. Καθορίζουν την έξοδο ενός νευρώνα με βάση την είσοδο του, επιτρέποντας στο δίκτυο να μάθει πολύπλοκα μοτίβα. Αυτό το άρθρο εξηγεί πώς να υπολογίσει τις λειτουργίες ενεργοποίησης βήμα προς βήμα.

Κατανόηση λειτουργιών ενεργοποίησης

Οι λειτουργίες ενεργοποίησης μετατρέπουν τα σήματα εισόδου σε εξόδους που μπορούν να χρησιμοποιηθούν από τα επόμενα στρώματα. Οι κοινές λειτουργίες περιλαμβάνουν το σιγμοειδές, το βυρσοδεψικό και το RLU. Κάθε έχει μοναδικές ιδιότητες που επηρεάζουν τη διαδικασία μάθησης.

Υπολογισμός της λειτουργίας Sigmoid

Η συνάρτηση σιγμοειδούς ορίζεται ως f(x) = 1 / (1 + e-x]]. Για τον υπολογισμό της:

  • Εισαγάγετε την τιμή του x.
  • Υπολογίστε την εκθετική του -x.
  • Προσθέστε 1 σε αυτό εκθετικό.
  • Διαιρείτε το 1 με το αποτέλεσμα για να πάρετε την έξοδο.

Υπολογισμός της λειτουργίας RELU

Η Ορθοποιημένη Γραμμική Μονάδα (RELU) είναι απλή: f(x) = max(0, x). Για υπολογισμούς:

  • Εισαγάγετε την τιμή του x.
  • Εάν το x είναι μεγαλύτερο από 0, έξοδος x.
  • Εάν το x είναι μικρότερο ή ίσο με 0, έξοδος 0.

Υπολογισμός της λειτουργίας Tanh

Η συνάρτηση υπερβολικής εφαπτομένης είναι f(x) = (ex - e[-x] / (e]x + e-x]]].

  • Υπολογίστε e[x και e-x.
  • Μείωση e[-x από ex.
  • Προστίθενται e[x και e-x.
  • Διαιρείτε τη διαφορά με το άθροισμα για να πάρετε την έξοδο.