Στόχος: να τυποποιήσετε τη στοιχειώδη μονάδα υπολογισμού και το σύνορο απόφασής της.
Ένας νευρώνας υπολογίζει πρώτα έναν αφινικό συνδυασμό και μετά μια ενεργοποίηση:
z = wᵀx + b
a = φ(z)Τα βάρη w και η πόλωση b μαθαίνονται. Η ενεργοποίηση φ επιλέγεται από τον σχεδιαστή.
Η πόλωση μετατοπίζει το σύνορο· χωρίς αυτήν, κάθε γραμμικό σύνορο θα περνούσε από την αρχή των αξόνων.
Το δυαδικό perceptron παράγει 1 αν wᵀx + b > 0, αλλιώς 0. Μπορεί να μάθει έναν
γραμμικό διαχωρισμό, αλλά όχι το XOR. Αυτό το όριο δεν διορθώνεται με την προσθήκη περισσότερων
παραδειγμάτων: ο χώρος συναρτήσεων του μοντέλου είναι ανεπαρκής.
| Είσοδος XOR | Έξοδος |
|---|---|
| 0, 0 | 0 |
| 0, 1 | 1 |
| 1, 0 | 1 |
| 1, 1 | 0 |
Καμία ευθεία δεν διαχωρίζει τις δύο κλάσεις. Ένα μη γραμμικό κρυφό στρώμα μπορεί να κατασκευάσει ενδιάμεσες αναπαραστάσεις που κάνουν στη συνέχεια τον διαχωρισμό δυνατό.
Ο τεχνητός νευρώνας μοιάζει με μια σταθμισμένη κλίμακα: προσθέτει ενδείξεις με συντελεστές, προσθέτει ένα κινητό κατώφλι και μετά μεταδίδει ένα σήμα. Η βιολογική αναλογία δεν πρέπει να λαμβάνεται κατά γράμμα.
Ποιος είναι ο ρόλος της πόλωσης; Γιατί ένα απλό perceptron αποτυγχάνει στο XOR; Τα βάρη ορίζονται με το χέρι;
Η πόλωση μετακινεί το σύνορο. Το XOR δεν είναι γραμμικά διαχωρίσιμο. Τα βάρη μαθαίνονται.
Με w=(2,-1) και b=-0.5, υπολογίστε το z και μετά την κλάση των τεσσάρων σημείων (0,0), (0,1),
(1,0), (1,1). Δοκιμάστε στη συνέχεια να επισημάνετε το XOR με μία μόνο ευθεία και εξηγήστε
γεωμετρικά την αποτυχία. Επιτυχία: διάκριση του ορίου του perceptron από το σφάλμα βελτιστοποίησης.
Ανάγνωση: τα βάρη προσανατολίζουν το σύνορο, η πόλωση το μετατοπίζει και η ενεργοποίηση επιτρέπει έναν μη γραμμικό μετασχηματισμό. Ένας νευρώνας μόνος του λύνει μόνο απλούς διαχωρισμούς· είναι η σύνθεση των νευρώνων και η βελτιστοποίηση των παραμέτρων που δίνουν στο δίκτυο τη χωρητικότητά του. Η παγίδα είναι η ερμηνεία ενός απομονωμένου βάρους χωρίς να ληφθεί υπόψη η κλίμακα των εισόδων και των επόμενων στρωμάτων.