Να ιχνηλατήσεις μια πρόβλεψη από την είσοδο μέχρι τα logits διατηρώντας όλες τις ενδιάμεσες τιμές.
Απόδειξη επιτυχίας: εξηγείς «Πρόσω διάδοση: ακολουθώ τον υπολογισμό», εκτελείς «Η σκυταλοδρομία των πράξεων» και αναφέρεις το όριο της αναλογίας.
Ο Mehdi παίρνει μια κάρτα [2, 1] και ένα μικρό δίκτυο ήδη ρυθμισμένο. Υπολογίζει το πρώτο στρώμα, εφαρμόζει το ReLU, και μετά υπολογίζει δύο logits. Αντί να γράψει μόνο την τελική κατηγορία, κρατάει ένα ίχνος κάθε αριθμού. Όταν μια συμμαθήτρια βρίσκει μια άλλη απάντηση, εντοπίζουν μια ξεχασμένη πρόσθεση στο κρυφό στρώμα. Η πρόσω διάδοση δεν είναι γνώμη: είναι η οργανωμένη εκτέλεση των πράξεων του μοντέλου.
Παρατήρησε τον μηχανισμό, όχι μόνο το αποτέλεσμα. Τα τρία παρακάτω σημεία αναφοράς επιτρέπουν την επαλήθευση κάθε βήματος. Εδώ, το σημείο αναφοράς σου είναι «Πρόσω διάδοση: ακολουθώ τον υπολογισμό».
Ο χάρτης είναι μια διαδρομή ελέγχου: κάθε ενδιάμεσο αποτέλεσμα πρέπει να αντιστοιχεί στην πράξη που προηγείται. Διάβασε το σχέδιο από πάνω προς τα κάτω: κάθε βέλος ανακοινώνει έναν μετασχηματισμό ή μια επαλήθευση, ποτέ μια σκέψη της μηχανής.
Η αναλογία: Είναι μια διαδρομή μπίλιας σε μια διαφανή μηχανή όπου κάθε σταθμός εγγράφει τον μετασχηματισμό του.
Εκεί που σταματάει: Ένα αληθινό δίκτυο υπολογίζει πολλά παραδείγματα παράλληλα με μορφή τανυστών και ορισμένα στρώματα συμπεριφέρονται διαφορετικά μεταξύ εκπαίδευσης και αξιολόγησης. Μια αναλογία βοηθάει να ξεκινήσεις· δεν αντικαθιστά ούτε τα δεδομένα, ούτε τους υπολογισμούς, ούτε μια δοκιμή.
Υλικά: έξι κάρτες-σταθμοί, μια είσοδος [2, 1], απλά βάρη και ένα φύλλο ίχνους
Προτεινόμενος χρόνος: 10 έως 20 λεπτά.
Αναμενόμενη παρατήρηση: η σειρά και οι ενδιάμεσες τιμές κάνουν μια πρόβλεψη αναπαραγώγιμη και ένα σφάλμα εντοπίσιμο.
Πρόσθεσε μια παρτίδα δύο εισόδων. Δείξε τη μορφή σε κάθε σταθμό χωρίς να υπολογίσεις όλους τους αριθμούς.
Μια αναπαραγώγιμη έξοδος μπορεί ωστόσο να είναι επιβλαβής αν οι είσοδοι είναι κακώς επιλεγμένες. Η επαλήθευση του υπολογισμού δεν αντικαθιστά την αξιολόγηση της χρήσης.
Υπεύθυνη ερώτηση: Ποιος πρέπει να μπορεί να συμβουλευτεί το ίχνος όταν μια πρόβλεψη επηρεάζει ένα άτομο;
Αλλάζουν τα βάρη κατά τη διάρκεια της πρόσω διάδοσης;
Διόρθωση: Όχι. Χρησιμεύουν στον υπολογισμό αλλά δεν ενημερώνονται σε αυτό το βήμα.
Σε τι χρησιμεύει μια ενδιάμεση τιμή;
Διόρθωση: Στη συνέχιση του υπολογισμού, στην επαλήθευση των μορφών και στην εύρεση της προέλευσης ενός σφάλματος.
Έχουν συμπερασματολογία και εκπαίδευση τον ίδιο σκοπό;
Διόρθωση: Όχι. Η συμπερασματολογία παράγει μια έξοδο· η εκπαίδευση συνεχίζει με απώλεια, κλίσεις και ενημέρωση.
Ιχνηλάτης της διάδοσης — Κερδίζεις αυτό το σήμα αν μπορείς να εξηγήσεις το διάγραμμα χωρίς να διαβάζεις, να δείξεις το αποτέλεσμα της δραστηριότητας και να διορθώσεις μια λάθος απάντηση με καλοσύνη.