Ενεργοποιήσεις, logits και τελική επιλογή

Κοινό

10–15 ετών

Διάρκεια

30 έως 40 λεπτά

Περιπέτεια

2/8

Στοχευόμενο σήμα

Ερμηνεύτρια των σκορ

Αποστολή της ημέρας

Να ξεχωρίσεις ακατέργαστο σκορ, κρυφή ενεργοποίηση, πιθανότητα και επιλεγμένη κατηγορία.

Απόδειξη επιτυχίας: εξηγείς «Ενεργοποιήσεις, logits και τελική επιλογή», εκτελείς «Από το σκορ στα μερίδια» και αναφέρεις το όριο της αναλογίας.

Η ιστορία

Στο τουρνουά μοτίβων, η Zoé παίρνει τρεις αριθμούς: 2,1 · −0,4 · 0,8. Αυτά είναι logits, όχι πιθανότητες: ούτε περιορίζονται μεταξύ 0 και 1 ούτε υποχρεούνται να αθροίζουν 1. Το Softmax τα μετασχηματίζει σε θετικές αναλογίες που αθροίζουν 1. Η κατηγορία με το μεγαλύτερο σκορ μπορεί να επιλεγεί, αλλά η ομάδα κρατάει επίσης την αβεβαιότητα και ένα κατώφλι αποχής για τις πολύ κοντινές περιπτώσεις.

Τι είναι αληθές τεχνικά

Μια πειστική απάντηση συνδέει μια είσοδο με μια μετρημένη έξοδο. Κράτα αυτά τα τρία γεγονότα μπροστά στα μάτια σου. Εδώ, το σημείο αναφοράς σου είναι «Ενεργοποιήσεις, logits και τελική επιλογή».

• Μια ενεργοποίηση όπως το ReLU εισάγει μη-γραμμικότητα κρατώντας max(0, z)· χωρίς μη-γραμμικότητα, πολλά πυκνά στρώματα ανάγονται σε έναν μοναδικό γραμμικό μετασχηματισμό.
• Τα logits είναι ακατέργαστα σκορ· το Softmax τα κανονικοποιεί μαζί για μια ταξινόμηση με αμοιβαία αποκλειόμενες κατηγορίες.
• Η μεγαλύτερη τιμή Softmax είναι ένα κανονικοποιημένο σκορ, όχι μια επαληθευμένη συχνότητα επιτυχίας· η βαθμονόμηση συγκρίνει αυτά τα σκορ με τις συχνότητες που παρατηρούνται σε ξεχωριστά δεδομένα.

Ο κάθετος χάρτης

Η διαδρομή ξεχωρίζει ενεργοποίηση, logits, κανονικοποίηση και κανόνα απόφασης αντί να μεταχειρίζεται το Softmax σαν βεβαιότητα. Διάβασε το σχέδιο από πάνω προς τα κάτω: κάθε βέλος ανακοινώνει έναν μετασχηματισμό ή μια επαλήθευση, ποτέ μια σκέψη της μηχανής.

Μια χρήσιμη αναλογία — και το όριό της

Η αναλογία: Τα logits μοιάζουν με τους ακατέργαστους πόντους μιας κριτικής επιτροπής, και μετά το Softmax με μια μετατροπή σε συγκρίσιμα μερίδια.

Εκεί που σταματάει: Μια αληθινή πιθανότητα απαιτεί κάτι περισσότερο από μια μαθηματική μετατροπή: αν το μοντέλο είναι κακώς βαθμονομημένο ή εκτός πλαισίου, ένα μερίδιο 90 % μπορεί να είναι παραπλανητικό. Μια αναλογία βοηθάει να ξεκινήσεις· δεν αντικαθιστά ούτε τα δεδομένα, ούτε τους υπολογισμούς, ούτε μια δοκιμή.

Δραστηριότητα χωρίς οθόνη — Από το σκορ στα μερίδια

Υλικά: τρεις κάρτες-logits 2, 1 και 0, έξι μάρκερ, ένας κανόνας ReLU και ένας απλοποιημένος πίνακας Softmax
Προτεινόμενος χρόνος: 10 έως 20 λεπτά.

1. Ταξινόμησε τα τρία logits χωρίς να τα αποκαλέσεις πιθανότητες.
2. Εφάρμοσε το ReLU σε μια δεύτερη σειρά που περιέχει αρνητικές τιμές.
3. Χρησιμοποίησε τον πίνακα για να μετασχηματίσεις τα 2, 1 και 0 σε προσεγγιστικά μερίδια 0,67 · 0,24 και 0,09.
4. Πρόσθεσε έναν κανόνα αποχής αν τα δύο μεγαλύτερα μερίδια χωρίζονται από λιγότερο από 0,10.

Αναμενόμενη παρατήρηση: σκορ, ενεργοποίηση, πιθανότητα και απόφαση είναι τέσσερα διαφορετικά αντικείμενα που δεν πρέπει να τα συγχέουμε.

Προαιρετική πρόκληση

Πρόσθεσε την ίδια σταθερά στα τρία logits. Επαλήθευσε ότι οι αναλογίες Softmax δεν αλλάζουν, μετά εξήγησε αυτή την αναλλοιωσιμότητα.

Ασφάλεια, δικαιοσύνη και ανθρώπινη επιλογή

Το να αναγκάσεις μια επιλογή μπορεί να κρύψει την αβεβαιότητα. Σε μια ευαίσθητη κατάσταση, επίτρεψε το «ανεπαρκές για απόφαση» και εμπιστεύσου την περίπτωση σε ένα αρμόδιο άτομο.

Υπεύθυνη ερώτηση: Ποιος καθορίζει το κατώφλι αποχής και ποια σφάλματα πρέπει να εξεταστούν πριν επιλεγεί;

Μίνι-κουίζ διορθωμένο

1. Ένα logit πρέπει να είναι μεταξύ 0 και 1;

   Διόρθωση: Όχι. Είναι ένα ακατέργαστο σκορ που μπορεί να είναι αρνητικό ή μεγαλύτερο του 1.

2. Γιατί μια μη γραμμική ενεργοποίηση ανάμεσα στα στρώματα;

   Διόρθωση: Επιτρέπει την αναπαράσταση σχέσεων που μια καθαρά γραμμική στοίβαξη δεν μπορεί να δημιουργήσει.

3. Μια έξοδος Softmax του 0,9 εγγυάται τη σωστή κατηγορία;

   Διόρθωση: Όχι. Πρέπει να επαληθεύσεις τη βαθμονόμηση και το πλαίσιο σε ξεχωριστά δεδομένα.

Σήμα ικανότητας

Ερμηνεύτρια των σκορ — Κερδίζεις αυτό το σήμα αν μπορείς να εξηγήσεις το διάγραμμα χωρίς να διαβάζεις, να δείξεις το αποτέλεσμα της δραστηριότητας και να διορθώσεις μια λάθος απάντηση με καλοσύνη.