Κρυφά στρώματα και αναπαραστάσεις

Κοινό

10–15 ετών

Διάρκεια

30 έως 40 λεπτά

Περιπέτεια

2/8

Στοχευόμενο σήμα

Αρχιτέκτονας των μορφών

Αποστολή της ημέρας

Να χαράξεις τις μορφές που κυκλοφορούν σε ένα MLP και να περιγράψεις μια κρυφή αναπαράσταση χωρίς να της επινοήσεις σημασία.

Απόδειξη επιτυχίας: εξηγείς «Κρυφά στρώματα και αναπαραστάσεις», εκτελείς «Το διαβατήριο των μορφών» και αναφέρεις το όριο της αναλογίας.

Η ιστορία

Η Chloé έχει τέσσερις μετρήσεις ανά κάρτα και θέλει να επιλέξει ανάμεσα σε τρεις κατηγορίες. Σχεδιάζει τέσσερις εισόδους, πέντε κρυφές μονάδες, μετά τρεις εξόδους: ένα MLP (πολυστρωματικός perceptron) 4–5–3. Κάθε κάρτα γίνεται πρώτα πέντε αριθμοί, μετά τρία σκορ. Οι πέντε αριθμοί δεν είναι μυστικές ετικέτες όπως «στρογγυλό» ή «γρήγορο» εκτός αν το αποδείξει ένα πείραμα. Σχηματίζουν μια αναπαράσταση που έχει μάθει και είναι χρήσιμη για την εργασία.

Τι είναι αληθές τεχνικά

Το σωστό αντανακλαστικό είναι να διακρίνεις παρατήρηση, υπολογισμό και απόφαση. Τα παρακάτω στοιχεία χρησιμεύουν ως οδοδείκτες. Εδώ, το σημείο αναφοράς σου είναι «Κρυφά στρώματα και αναπαραστάσεις».

• Ένα πυκνό στρώμα συνδέει κάθε έξοδο με όλες τις εισόδους του προηγούμενου στρώματος με βάρη και μεροληψίες.
• Η μορφή μιας παρτίδας B × 4 γίνεται B × 5 μετά B × 3· ο άξονας της παρτίδας διατηρείται.
• Μια κρυφή αναπαράσταση είναι ένα ενδιάμεσο διάνυσμα βελτιστοποιημένο για την απώλεια, όχι μια αυτόματη εξήγηση της συλλογιστικής.

Ο κάθετος χάρτης

Ο χάρτης παρακολουθεί ταυτόχρονα τον υπολογισμό και τις διαστάσεις, πράγμα που κάνει ανιχνεύσιμη μια ασυμβατότητα μορφής. Διάβασε το σχέδιο από πάνω προς τα κάτω: κάθε βέλος ανακοινώνει έναν μετασχηματισμό ή μια επαλήθευση, ποτέ μια σκέψη της μηχανής.

Μια χρήσιμη αναλογία — και το όριό της

Η αναλογία: Ένα κρυφό στρώμα μοιάζει με μια ομάδα που ξαναγράφει τέσσερις ενδείξεις κάτω από πέντε νέες οπτικές γωνίες.

Εκεί που σταματάει: Τα φανταστικά μέλη της ομάδας θα είχαν κατανοητούς ρόλους· οι μονάδες που έχουν μάθει μπορεί να είναι κατανεμημένες και να μην αντιστοιχούν σε μία μοναδική λέξη. Μια αναλογία βοηθάει να ξεκινήσεις· δεν αντικαθιστά ούτε τα δεδομένα, ούτε τους υπολογισμούς, ούτε μια δοκιμή.

Δραστηριότητα χωρίς οθόνη — Το διαβατήριο των μορφών

Υλικά: δώδεκα κάρτες-αριθμοί, τρεις φάκελοι με το όνομα 4, 5 και 3, και ένα δελτίο παρτίδας
Προτεινόμενος χρόνος: 10 έως 20 λεπτά.

1. Φτιάξε μια παρτίδα με δύο κάρτες που έχουν καθεμία τέσσερις τιμές και γράψε τη μορφή της 2 × 4.
2. Πέρασε κάθε κάρτα από τον κρυφό φάκελο και αντικατέστησέ την με πέντε φανταστικές τιμές.
3. Μετασχημάτισε στη συνέχεια κάθε ομάδα των πέντε σε τρία logits εξόδου.
4. Σε κάθε βήμα, επαλήθευσε ότι ο αριθμός των καρτών παραμένει δύο και ότι μόνο το πλάτος αλλάζει.

Αναμενόμενη παρατήρηση: ένα MLP μετασχηματίζει την αναπαράσταση κάθε παραδείγματος χωρίς να ανακατεύει την ταυτότητα των παραδειγμάτων της παρτίδας.

Προαιρετική πρόκληση

Μέτρησε τις παραμέτρους ενός στρώματος 4→5: βάρη και μεροληψίες. Κάνε στη συνέχεια τον ίδιο υπολογισμό για το 5→3.

Ασφάλεια, δικαιοσύνη και ανθρώπινη επιλογή

Μια κρυφή μονάδα δεν πρέπει να λαμβάνει ένα κολακευτικό ανθρώπινο όνομα χωρίς απόδειξη. Οι εξηγήσεις χρησιμεύουν στη δοκιμή μιας υπόθεσης, όχι στην αφήγηση μιας πειστικής ιστορίας.

Υπεύθυνη ερώτηση: Ποιο πείραμα θα επέτρεπε την επαλήθευση ότι μια αναπαράσταση κρατάει μια σημαντική ένδειξη για όλες τις κατηγορίες;

Μίνι-κουίζ διορθωμένο

1. Τι σημαίνει MLP 4–5–3;

   Διόρθωση: Τέσσερις είσοδοι, πέντε μονάδες σε ένα κρυφό στρώμα και τρεις έξοδοι.

2. Ποια μορφή βγαίνει για μια παρτίδα B;

   Διόρθωση: B × 3 αφού περάσει από B × 5.

3. Αντιπροσωπεύει μια κρυφή μονάδα κατ' ανάγκη μια ανθρώπινη έννοια;

   Διόρθωση: Όχι. Χρειάζεται πειραματική ανάλυση· η πληροφορία μπορεί να κατανέμεται σε πολλές μονάδες.

Σήμα ικανότητας

Αρχιτέκτονας των μορφών — Κερδίζεις αυτό το σήμα αν μπορείς να εξηγήσεις το διάγραμμα χωρίς να διαβάζεις, να δείξεις το αποτέλεσμα της δραστηριότητας και να διορθώσεις μια λάθος απάντηση με καλοσύνη.