Στόχος: να κατανοήσετε χωρητικότητα, σύνθεση και μάθηση αναπαραστάσεων.
Ένα βαθύ δίκτυο συνθέτει συναρτήσεις:
f(x) = f_L(f_{L-1}(...f_2(f_1(x))))Κάθε στρώμα μετασχηματίζει την αναπαράσταση που λαμβάνει. Με μη γραμμικές ενεργοποιήσεις,
αυτή η σύνθεση μπορεί να προσεγγίσει σύνθετες σχέσεις. Χωρίς μη γραμμικότητα, πολλά
πυκνά στρώματα ανάγονται σε έναν μόνο αφινικό μετασχηματισμό: W3(W2(W1x)) = Wx.
Ένα feature δεν είναι πλέον υποχρεωτικά μια στήλη σχεδιασμένη με το χέρι. Σε ένα CNN, ένα κρυφό κανάλι μπορεί να αντιδρά σε μια διαγώνιο· πιο μακριά, ένας συνδυασμός καναλιών μπορεί να αντιδρά σε μια ρόδα. Το νόημα δεν προγραμματίζεται ρητά: εμφανίζεται εάν αυτή η οργάνωση μειώνει τη συνάρτηση απώλειας.
Ένας ειδικός ελέγχει τα περιγράμματα, ένας άλλος ομαδοποιεί τις υφές, ένας τρίτος αναγνωρίζει μέρη. Κανένας δεν αποφασίζει μόνος· η σύνθεσή τους παράγει την τελική απόφαση. Στην πραγματικότητα, οι «ειδικοί» είναι πίνακες αριθμών, που ρυθμίζονται από κοινού.
Η αύξηση της χωρητικότητας μειώνει μερικές φορές την υποπροσαρμογή, αλλά αυξάνει το κόστος και τον κίνδυνο απομνημόνευσης. Η σωστή ερώτηση είναι: «ποια χωρητικότητα γενικεύει υπό τους περιορισμούς μου;»
Σε μετρίου μεγέθους πινακοποιημένα δεδομένα, τα boosted δέντρα παραμένουν συχνά πολύ ανταγωνιστικά. Αν το σήμα είναι αδύναμο, η προσθήκη στρωμάτων δεν δημιουργεί πληροφορία. Αν οι ετικέτες είναι λανθασμένες, το δίκτυο μπορεί να μάθει αυτά τα λάθη με εντυπωσιακή αποτελεσματικότητα.
Γιατί χρειάζεται μια μη γραμμική ενεργοποίηση μεταξύ δύο στρωμάτων; Ποια είναι η διαφορά μεταξύ πλάτους και βάθους; Τι γίνεται ένα δίκτυο αν οι είσοδοι δεν περιέχουν κανένα σήμα;
Χωρίς μη γραμμικότητα, η σύνθεση παραμένει αφινική. Το πλάτος μετρά τις μονάδες ενός επιπέδου, το βάθος τα επίπεδα. Χωρίς σήμα, το δίκτυο μπορεί να μάθει μόνο τύχη ή τεχνάσματα (artefacts).
Σχεδιάστε δύο μοντέλα με συγκρίσιμο προϋπολογισμό παραμέτρων: ένα μόνο πλατύ στρώμα και τρία στενότερα στρώματα. Περιγράψτε μια σύνθετη συνάρτηση που το δεύτερο αναπαριστά φυσικά και υποδείξτε τον έλεγχο που θα διέκρινε το κέρδος βάθους από το απλό κέρδος υπολογισμού.
Ανάγνωση: κάθε επίπεδο μετασχηματίζει την αναπαράσταση που λαμβάνει και κάνει ορισμένους παράγοντες ευκολότερα διαχωρίσιμους. Το βάθος είναι χρήσιμο όταν αυτή η σύνθεση αντιστοιχεί στη δομή του προβλήματος. Η κύρια παγίδα είναι η σύγχυση του «περισσότερα στρώματα» με «περισσότερη ποιότητα»: χωρίς δεδομένα, ομαλοποίηση και έντιμο πρωτόκολλο, η πρόσθετη χωρητικότητα αυξάνει κυρίως τον κίνδυνο υπερπροσαρμογής.