Τα κεφάλαια 001 έως 003 τοποθέτησαν την επιβλεπόμενη μάθηση στην ταξινομία του πεδίου και διέκριναν τις τρεις οικογένειες μάθησης. Αυτό το κεφάλαιο περνά από την τοποθέτηση στη μηχανική: τι περιέχει ένα επιβλεπόμενο πρόβλημα, τι κάνει ο αλγόριθμος όταν προσαρμόζει ένα μοντέλο, και τι μετράμε όταν το αξιολογούμε.
Ο ορισμός δίνεται σε τέσσερα επίπεδα φθίνουσας ακρίβειας. Και τα τέσσερα διατυπώνουν το ίδιο πράγμα. Το πρώτο πρέπει να κατακτηθεί, τα τρία άλλα χρησιμεύουν στη μετάδοση.
Οι χώροι. Ένας χώρος εισόδων X (τυπικά X ⊆ R^d, όπου d είναι ο
αριθμός ερμηνευτικών μεταβλητών) και ένας χώρος εξόδων Y. Η φύση του Y
καθορίζει τον τύπο του προβλήματος: Y ⊆ R για την παλινδρόμηση,
Y = {c1, ..., cK} πεπερασμένο και μη διατεταγμένο για την ταξινόμηση.
Η γεννήτρια κατανομή. Τα ζεύγη παρατήρησης-ετικέτας υποτίθεται ότι
προέρχονται από μια από κοινού κατανομή P(X, Y), άγνωστη και θεωρούμενη σταθερή στην
εξεταζόμενη περίοδο. Χωρίς αυτή την υπόθεση, τίποτα από όσα παρατηρούνται δεν
πληροφορεί για όσα δεν παρατηρούνται.
Η υπόθεση εξάρτησης. Θεωρούμε μια σχέση μεταξύ X και Y,
τυποποιημένη από μια άγνωστη συνάρτηση f : X → Y, ή στη γενική περίπτωση όπου η
σχέση είναι θορυβώδης από τον δεσμευμένο νόμο P(Y | X). Το σύνηθες μοντέλο
γράφεται y = f(x) + ε, όπου ε είναι τυχαίος όρος μηδενικής προσδοκίας
που αντιπροσωπεύει όσα επηρεάζουν το y χωρίς να συλλαμβάνονται από το x.
Το δείγμα. Δεν διαθέτουμε ούτε το f, ούτε το P, αλλά ένα πεπερασμένο δείγμα
D = {(x1, y1), (x2, y2), ..., (xn, yn)}, (xi, yi) ~ P(X, Y)από n παρατηρήσεις θεωρούμενες ανεξάρτητες και ταυτοτικά κατανεμημένες.
Το κριτήριο. Μια συνάρτηση απώλειας L : Y × Y → R+ ποσοτικοποιεί την απόκλιση μεταξύ
προβλεπόμενης και παρατηρηθείσας τιμής. Ο αναμενόμενος κίνδυνος μιας υπόθεσης h είναι
R(h) = E[L(y, h(x))], με την προσδοκία να αφορά το (x, y) ~ P(X, Y). Ο θεωρητικός
στόχος είναι h* = argmin R(h) επί του χώρου υποθέσεων H, συνόλου των
συναρτήσεων που η επιλεγμένη κλάση μοντέλων μπορεί να αναπαραστήσει.
Το εμπόδιο και η παράκαμψή του. Το R(h) δεν είναι υπολογίσιμο, καθώς το P είναι
άγνωστο. Το υποκαθιστούμε με τον εμπειρικό κίνδυνο
R̂(h) = (1/n) · Σ L(yi, h(xi)) για i = 1..nκαι επιλύουμε το προσβάσιμο πρόβλημα f̂ = argmin R̂(h) επί του H. Αυτή η αρχή είναι
η ελαχιστοποίηση του εμπειρικού κινδύνου (Empirical Risk Minimization, ERM)·
αποτελεί το τυπικό θεμέλιο της επιβλεπόμενης μάθησης.
Αυστηρός ορισμός
Ο αναμενόμενος κίνδυνος είναι η προσδοκία της απώλειας υπό τη γεννήτρια
κατανομή: R(h) = E[L(y, h(x))]. Ποσοτικοποιεί την επίδοση του h στο
σύνολο των παρατηρήσεων που η κατανομή μπορεί να παράγει, παρατηρηθεισών ή μη.
Ο εμπειρικός κίνδυνος είναι ο μέσος της απώλειας επί του διαθέσιμου δείγματος.
Είναι αμερόληπτος εκτιμητής του R(h) για μια υπόθεση καθορισμένη εκ των προτέρων.
Η ελαχιστοποίηση του εμπειρικού κινδύνου (Vapnik, 1995) συνίσταται στην κράτηση
της υπόθεσης που ελαχιστοποιεί το R̂ επί του H, ως υποκατάστατο της μη προσβάσιμης
ελαχιστοποίησης του R.
Κεντρικό σημείο προσοχής
Η απουσία μεροληψίας ισχύει για υπόθεση καθορισμένη πριν από την παρατήρηση
του δείγματος. Μόλις το f̂ επιλέγεται με ελαχιστοποίηση του R̂, η
ποσότητα R̂(f̂) γίνεται εκτιμητής αισιόδοξα μεροληπτικός του R(f̂). Αυτή είναι
η τυπική δικαιολόγηση του διαχωρισμού των δεδομένων (κεφάλαιο 026) και
η μηχανική προέλευση της υπερπροσαρμογής (κεφάλαιο 031).
Μετάφραση σε καθημερινή γλώσσα
Θα θέλαμε το μοντέλο που κάνει τα λιγότερα λάθη σε όλες τις δυνατές περιπτώσεις· μπορούμε να μετρήσουμε το σφάλμα μόνο στις περιπτώσεις που διαθέτουμε. Επιλέγουμε λοιπόν το μοντέλο που κάνει τα λιγότερα λάθη σε εκείνες, γνωρίζοντας ότι αυτό το σκορ είναι κολακευτικό.
| Όρος σφάλματος | Προέλευση | Μοχλός μείωσης |
|---|---|---|
| Προσέγγιση | Η καλύτερη συνάρτηση του H παραμένει απομακρυσμένη από το f | Διεύρυνση του H: πιο εκφραστικό μοντέλο, συμπληρωματικές μεταβλητές |
| Εκτίμηση | Το n είναι πεπερασμένο, το R̂ εκτιμά το R μόνο ατελώς | Αύξηση του n, περιορισμός του H, κανονικοποίηση |
| Βελτιστοποίηση | Ο αλγόριθμος δεν φτάνει ακριβώς στο ελάχιστο του R̂ | Προσαρμογή της διαδικασίας βελτιστοποίησης |
| Μη αναγώγιμο | Ο θόρυβος ε: το y δεν καθορίζεται από το x | Κανένας. Οριοθετεί την επιτεύξιμη επίδοση |
Η διεύρυνση του H μειώνει το σφάλμα προσέγγισης και αυξάνει το σφάλμα εκτίμησης.
Αυτός ο συμβιβασμός είναι ο συμβιβασμός μεροληψίας-διακύμανσης, που εξετάζεται στο κεφάλαιο 031.
Η επιβλεπόμενη μάθηση συνίσταται στην προσαρμογή μιας παραμετροποιημένης συνάρτησης επί ενός συνόλου παραδειγμάτων των οποίων η τιμή προς πρόβλεψη είναι γνωστή, με ελαχιστοποίηση ενός μέτρου απόκλισης μεταξύ προβλεπόμενων και παρατηρηθεισών τιμών, ώστε να εφαρμοστεί κατόπιν αυτή η συνάρτηση σε παρατηρήσεις των οποίων η τιμή είναι άγνωστη.
Διατύπωση προορισμένη για έγγραφο σχεδιασμού. Ονομάζει τα τέσσερα υποχρεωτικά στοιχεία: επισημασμένα παραδείγματα, παραμετροποιημένη συνάρτηση, μέτρο απόκλισης, εφαρμογή στο άγνωστο.
Παρέχουμε σε έναν αλγόριθμο μεγάλο αριθμό παρελθουσών περιπτώσεων συνοδευόμενων από την απάντησή τους. Ο αλγόριθμος αναζητά τον κανόνα που συνδέει καλύτερα τις διαθέσιμες πληροφορίες με την απάντηση. Αυτός ο κανόνας εφαρμόζεται κατόπιν σε νέες περιπτώσεις, για τις οποίες η απάντηση δεν είναι γνωστή.
Διατύπωση προορισμένη για διευθυντική επιτροπή. Δεν περιέχει καμία εσφαλμένη προσέγγιση· παραλείπει τον φορμαλισμό.
Ανάγνωση: το βέλος Y → ALG υπάρχει μόνο στη φάση εκπαίδευσης. Αυτό,
και μόνο αυτό, διακρίνει την επιβλεπόμενη μάθηση από τη μη επιβλεπόμενη
(κεφάλαιο 003).
| Επίπεδο | Διατύπωση | Αποδέκτης | Πλαίσιο χρήσης |
|---|---|---|---|
| 1 | Μαθηματική: f̂ = argmin R̂(h) επί του H, D ~ P(X,Y) | Data scientist, εξεταστής | Τεχνική συνέντευξη, προδιαγραφή |
| 2 | Τεχνική: παραμετροποιημένη συνάρτηση προσαρμοσμένη με ελαχιστοποίηση απόκλισης | Μηχανικός, αρχιτέκτονας | Έγγραφο σχεδιασμού |
| 3 | Τρέχουσα: παρελθούσες περιπτώσεις με απάντηση, επαγόμενος κανόνας, εφαρμογή στο νέο | Διεύθυνση, επιχείρηση | Επιτροπή πλοήγησης |
| 4 | Γραφική: δύο φάσεις, ένα διακριτικό βέλος | Κάθε ακροατήριο | Υποστήριγμα παρουσίασης |
| Σύμβολο | Ονομασία |
|---|---|
x, y | Διάνυσμα ερμηνευτικών μεταβλητών, παρατηρηθείσα ετικέτα |
n, d | Αριθμός παρατηρήσεων, αριθμός μεταβλητών |
P(X, Y) | Από κοινού γεννήτρια κατανομή, άγνωστη |
D | Δείγμα εκμάθησης, n ζεύγη |
f, f̂ | Άγνωστη αληθινή σχέση, προσαρμοσμένο μοντέλο που κρατήθηκε |
ŷ | Προβλεπόμενη τιμή, ŷ = f̂(x) |
H, L | Χώρος υποθέσεων, συνάρτηση απώλειας |
R(h), R̂(h) | Αναμενόμενος κίνδυνος (μη υπολογίσιμος), εμπειρικός κίνδυνος |
Αυστηρός ορισμός
Η επίβλεψη δηλώνει τη διαθεσιμότητα, για κάθε παρατήρηση του δείγματος
εκμάθησης, ενός σήματος αναφοράς yi που αντιστοιχεί στην τιμή που
το μοντέλο πρέπει να μάθει να παράγει. Αυτό το σήμα παίζει τον ρόλο επιβλέποντα με
την έννοια της θεωρίας ελέγχου: παρέχει, για κάθε δοκιμή, την πληροφορία
απόκλισης που επιτρέπει τη διόρθωση.
Ορολογική προέλευση
Η έκφραση supervised learning προέρχεται από τη βιβλιογραφία των νευρωνικών δικτύων των δεκαετιών 1950-1960, που διέκρινε τις διαδικασίες που διέθεταν teacher signal από εκείνες που δεν διέθεταν. Ο επιβλέπων είναι το σήμα, όχι ένα πρόσωπο.
Σημείο προσοχής
Η επίβλεψη είναι ιδιότητα των δεδομένων εκπαίδευσης, όχι του καθεστώτος λειτουργίας του συστήματος. Ένα επιβλεπόμενο μοντέλο που αναπτύσσεται μπορεί να λειτουργεί χωρίς καμία ανθρώπινη παρέμβαση· αντιστρόφως, ένα μη επιβλεπόμενο σύστημα μπορεί να τεθεί υπό μόνιμο ανθρώπινο έλεγχο.
| Αυτό που δηλώνει το «επιβλεπόμενη» | Αυτό που δεν δηλώνει το «επιβλεπόμενη» |
|---|---|
| Μια ετικέτα αναφοράς για κάθε παρατήρηση εκπαίδευσης | Η παρουσία ανθρώπινου χειριστή κατά την εκτέλεση |
| Ένα υπολογίσιμο σήμα σφάλματος σε κάθε δοκιμή | Ένας ποιοτικός έλεγχος των προβλέψεων στην παραγωγή |
| Μια ιδιότητα της φάσης μάθησης | Μια ιδιότητα του αναπτυγμένου συστήματος |
Ένας φοιτητής προετοιμάζει μια εξέταση από μια συλλογή ασκήσεων καθεμία από τις οποίες συνοδεύεται από τη λύση της. Για κάθε άσκηση, προτείνει μια απάντηση, την συγκρίνει με τη διόρθωση, διαπιστώνει την απόκλιση, προσαρμόζει τη μέθοδό του.
| Στοιχείο της αναλογίας | Τυπικό στοιχείο |
|---|---|
| Η εκφώνηση της άσκησης | Το διάνυσμα x |
| Η λύση της διόρθωσης | Η ετικέτα y |
| Η προτεινόμενη απάντηση | Η πρόβλεψη ŷ |
| Η διαπιστωμένη απόκλιση | Η απώλεια L(y, ŷ) |
| Η προσαρμογή της μεθόδου | Η ενημέρωση των παραμέτρων |
| Η τελική εξέταση επί πρωτόγνωρων εκφωνήσεων | Η αξιολόγηση επί του συνόλου δοκιμής |
Η διόρθωση δεν είναι καθηγητής που επιτηρεί τον φοιτητή κατά την εξέταση: είναι πληροφορία αναφοράς διαθέσιμη κατά την προετοιμασία και μη διαθέσιμη την ημέρα της εξέτασης. Αυτό ακριβώς είναι το καθεστώς της ετικέτας. Η αναλογία φέρει επίσης την χαρακτηριστική αποτυχία: ο φοιτητής που απομνημόνευσε τις διορθώσεις χωρίς να αποκτήσει τη μέθοδο λαμβάνει τέλειο σκορ στη συλλογή και αποτυγχάνει στην εξέταση. Αυτή η περίπτωση είναι η υπερπροσαρμογή.
Αυστηρός ορισμός
Ένα επισημασμένο δεδομένο είναι ένα ζεύγος (x, y) που συνδέει ένα διάνυσμα ερμηνευτικών
μεταβλητών x ∈ X με την τιμή y ∈ Y της μεταβλητής-στόχου για την ίδια
παρατήρηση, αυτή η τιμή έχοντας παρατηρηθεί, μετρηθεί ή αποδοθεί από μια
διαδικασία εξωτερική ως προς το μοντέλο.
Μετάφραση σε καθημερινή γλώσσα
Μια γραμμή πίνακα στην οποία εμφανίζεται, επιπλέον των περιγραφικών πληροφοριών, η απάντηση που επιθυμούμε να μπορούμε να προβλέψουμε.
Συνθήκη ύπαρξης της επιβλεπόμενης μάθησης
Η απουσία ετικετών αποκλείει την επιβλεπόμενη, χωρίς εξαίρεση. Οι εναλλακτικές είναι τότε: συγκρότηση των ετικετών (επισημείωση, οργανολογία, αναμονή ιστορικού), αναδιατύπωση του προβλήματος ως μη επιβλεπόμενου (κεφάλαιο 003), ή παραίτηση.
Υπάρχει, στα διαθέσιμα δεδομένα, μια στήλη που περιέχει ακριβώς αυτό που θέλουμε να προβλέψουμε, συμπληρωμένη για τις παρελθούσες παρατηρήσεις;
| Απάντηση | Συνέπεια |
|---|---|
| Ναι, συμπληρωμένη και αξιόπιστη | Το πρόβλημα είναι επιβλεπόμενο. Η συνέχεια του μαθήματος εφαρμόζεται |
| Ναι, αλλά μερικώς συμπληρωμένη ή αμφίβολη | Επιβλεπόμενο πρόβλημα υπό επιφύλαξη. Η ποιότητα των ετικετών γίνεται το πρώτο έργο |
| Όχι | Το πρόβλημα δεν είναι επιβλεπόμενο ως έχει. Πρέπει να δημιουργηθεί η ετικέτα ή να αλλάξει παράδειγμα |
Σημείο προσοχής: «ακριβώς αυτό που θέλουμε να προβλέψουμε» είναι αυστηρή απαίτηση. Η πρόβλεψη της ικανοποίησης πελάτη από μια στήλη «ξανάνοιξε εισιτήριο» ισοδυναμεί με πρόβλεψη του ξανανοίγματος εισιτηρίου, όχι της ικανοποίησης.
Παράδειγμα A — Ανίχνευση ανεπιθύμητων μηνυμάτων
| Γνωστός αποστολέας | Αριθμός συνδέσμων | Κεφαλαία (%) | Συνημμένο | Ανεπιθύμητο |
|---|---|---|---|---|
| Ναι | 1 | 4 | Όχι | Όχι |
| Όχι | 14 | 62 | Ναι | Ναι |
| Ναι | 0 | 2 | Ναι | Όχι |
| Όχι | 9 | 48 | Όχι | Ναι |
Οι τέσσερις πρώτες στήλες αποτελούν το x· η έντονη στήλη είναι το y, με
τιμές στο {Ναι, Όχι}: δυαδική ταξινόμηση. Ετικέτα προερχόμενη από
την ενέργεια του χρήστη, με χειροκίνητη σήμανση.
Παράδειγμα B — Προγνωστική συντήρηση επί οργανολογημένου εξοπλισμού
| Δόνηση (mm/s) | Θερμοκρασία (°C) | Ώρες από αναθεώρηση | Κύκλοι/ημέρα | Βλάβη εντός 7 ημερών |
|---|---|---|---|---|
| 2,1 | 64 | 820 | 142 | Όχι |
| 5,8 | 81 | 2 340 | 168 | Ναι |
| 3,4 | 71 | 1 510 | 151 | Όχι |
| 6,2 | 88 | 2 780 | 174 | Ναι |
Δυαδικό y: ταξινόμηση. Η ετικέτα ανακατασκευάζεται εκ των υστέρων από
το ημερολόγιο παρεμβάσεων: για κάθε μέτρηση, επαληθεύεται αν μια
αστοχία επήλθε στις επόμενες επτά ημέρες. Αυτή η ανακατασκευή είναι
το λεπτότερο τεχνικό σημείο της περίπτωσης, που αναπτύσσεται στο σημείο 7.
Παράδειγμα C — Εκτίμηση τιμής ακινήτου
| Επιφάνεια (m²) | Υπνοδωμάτια | Έτος κατασκευής | Απόσταση κέντρου (km) | Τιμή πώλησης ($) |
|---|---|---|---|---|
| 75 | 2 | 1994 | 6,2 | 272 500 |
| 100 | 3 | 2006 | 4,1 | 370 000 |
| 125 | 4 | 2011 | 3,4 | 467 500 |
| 150 | 5 | 2018 | 2,8 | 560 000 |
Συνεχές αριθμητικό y: παλινδρόμηση. Η ετικέτα είναι καταγεγραμμένο γεγονός, η
τιμή που φέρεται στην πράξη πώλησης.
Τα τρία παραδείγματα φέρουν ετικέτες ριζικά διαφορετικής φύσης: μια σήμανση χρήστη, μια ανακατασκευή από ημερολόγιο, ένα συμβατικό ποσό. Αυτές οι διαφορές καθορίζουν την αξιοπιστία του μοντέλου πολύ περισσότερο από την επιλογή του αλγορίθμου.
| Πηγή | Περιγραφή | Κόστος | Αξιοπιστία | Συνδεδεμένη παγίδα |
|---|---|---|---|---|
| Φυσικό ιστορικό | Το γεγονός επήλθε και καταγράφηκε: ολοκληρωμένη πώληση, καταγγελθείσα σύμβαση, δηλωθείσα ζημία | Μηδενικό έως χαμηλό | Υψηλή | Ο ορισμός του γεγονότος στο σύστημα μπορεί να διαφέρει από τον επιχειρησιακό ορισμό· ημερομηνία καταγραφής και ημερομηνία επέλευσης διαφέρουν |
| Ενέργεια χρήστη | Ο χρήστης παράγει το σήμα: κλικ, αγορά, σήμανση, βαθμολογία | Μηδενικό | Μέτρια | Μαζική μεροληψία επιλογής: μόνο μια μειονότητα ενεργεί. Η απουσία σήματος δεν ισοδυναμεί με αρνητικό σήμα |
| Ανθρώπινη επισημείωση | Χειριστές επισημαίνουν παρατηρήσεις για το έργο | Υψηλό | Μεταβλητή | Υποκειμενικότητα, κόπωση, παρέκκλιση κριτηρίου. Απαιτεί μέτρο συμφωνίας μεταξύ επισημειωτών |
| Εμπειρογνώμονας του τομέα | Ένας ειδικός χαρακτηρίζει κάθε περίπτωση σύμφωνα με την επαγγελματική του κρίση | Πολύ υψηλό | Υψηλή στις τυπικές περιπτώσεις | Χαμηλή παροχή άρα χαμηλός όγκος. Διαφωνία μεταξύ εμπειρογνωμόνων στις οριακές περιπτώσεις, που είναι οι περιπτώσεις ενδιαφέροντος |
| Αυτόματος επιχειρησιακός κανόνας | Ένας υπάρχων κανόνας παρήγαγε την ετικέτα: κατώφλι, μηχανή κανόνων, έμπειρο σύστημα | Μηδενικό | Ψευδαισθητική | Το μοντέλο μαθαίνει τον κανόνα, όχι το φαινόμενο. Η επίδοσή του οριοθετείται από εκείνη του συστήματος που παρήγαγε τις ετικέτες |
| Οργανολογική μέτρηση | Ένας αισθητήρας παρέχει την τιμή: ανιχνευτής, μετρητής, αναλυτής | Μέσο | Υψηλή | Παρέκκλιση βαθμονόμησης, βλάβες που παράγουν προεπιλεγμένες τιμές, χρονικός αποσυγχρονισμός |
Ερώτημα προς διερεύνηση στην αρχή κάθε έργου:
Πώς παρήχθη αυτή η ετικέτα, και είναι αξιόπιστη αυτή η παραγωγή;
Προηγείται της επιλογής του αλγορίθμου, εκείνης των μεταβλητών και κάθε θεώρησης αρχιτεκτονικής. Διερευνάται μαζί με τα πρόσωπα που εκμεταλλεύονται το σύστημα-πηγή, όχι μαζί με εκείνα που εκμεταλλεύονται τη βάση δεδομένων.
Κατάσταση
Ένας οργανισμός διαθέτει επί έτη μια μηχανή κανόνων που ταξινομεί αυτόματα τις εισερχόμενες αιτήσεις. Το ιστορικό περιέχει λοιπόν, για κάθε αίτηση, την κλάση που αποδόθηκε από αυτή τη μηχανή: μια στήλη άμεσα διαθέσιμη, που φαίνεται να αποτελεί ιδανική ετικέτα.
Τι συμβαίνει
Το μοντέλο εκπαιδεύεται να αναπαράγει τις αποφάσεις της μηχανής. Το κατορθώνει, συχνά πέραν του 95 % ορθότητας. Αυτή η ορθότητα μετρά την πιστότητα της μίμησης, όχι την ορθότητα των αποφάσεων. Όλα τα σφάλματα της μηχανής μαθαίνονται ως αλήθειες: αποτελούν, στα δεδομένα, τον ίδιο τον ορισμό της σωστής απάντησης.
Ένα επιβλεπόμενο μοντέλο δεν μπορεί να είναι καλύτερο από τη διαδικασία που παρήγαγε τις ετικέτες του. Μπορεί να είναι ταχύτερο, πιο κανονικό, λιγότερο δαπανηρό, και να γενικεύει σε περιπτώσεις που δεν καλύπτονται από τους ρητούς κανόνες. Δεν μπορεί να είναι δικαιότερο.
Πρακτική συνέπεια
Ένα τέτοιο έργο παραμένει νόμιμο όταν ο στόχος είναι η μείωση του κόστους εκτέλεσης, η κάλυψη μη επεξεργασμένων περιπτώσεων, ή η απλοποίηση μιας μηχανής που έχει καταστεί μη διαχειρίσιμη. Είναι παράνομο όταν ο δηλωμένος στόχος είναι η βελτίωση της ποιότητας των αποφάσεων: απαιτείται τότε πηγή ετικετών ανεξάρτητη από το σύστημα προς αντικατάσταση, με έλεγχο δείγματος ή με παρατήρηση του πραγματικού αποτελέσματος των αποφάσεων.
Ένας αλγόριθμος επιβλεπόμενης μάθησης δεν προβαίνει σε καμία ανάλυση του τομέα. Εκτελεί έναν κύκλο σε τρεις χρόνους, επαναλαμβανόμενο έως την ικανοποίηση ενός κριτηρίου διακοπής.
Οι τρόποι της διόρθωσης ποικίλλουν: κάθοδος κλίσης για τα παραμετρικά μοντέλα και τα νευρωνικά δίκτυα, αναδρομική διαμέριση με μεγιστοποίηση κέρδους πληροφορίας για τα δέντρα, κλειστή αναλυτική επίλυση για τα συνήθη ελάχιστα τετράγωνα. Η λογική δομή του κύκλου είναι ταυτόσημη.
Αυστηρός ορισμός
Μια παράμετρος είναι εσωτερικό μέγεθος του μοντέλου του οποίου η τιμή καθορίζεται από τον αλγόριθμο μάθησης βάσει των δεδομένων, με ελαχιστοποίηση του εμπειρικού κινδύνου. Το σύνολο των τιμών των παραμέτρων αποτελεί την κατάσταση του μοντέλου και αρκεί, μαζί με τη δομή του, για την αναπαραγωγή των προβλέψεών του.
| Κλάση μοντέλων | Παράμετροι |
|---|---|
| Γραμμική ή λογιστική παλινδρόμηση | Συντελεστές των μεταβλητών, τεταγμένη στην αρχή |
| Δέντρο απόφασης | Μεταβλητές κοπής, κατώφλια, τιμές των φύλλων |
| Νευρωνικό δίκτυο | Βάρη των συνδέσεων, πολώσεις των νευρώνων |
Μετάφραση σε καθημερινή γλώσσα
Οι παράμετροι είναι όσα έμαθε η μηχανή: το περιεχόμενο του αποθηκευμένου αρχείου στο τέλος της εκπαίδευσης.
Αυστηρός ορισμός
Μια συνάρτηση απώλειας L : Y × Y → R+ αντιστοιχίζει σε ένα ζεύγος (παρατηρηθείσα τιμή,
προβλεπόμενη τιμή) ένα θετικό βαθμωτό μέτρο της απόκλισης, μηδενικό αν και μόνο αν
η πρόβλεψη συμπίπτει με την παρατήρηση, και αύξον με τη σοβαρότητα της
απόκλισης. Πρέπει να είναι υπολογίσιμη και, για τους αλγορίθμους που βασίζονται στην
κλίση, παραγωγίσιμη ως προς τις παραμέτρους.
Καθεστώς
Αποτελεί τον λειτουργικό ορισμό του «καλού προβλέπειν». Είναι επιλογή μηχανικής, όχι δεδομένο του προβλήματος: δύο διαφορετικές συναρτήσεις απώλειας εφαρμοσμένες στο ίδιο δείγμα παράγουν δύο διαφορετικά μοντέλα.
Μετάφραση σε καθημερινή γλώσσα
Ο κανόνας βαθμολόγησης: τι μετρά ως σφάλμα, και πόσο κοστίζει αυτό το σφάλμα.
Σημείο προσοχής
Η απώλεια που χρησιμοποιείται για τη βελτιστοποίηση και η μετρική που χρησιμοποιείται για την επιχειρησιακή αξιολόγηση είναι δύο διακριτά αντικείμενα, που σπάνια συμπίπτουν (κεφάλαια 029 και 052).
Αυστηρός ορισμός
Αριθμητικός μέσος των ατομικών απωλειών επί του δείγματος:
R̂(h) = (1/n) · Σ L(yi, h(xi)). Είναι η ποσότητα που πράγματι ελαχιστοποιεί ο
αλγόριθμος μάθησης.
Διάκριση από τον αναμενόμενο κίνδυνο
Ο εμπειρικός κίνδυνος είναι μέσος επί n διαθέσιμων παρατηρήσεων, ο αναμενόμενος
κίνδυνος μια προσδοκία επί της γεννήτριας κατανομής. Ο πρώτος είναι υπολογίσιμος
και χρησιμεύει ως στόχος βελτιστοποίησης· ο δεύτερος είναι ο πραγματικός στόχος και δεν είναι ποτέ
άμεσα προσβάσιμος.
Σημείο προσοχής
Ένας μηδενικός εμπειρικός κίνδυνος δεν έχει καμία πληροφοριακή αξία: είναι πάντα επιτεύξιμος από ένα αρκετά εκφραστικό μοντέλο, με απλή απομνημόνευση του δείγματος.
| Συνάρτηση απώλειας | Τύπος προβλήματος | Έκφραση | Ιδιότητα |
|---|---|---|---|
| Τετραγωνικό σφάλμα | Παλινδρόμηση | (y − ŷ)² | Επιβάλλει ισχυρή ποινή στα μεγάλα αποκλίματα· ευαίσθητο στις ακραίες τιμές |
| Απόλυτο σφάλμα | Παλινδρόμηση | απόλυτη τιμή του y − ŷ | Αναλογική ποινή· ανθεκτικό στις ακραίες τιμές |
| Δυαδική διασταυρούμενη εντροπία | Δυαδική ταξινόμηση | −[y·log(p) + (1−y)·log(1−p)] | Λειτουργεί επί της προβλεπόμενης πιθανότητας p, όχι επί της κλάσης |
| Απώλεια άρθρωσης (hinge) | Ταξινόμηση με περιθώριο | max(0, 1 − y·score) | Επιβάλλει ποινή και στα σωστά σημεία που είναι πολύ κοντά στο σύνορο |
Το τετραγωνικό σφάλμα προσαρμόζει τον δεσμευμένο μέσο, το απόλυτο σφάλμα τη δεσμευμένη διάμεσο. Η επιλογή ανήκει στο επιχειρησιακό ερώτημα: το κόστος ενός σημαντικού σφάλματος είναι ανάλογο του μεγέθους του, ή περισσότερο από ανάλογο;
| Κριτήριο | Παράμετρος | Υπερπαράμετρος |
|---|---|---|
| Ποιος καθορίζει την τιμή | Ο αλγόριθμος μάθησης | Ο μηχανικός, ή μια διαδικασία αναζήτησης |
| Πότε | Κατά την εκπαίδευση | Πριν από την εκπαίδευση |
| Πηγή της τιμής | Τα δεδομένα εκπαίδευσης | Μια επικυρωμένη μεθοδολογική επιλογή |
| Παραδείγματα | Συντελεστές, κατώφλια ενός δέντρου, βάρη ενός δικτύου | Μέγιστο βάθος, ρυθμός μάθησης, συντελεστής κανονικοποίησης, αριθμός δέντρων |
| Αποτέλεσμα μιας τροποποίησης | Αλλάζει τις προβλέψεις του προσαρμοσμένου μοντέλου | Αλλάζει το μοντέλο που θα προσαρμοστεί |
Οι υπερπαράμετροι ορίζουν το H και τη διαδικασία βελτιστοποίησης· οι
παράμετροι δηλώνουν το σημείο που κρατήθηκε στο H. Η ρύθμισή τους εξετάζεται στο
κεφάλαιο 009.
Ο κύκλος δεν περιλαμβάνει κανένα στάδιο κατανόησης, ερμηνείας ή αιτιακού συλλογισμού. Περιλαμβάνει μια συναρτησιακή μορφή επιλεγμένη από τον μηχανικό, ένα μέτρο απόκλισης επιλεγμένο από τον μηχανικό, και μια αριθμητική διαδικασία που μειώνει αυτό το μέτρο.
Δεν υπάρχει κατανόηση. Υπάρχει επαναληπτική ελαχιστοποίηση μιας βαθμωτής ποσότητας.
Αυτό δεν είναι ρητορική προφύλαξη: ένα μοντέλο θα αξιοποιήσει κάθε στατιστική κανονικότητα παρούσα στα δεδομένα, συμπεριλαμβανομένων εκείνων που δεν έχουν κανένα επιχειρησιακό νόημα, εκείνων που προκύπτουν από τεχνουργήματα συλλογής, και εκείνων που δεν θα επιβιώσουν στην παραγωγή.
Ένας χειριστής διαθέτει ένα όργανο με δύο ροδέλες και ένα βαθμονομημένο καντράν που εμφανίζει μια απόκλιση. Δεν αντιλαμβάνεται τον ήχο. Γυρίζει την πρώτη ροδέλα, διαβάζει το καντράν, διαπιστώνει ότι η απόκλιση μειώθηκε, συνεχίζει προς την ίδια κατεύθυνση. Όταν η απόκλιση παύει να μειώνεται, περνά στη δεύτερη ροδέλα. Μετά από μερικές δεκάδες προσαρμογές, το καντράν εμφανίζει ελάχιστη απόκλιση.
Ο χειριστής δεν άκουσε τίποτα, δεν έχει καμία έννοια μουσικής και δεν θα μπορούσε να εξηγήσει τι είναι μια δίκαιη πέμπτη. Ελαχιστοποίησε την τιμή ενός καντράν.
Δύο συνέπειες μεταφέρονται ακριβώς: αν το καντράν είναι κακώς βαθμονομημένο, το όργανο θα είναι παράφωνο με εμφανιζόμενη μηδενική απόκλιση — κρίσιμος ρόλος της συνάρτησης απώλειας και των ετικετών· αν το καντράν μετρά μόνο μία χορδή στις έξι, οι πέντε άλλες θα παραμείνουν παράφωνες — κρίσιμος ρόλος της επιλογής της μετρικής.
Εργασία: εκτίμηση της τιμής πώλησης μιας κατοικίας από την επιφάνειά της.
X = επιφάνεια σε m², Y = τιμή σε δολάρια, n = 4.
| Κατοικία | Επιφάνεια (m²) | Παρατηρηθείσα τιμή ($) |
|---|---|---|
| A | 75 | 272 500 |
| B | 100 | 370 000 |
| C | 125 | 467 500 |
| D | 150 | 560 000 |
Ο μηχανικός υποθέτει μια αφινική σχέση τιμή = a × επιφάνεια + b. Αυτή η επιλογή
ορίζει το H: το σύνολο των ευθειών του επιπέδου. Οι παράμετροι προς προσδιορισμό είναι
το a (τιμή ανά τετραγωνικό μέτρο) και το b (σταθερός όρος). Η συνάρτηση απώλειας που κρατήθηκε
είναι το απόλυτο σφάλμα, επιλεγμένο για την αναγνωσιμότητα των υπολογισμών· ο
εμπειρικός κίνδυνος είναι λοιπόν το μέσο απόλυτο σφάλμα επί των τεσσάρων κατοικιών.
| Κατοικία | Επιφάνεια | Παρατηρηθείσα τιμή | Προβλεπόμενη τιμή | Απόλυτο σφάλμα |
|---|---|---|---|---|
| A | 75 | 272 500 | 75 000 | 197 500 |
| B | 100 | 370 000 | 100 000 | 270 000 |
| C | 125 | 467 500 | 125 000 | 342 500 |
| D | 150 | 560 000 | 150 000 | 410 000 |
| Μέσο σφάλμα | 305 000 |
Όλες οι προβλέψεις είναι κατώτερες των παρατηρηθεισών τιμών και η απόκλιση αυξάνεται με
την επιφάνεια: ο συντελεστής a είναι πολύ χαμηλός. Κατεύθυνση διόρθωσης:
αύξηση του a.
| Κατοικία | Επιφάνεια | Παρατηρηθείσα τιμή | Προβλεπόμενη τιμή | Απόλυτο σφάλμα |
|---|---|---|---|---|
| A | 75 | 272 500 | 150 000 | 122 500 |
| B | 100 | 370 000 | 200 000 | 170 000 |
| C | 125 | 467 500 | 250 000 | 217 500 |
| D | 150 | 560 000 | 300 000 | 260 000 |
| Μέσο σφάλμα | 192 500 |
Το μέσο σφάλμα πέφτει από 305 000 σε 192 500: η διόρθωση πήγαινε προς τη σωστή κατεύθυνση. Η διάγνωση είναι αμετάβλητη, συνεχίζουμε με μεγαλύτερο βήμα.
| Κατοικία | Επιφάνεια | Παρατηρηθείσα τιμή | Προβλεπόμενη τιμή | Απόλυτο σφάλμα |
|---|---|---|---|---|
| A | 75 | 272 500 | 262 500 | 10 000 |
| B | 100 | 370 000 | 350 000 | 20 000 |
| C | 125 | 467 500 | 437 500 | 30 000 |
| D | 150 | 560 000 | 525 000 | 35 000 |
| Μέσο σφάλμα | 23 750 |
Η διάγνωση αλλάζει φύση: τα σφάλματα είναι πλέον της ίδιας τάξης
μεγέθους και όλα του ίδιου προσήμου, με τις προβλέψεις να παραμένουν κατώτερες των
παρατηρηθεισών τιμών κατά περίπου 25 000 $. Αυτή η σταθερή μετατόπιση δεν διορθώνεται από το
a — η αύξησή του θα υποβάθμιζε τις μεγάλες επιφάνειες. Ανήκει στον σταθερό
όρο b.
| Κατοικία | Επιφάνεια | Παρατηρηθείσα τιμή | Προβλεπόμενη τιμή | Προσημασμένο σφάλμα | Απόλυτο σφάλμα |
|---|---|---|---|---|---|
| A | 75 | 272 500 | 287 500 | −15 000 | 15 000 |
| B | 100 | 370 000 | 375 000 | −5 000 | 5 000 |
| C | 125 | 467 500 | 462 500 | +5 000 | 5 000 |
| D | 150 | 560 000 | 550 000 | +10 000 | 10 000 |
| Μέσο σφάλμα | 8 750 |
Τα σφάλματα είναι πλέον αντίθετου προσήμου: δύο προβλέψεις πολύ υψηλές,
δύο πολύ χαμηλές. Καμία συνολική διόρθωση του a ή του b δεν μπορεί πλέον να μειώσει
το σύνολο ταυτόχρονα. Η διαδικασία έφτασε σε καθεστώς συμβιβασμού, γεγονός που
αποτελεί το κριτήριο διακοπής.
εκτιμώμενη τιμή = 3 500 × επιφάνεια + 25 000Αυτοί οι δύο αριθμοί αποτελούν το σύνολο όσων μαθεύτηκαν. Εφαρμοσμένο σε μια νέα περίπτωση, κατοικία 110 m² απόυσα από το δείγμα:
εκτιμώμενη τιμή = 3 500 × 110 + 25 000 = 410 000 $Το μοντέλο παράγει μια τιμή για μια παρατήρηση που δεν συνάντησε ποτέ. Αυτό το πέρασμα από το γνωστό στο άγνωστο είναι η γενίκευση, που εξετάζεται στο σημείο 7.
Πρώτο δίδαγμα — Καμία κατανόηση του τομέα δεν κινητοποιείται
Η διαδικασία δεν κινητοποίησε καμία γνώση της αγοράς ακινήτων. Δεν συμβουλεύτηκε
κανένα τιμολόγιο, δεν γνωρίζει ούτε την έννοια της συνοικίας, ούτε εκείνη της κατάστασης του ακινήτου, ούτε
εκείνη του επιτοκίου. Παρήγαγε δύο αριθμούς που ελαχιστοποιούν έναν μέσο
αποκλίσεων. Το γεγονός ότι το a = 3 500 ερμηνεύεται ως τιμή ανά τετραγωνικό μέτρο είναι
ανάγνωση που πραγματοποιεί ο αναλυτής a posteriori, όχι γνώση
που κατέχει το μοντέλο.
Δεύτερο δίδαγμα — Ο μηχανισμός είναι δοκιμή, μέτρηση, προσαρμογή
Παρουσιάστηκαν τέσσερις επαναλήψεις· ένας πραγματικός αλγόριθμος εκτελεί χιλιάδες, με προσαρμογές μικρού εύρους καθοδηγούμενες από την κλίση αντί από την επιθεώρηση των προσήμων σφάλματος. Η λογική δομή είναι εκείνη του σημείου 3, χωρίς προσθήκη: πρόταση, μέτρηση της απόκλισης, διόρθωση προς την κατεύθυνση που μειώνει την απόκλιση.
Τρίτο δίδαγμα — Η μορφή του κανόνα επιλέγεται από τον μηχανικό
Η μηχανή δεν αποφάσισε ότι η τιμή θα ήταν αφινική συνάρτηση της επιφάνειας. Αυτή η υπόθεση τέθηκε πριν από κάθε υπολογισμό και περιορίζει οριστικά το αποτέλεσμα: αν η πραγματική σχέση είναι σε σκαλοπάτι, φτάνει σε πλατώ πέραν μιας ορισμένης επιφάνειας, ή εξαρτάται από αλληλεπίδραση με τη συνοικία, αυτό το μοντέλο δεν θα μπορέσει ποτέ να την αναπαραστήσει, όποιος και αν είναι ο όγκος δεδομένων που παρέχεται. Η επιλογή της κλάσης μοντέλων είναι πράξη μηχανικής προγενέστερη και ανώτερη της προσαρμογής: είναι το σφάλμα προσέγγισης που ορίστηκε στο σημείο 1.
Εργασία: πρόβλεψη αν ένας υποψήφιος πελάτης θα πραγματοποιήσει αγορά από την ηλικία του και από
τον ετήσιο μισθό του. X = (ηλικία, μισθός), Y = {Αγορά, Όχι αγορά}, n = 6.
| Υποψήφιος | Ηλικία | Ετήσιος μισθός ($) | Αγορά |
|---|---|---|---|
| P1 | 22 | 28 000 | Όχι |
| P2 | 25 | 32 000 | Όχι |
| P3 | 31 | 41 000 | Όχι |
| P4 | 38 | 58 000 | Ναι |
| P5 | 45 | 72 000 | Ναι |
| P6 | 52 | 85 000 | Ναι |
Η τυπική διαφορά με το σημείο 4 έγκειται στη φύση του Y: ένα πεπερασμένο
μη διατεταγμένο σύνολο αντικαθιστά ένα διάστημα πραγματικών. Μόνη αυτή η διαφορά αλλάζει
τη συνάρτηση απώλειας, τις μετρικές αξιολόγησης και τη γεωμετρική ερμηνεία
του μοντέλου.
Αυστηρός ορισμός
Για έναν ταξινομητή f̂ : X → Y, το σύνορο απόφασης είναι το υποσύνολο του
X που αποτελείται από τα σημεία στα οποία ο κανόνας απόφασης αλλάζει την αποδιδόμενη
κλάση. Στη δυαδική περίπτωση που βασίζεται σε συνεχές σκορ s(x) και κατώφλι t,
είναι το σύνολο στάθμης { x ∈ X | s(x) = t }. Διαμερίζει το X σε
περιοχές απόφασης, καθεμία συνδεδεμένη με μια κλάση.
Γεωμετρική ιδιότητα
Σε έναν χώρο d μεταβλητών, το σύνορο είναι μια υπερεπιφάνεια διάστασης
d − 1: ένα σημείο σε μια ευθεία, μια καμπύλη στο επίπεδο, μια επιφάνεια σε
τρεις διαστάσεις.
| Κλάση μοντέλων | Μορφή του συνόρου |
|---|---|
| Λογιστική παλινδρόμηση | Υπερεπίπεδο: ευθεία στο επίπεδο |
| Δέντρο απόφασης | Τμήματα παράλληλα προς τους άξονες, σε σκαλοπάτι |
| Μηχανή διανυσμάτων υποστήριξης με πυρήνα | Κανονική καμπύλη, μορφή εξαρτώμενη από τον πυρήνα |
| Νευρωνικό δίκτυο | Υπερεπιφάνεια αυθαίρετα πολύπλοκη |
Σημείο προσοχής
Το σύνορο είναι μετατοπίσιμο χωρίς επανεκπαίδευση: η τροποποίηση του κατωφλίου t το
μετατοπίζει κατά μήκος των γραμμών στάθμης του σκορ. Αυτή η ιδιότητα αξιοποιείται στο
κεφάλαιο 062.
Επί των έξι παρατηρήσεων, ένας αφινικός κανόνας διαχωρίζει τέλεια τις δύο ομάδες:
ακατέργαστο σκορ = μισθός + 1 000 × ηλικία, σύνορο στο 90 000.
| Υποψήφιος | Ακατέργαστο σκορ | Θέση | Προβλεπόμενη κλάση | Παρατηρηθείσα κλάση |
|---|---|---|---|---|
| P1 | 50 000 | Κάτω από το σύνορο | Όχι | Όχι |
| P2 | 57 000 | Κάτω από το σύνορο | Όχι | Όχι |
| P3 | 72 000 | Κάτω από το σύνορο | Όχι | Όχι |
| P4 | 96 000 | Πάνω | Ναι | Ναι |
| P5 | 117 000 | Πάνω | Ναι | Ναι |
| P6 | 137 000 | Πάνω | Ναι | Ναι |
Σημείο προσοχής: ένας τέλειος διαχωρισμός επί έξι παρατηρήσεων δεν είναι επίδοση. Όταν ο αριθμός παρατηρήσεων είναι χαμηλός σε σχέση με τον αριθμό μεταβλητών, ο τέλειος διαχωρισμός είναι συχνός και αποτελεί μάλιστα σήμα επαγρύπνησης ως προς την υπερπροσαρμογή (κεφάλαιο 031).
Ένας ταξινομητής δεν παράγει απευθείας μια κλάση. Παράγει πρώτα ένα συνεχές σκορ, που συνήθως μετατρέπεται σε εκτίμηση δεσμευμένης πιθανότητας, και έπειτα εφαρμόζει ένα κατώφλι για να αποφασίσει.
Αυστηρός ορισμός
Ένας πιθανοτικός ταξινομητής εκτιμά τον δεσμευμένο νόμο P(Y | X = x). Για ένα
δυαδικό πρόβλημα με Y = {0, 1}, παράγει p̂(x) ∈ [0, 1] που εκτιμά το
P(Y = 1 | X = x). Ο κανόνας απόφασης που συνδέεται με ένα κατώφλι t είναι: ŷ = 1 αν
p̂(x) ≥ t, ŷ = 0 διαφορετικά.
| Πράξη | Φύση | Ποιος την καθορίζει | Τροποποιήσιμη μετά την εκπαίδευση |
|---|---|---|---|
Εκτίμηση του p̂(x) | Στατιστική | Το μοντέλο, με προσαρμογή επί του D | Όχι, χωρίς επανεκπαίδευση |
Επιλογή του κατωφλίου t | Αποφασιστική | Ο οργανισμός, σύμφωνα με το κόστος των σφαλμάτων | Ναι, αμέσως |
Σημείο προσοχής για τη βαθμονόμηση
Ένα υψηλό σκορ δεν ισοδυναμεί με αξιόπιστη πιθανότητα. Ένα μοντέλο είναι βαθμονομημένο όταν, μεταξύ των παρατηρήσεων στις οποίες αποδίδει σκορ 0,80, περίπου το 80 % ανήκει πράγματι στη θετική κλάση. Τα ακατέργαστα σκορ πολλών αλγορίθμων δεν διαθέτουν αυτή την ιδιότητα και απαιτούν επαναβαθμονόμηση (κεφάλαιο 029).
Μετάφραση σε καθημερινή γλώσσα
Το μοντέλο παράγει έναν βαθμό εμπιστοσύνης. Η μετατροπή αυτού του βαθμού σε απόφαση είναι επιλογή διαχείρισης, όχι τεχνική επιλογή. Η τιμή 0,50 είναι προεπιλογή υλοποίησης, ποτέ δικαιολόγηση.
Για τη νέα περίπτωση «35 έτη, 60 000 $», το ακατέργαστο σκορ αξίζει 95 000, δηλαδή 5 000
πάνω από το σύνορο· μετατρεπόμενο σε πιθανότητα, δίνει
P(y = Αγορά | x) = 0,81, και το προεπιλεγμένο κατώφλι 0,50 οδηγεί στην πρόβλεψη
«Αγορά». Με κατώφλι ανυψωμένο στο 0,85, η ίδια παρατήρηση, το ίδιο μοντέλο και το
ίδιο σκορ θα οδηγούσαν στην πρόβλεψη «Όχι αγορά». Το μοντέλο δεν άλλαξε·
η απόφαση άλλαξε. Η επιλογή του κατωφλίου ανήκει στο αντίστοιχο κόστος των δύο τύπων
σφαλμάτων, που εξετάζεται στα κεφάλαια 052 και 062.
| Κριτήριο | Παλινδρόμηση (σημείο 4) | Ταξινόμηση (σημείο 5) |
|---|---|---|
Φύση του Y | Διάστημα πραγματικών | Πεπερασμένο μη διατεταγμένο σύνολο |
| Ακατέργαστη έξοδος του μοντέλου | Μια αριθμητική τιμή | Ένα σκορ ή μια πιθανότητα ανά κλάση |
| Συμπληρωματικό στάδιο απόφασης | Κανένα | Εφαρμογή ενός κατωφλίου |
| Συνήθης συνάρτηση απώλειας | Τετραγωνικό σφάλμα, απόλυτο σφάλμα | Διασταυρούμενη εντροπία |
| Γεωμετρική ερμηνεία | Καμπύλη προσαρμογής | Σύνορο απόφασης |
| Μετρικές αξιολόγησης | Μέσο σφάλμα, συντελεστής προσδιορισμού | Ορθότητα, ακρίβεια, ανάκληση, εμβαδόν υπό την καμπύλη |
| Εκπαίδευση | Αξιολόγηση | Παραγωγή | |
|---|---|---|---|
| Φύση των δεδομένων | Σύνολο εκπαίδευσης, ιστορικό | Σύνολο δοκιμής, ιστορικό που τέθηκε στην άκρη | Πραγματική ροή, νέες παρατηρήσεις |
| Διαθέσιμη ετικέτα | Ναι, χρησιμοποιείται για την προσαρμογή | Ναι, μόνο για τη σύγκριση | Όχι, τη στιγμή της πρόβλεψης |
| Ενέργεια του συστήματος | Προσαρμογή των παραμέτρων | Πρόβλεψη και μέτρηση της απόκλισης | Πρόβλεψη |
| Κλήση κώδικα | model.fit(X_train, y_train) | model.predict(X_test) έπειτα σύγκριση με y_test | model.predict(x_nouveau) |
| Τροποποιείται το μοντέλο | Ναι | Όχι | Όχι |
| Αναλογία | Η προετοιμασία με τις διορθώσεις | Η δοκιμαστική εξέταση επί πρωτόγνωρων θεμάτων | Η πραγματική επαγγελματική άσκηση |
| Τι λαμβάνουμε | Ένα προσαρμοσμένο μοντέλο | Μια εκτίμηση του αναμενόμενου κινδύνου | Μια λειτουργική απόφαση |
# Καθεστώς 1 — εκπαίδευση: το μοντέλο βλέπει x και y
model.fit(X_train, y_train)
# Καθεστώς 2 — αξιολόγηση: το μοντέλο βλέπει x, το y χρησιμεύει μόνο στη σύγκριση
y_pred = model.predict(X_test)
score = metrique(y_test, y_pred)
# Καθεστώς 3 — παραγωγή: το y δεν υπάρχει ακόμη
y_estime = model.predict(x_nouvelle_observation)Η επαγγελματική δυσκολία δεν έγκειται στη γραφή αυτών των τριών γραμμών,
αλλά στη σωστή συγκρότηση των X_train, X_test και των ετικετών τους.
Μείζον σημείο προσοχής
Η αξιολόγηση ενός μοντέλου επί των δεδομένων που χρησίμευσαν στην εκπαίδευσή του παράγει μια αισιόδοξη εκτίμηση, στερημένη πληροφοριακής αξίας.
Η τυπική δικαιολόγηση δόθηκε στο σημείο 1: το f̂ επιλέχθηκε
ακριβώς για να ελαχιστοποιήσει το R̂ επί αυτών των παρατηρήσεων, ώστε το R̂(f̂) να είναι
μεροληπτικός εκτιμητής του R(f̂). Οι τρόποι διαχωρισμού και η διασταυρούμενη επικύρωση
εξετάζονται στο κεφάλαιο 026.
Αυστηρός ορισμός
D που χρησιμοποιείται για την προσαρμογή
των παραμέτρων.Δικαιολόγηση της διάκρισης επικύρωσης / δοκιμής
Κάθε επιλογή που πραγματοποιείται βάσει ενός σκορ επί ενός συνόλου δεδομένων βελτιστοποιεί σιωπηρά επί αυτού του συνόλου. Ένα σύνολο επικύρωσης που συμβουλεύεται κανείς αρκετές δεκάδες φορές παύει να είναι ουδέτερο: η διαδικασία επιλογής εισήγαγε σε αυτό μια αισιόδοξη μεροληψία, ίδιας φύσης με εκείνη του συνόλου εκπαίδευσης αν και μικρότερου εύρους.
Λειτουργικός κανόνας
Το σύνολο δοκιμής ανοίγεται μόνο μία φορά, και το αποτέλεσμα που λαμβάνεται είναι εκείνο που αναφέρεται. Αν συμβουλευτεί και ακολουθηθεί από τροποποίηση του μοντέλου, έχει αλλάξει φύση και έχει γίνει σύνολο επικύρωσης.
Ένα σχολείο επιθυμεί να εκτιμήσει τα αποτελέσματα των μαθητών του στην τελική εξέταση.
Ελαττωματικό πρωτόκολλο: η δοκιμαστική εξέταση επαναλαμβάνει τις ασκήσεις της συλλογής εκπαίδευσης. Τα αποτελέσματα είναι άριστα και δεν προβλέπουν τίποτα· μετρούν την απομνημόνευση της συλλογής.
Έγκυρο πρωτόκολλο: η δοκιμαστική εξέταση αφορά πρωτόγνωρα θέματα, ίδιας φύσης και ίδιας δυσκολίας με εκείνα της τελικής εξέτασης. Τα αποτελέσματα είναι χαμηλότερα και αποτελούν αξιοποιήσιμη εκτίμηση.
Η διαφορά μεταξύ των δύο πρωτοκόλλων δεν είναι η δυσκολία των θεμάτων, αλλά το γεγονός ότι αυτά χρησιμοποιήθηκαν, ή όχι, κατά την προετοιμασία. Αυτό είναι το μόνο ερώτημα που διέπει την εγκυρότητα μιας αξιολόγησης.
Αυστηρός ορισμός
Η γενίκευση δηλώνει την ικανότητα ενός προσαρμοσμένου μοντέλου να διατηρεί ένα δεδομένο επίπεδο
επίδοσης επί παρατηρήσεων προερχόμενων από την ίδια κατανομή P(X, Y)
με εκείνες του δείγματος εκμάθησης, αλλά μη παρατηρηθείσες κατά την
προσαρμογή. Ποσοτικοποιείται από το χάσμα γενίκευσης
R(f̂) − R̂(f̂): ένα χαμηλό χάσμα υποδεικνύει ότι η επίδοση που μετρήθηκε επί
του δείγματος είναι αντιπροσωπευτική της αναμενόμενης επίδοσης.
Συνθήκη εγκυρότητας
Ο ορισμός περιλαμβάνει μια ρητή συνθήκη: «προερχόμενες από την ίδια κατανομή». Όταν η κατανομή των δεδομένων παραγωγής διαφέρει από εκείνη των δεδομένων εκμάθησης, η εγγύηση δεν εφαρμόζεται πλέον. Αυτό το φαινόμενο είναι η παρέκκλιση (drift), που εξετάζεται στο κεφάλαιο 082· η γενίκευση δεν προστατεύει από αυτήν.
Μετάφραση σε καθημερινή γλώσσα
Γενίκευση σημαίνει λειτουργία σε περιπτώσεις που δεν συναντήθηκαν ποτέ, και όχι μόνο σε εκείνες που χρησίμευσαν στη μάθηση.
| Σφάλμα εκπαίδευσης | Σφάλμα γενίκευσης | |
|---|---|---|
| Ορισμός | Εμπειρικός κίνδυνος επί του συνόλου εκπαίδευσης | Αναμενόμενος κίνδυνος επί της γεννήτριας κατανομής |
| Συμβολισμός | R̂(f̂) επί του D_train | R(f̂) |
| Υπολογίσιμο | Ναι, απευθείας | Όχι, μόνο εκτιμήσιμο |
| Πρακτικός εκτιμητής | — | Σφάλμα μετρημένο επί του συνόλου δοκιμής |
| Τι μετρά | Την ποιότητα προσαρμογής στα δεδομένα που είδε | Την αναμενόμενη ποιότητα στην παραγωγή |
| Μπορεί να είναι μηδενικό | Ναι, από ένα αρκετά εκφραστικό μοντέλο | Όχι, το μη αναγώγιμο σφάλμα το οριοθετεί |
| Αποφασιστική αξία | Μηδενική μεμονωμένα | Μοναδική αποφασιστική αξία του έργου |
Το χάσμα μεταξύ των δύο αποτελεί την κύρια διάγνωση του επαγγελματία.
| Σφάλμα εκπαίδευσης | Σφάλμα δοκιμής | Διάγνωση | Αντιμετώπιση |
|---|---|---|---|
| Υψηλό | Υψηλό | Υποπροσαρμογή: υπερβολικά περιορισμένο μοντέλο | Εμπλουτισμός μεταβλητών, αύξηση εκφραστικότητας |
| Χαμηλό | Υψηλό | Υπερπροσαρμογή: το μοντέλο απομνημόνευσε | Κανονικοποίηση, απλοποίηση, αύξηση όγκου |
| Χαμηλό | Χαμηλό | Ικανοποιητικό καθεστώς | Επαλήθευση απουσίας διαρροής (κεφάλαιο 028) |
| Υψηλό | Χαμηλό | Ανώμαλη κατάσταση | Επαλήθευση του πρωτοκόλλου διαχωρισμού |
Ένα μοντέλο πρόβλεψης ζήτησης εκπαιδεύεται στα δεδομένα Ιανουαρίου έως Ιουνίου. Επιτυγχάνει μέσο σφάλμα 3,1 % σε αυτή την περίοδο. Αυτό το νούμερο δεν παρουσιάζει κανένα αποφασιστικό ενδιαφέρον: περιγράφει την ικανότητα του μοντέλου να επαναπροσαρμόζει μια περίοδο της οποίας γνωρίζει ήδη τις τιμές.
Το μόνο ερώτημα που μετρά είναι: ποιο είναι το σφάλμα στον Ιούλιο;
Ο Ιούλιος δεν παρατηρήθηκε κατά την προσαρμογή. Η επίδοση στον Ιούλιο είναι η μόνη πληροφορία που ενημερώνει για όσα θα παράγει το μοντέλο τον Αύγουστο και σε κάθε μελλοντική περίοδο. Ό,τι ισχύει για έναν χρονικό διαχωρισμό ισχύει για έναν τυχαίο διαχωρισμό, ανά τοποθεσία, ανά πελάτη ή ανά περιοχή. Το ερώτημα είναι αναλλοίωτο: ποια είναι η επίδοση επί όσων δεν χρησίμευσαν στην προσαρμογή;
Καμία από αυτές τις τεχνικές δεν έχει ίδιο σκοπό. Ο διαχωρισμός των δεδομένων δεν υπάρχει για να τηρεί μια σύμβαση· η κανονικοποίηση δεν υπάρχει για να παράγει κομψότερα μοντέλα. Καθεμία υπάρχει για να καθιστά το σφάλμα γενίκευσης εκτιμήσιμο, ή για να το μειώνει.
Ένας επαγγελματίας που δεν ανάγει το σύνολο των μεθοδολογικών επιλογών του στο χάσμα γενίκευσης εφαρμόζει συνταγές.
Ένας ηθοποιός γνωρίζει εξ ολοκλήρου το κείμενο του έργου του. Το αποδίδει χωρίς σφάλμα, με τις επιτονίες ρυθμισμένες στην πρόβα: σε αυτό το ρεπερτόριο, η επίδοσή του είναι τέλεια.
Το βράδυ της παράστασης, ένας συνάδελφος παραλείπει μια ατάκα. Ο ηθοποιός που έχει απομνημονεύσει διακόπτεται: η μαθευμένη ακολουθία δεν αντιστοιχεί πλέον στην κατάσταση. Ο ηθοποιός που έχει κατανοήσει τη δραματική κατάσταση αυτοσχεδιάζει μια συνεπή ατάκα και συνεχίζει. Οι δύο ήταν αδιάκριτοι στην πρόβα: λάμβαναν το ίδιο σκορ στο σύνολο εκπαίδευσης.
| Ηθοποιός | Επί του γνωστού κειμένου | Επί της απρόβλεπτης κατάστασης | Αντίστοιχο μοντέλο |
|---|---|---|---|
| Εκείνος που απομνημόνευσε | Τέλειος | Ελαττωματικός | Υπερπροσαρμογή |
| Εκείνος που κατανόησε | Καλός | Καλός | Γενίκευση |
Σημείο μεταφοράς: ο μόνος τρόπος διάκρισης των δύο ηθοποιών είναι να τους θέσουμε μπροστά σε μια μη προβασμένη κατάσταση. Αυτή ακριβώς είναι η λειτουργία του συνόλου δοκιμής. Χωρίς αυτή τη δοκιμασία, τα δύο προφίλ είναι αδιάκριτα — και το ελαττωματικό προφίλ λαμβάνει μάλιστα τα καλύτερα εμφανή σκορ.
Πλαίσιο. Ένας βιομήχανος εκμεταλλεύεται 300 οργανολογημένες μηχανές κατανεμημένες σε τέσσερις τοποθεσίες, που μεταδίδουν συνεχώς μετρήσεις δόνησης, θερμοκρασίας, ηλεκτρικής κατανάλωσης και μετρητών χρήσης. Η υπηρεσία συντήρησης διαθέτει ημερολόγιο παρεμβάσεων που καλύπτει τριάντα μήνες. Μια μη προγραμματισμένη ακινητοποίηση κοστίζει περίπου 18 000 $ σε χαμένη παραγωγή· μια προγραμματισμένη προληπτική παρέμβαση, περίπου 1 200 $.
| Συνθήκη | Πραγματοποιηθείσα επαλήθευση | Καθεστώς |
|---|---|---|
| Ένας παρατηρήσιμος στόχος υπάρχει στο ιστορικό | Το ημερολόγιο επιτρέπει τη χρονολόγηση κάθε αστοχίας | Ικανοποιημένη |
| Το ιστορικό είναι επαρκές σε όγκο και σε γεγονότα | 30 μήνες, 300 μηχανές, 412 μη προγραμματισμένες αστοχίες | Ικανοποιημένη |
| Οι μεταβλητές είναι διαθέσιμες τη στιγμή της πρόβλεψης | Χρονοσημασμένες μετρήσεις, προσβάσιμες σε πραγματικό χρόνο | Ικανοποιημένη |
| Η πρόβλεψη ανοίγει σε ενεργοποιήσιμη απόφαση | Μια προληπτική παρέμβαση μπορεί να προγραμματιστεί | Ικανοποιημένη |
| Το κόστος του σφάλματος είναι αποδεκτό | Ψευδώς θετικό 1 200 $, ψευδώς αρνητικό 18 000 $ | Ικανοποιημένη, με ισχυρή ασυμμετρία |
Η αρχική επιχειρησιακή διατύπωση — «πρόβλεψη των βλαβών» — δεν είναι αξιοποιήσιμη ως έχει. Διερευνήθηκαν τέσσερις υποψήφιες διατυπώσεις.
| Υποψήφια διατύπωση | Τύπος προβλήματος | Απαγορευτικό ελάττωμα |
|---|---|---|
| «Είναι η μηχανή αυτή τη στιγμή σε βλάβη;» | Ταξινόμηση επί στιγμιαίας κατάστασης | Η μεταβλητή είναι απευθείας παρατηρήσιμη και η βλάβη έχει ήδη επέλθει. Καμία πρόβλεψη, άρα καμία δυνατή απόφαση |
| «Ποια είναι η υπολειπόμενη διάρκεια ζωής;» | Παλινδρόμηση | Απαιτεί την ακριβή ημερομηνία μελλοντικής αστοχίας για κάθε παρατήρηση. Οι μηχανές σε λειτουργία δεν έχουν ημερομηνία τέλους: το δείγμα είναι λογοκριμένο, γεγονός που ακυρώνει μια αφελής παλινδρόμηση |
| «Θα πάθει ποτέ βλάβη η μηχανή;» | Ταξινόμηση χωρίς ορίζοντα | Εκφυλισμένος στόχος: η απάντηση είναι θετική για όλες τις μηχανές. Επιπολασμός 100 %, καμία πληροφορία προς μάθηση |
| «Θα πάθει βλάβη η μηχανή στις επόμενες 7 ημέρες;» | Δυαδική ταξινόμηση με καθορισμένο ορίζοντα | Κρατήθηκε. Γνωστά και διαχειρίσιμα υπολειπόμενα ελαττώματα: ισχυρή ανισορροπία κλάσεων, ευαισθησία στην επιλογή του ορίζοντα |
Κρατημένος στόχος: panne_7j = 1 αν μια μη προγραμματισμένη αστοχία επέλθει στη
μηχανή στις 7 ημέρες μετά την ημερομηνία της μέτρησης, 0 διαφορετικά.
| Εξεταζόμενος ορίζοντας | Συνέπεια |
|---|---|
| 2 ημέρες | Ακριβέστερες αλλά μη αξιοποιήσιμες προβλέψεις: το τεμάχιο δεν παραδίδεται εγκαίρως. Καμία επιχειρησιακή αξία |
| 7 ημέρες | Συμβατό με την εφοδιαστική αλυσίδα παρέμβασης. Κρατημένος ορίζοντας |
| 30 ημέρες | Το προδρομικό σήμα είναι πολύ ασθενές σε αυτή την προθεσμία: ο επιπολασμός αυξάνεται αλλά ο διαχωρισμός πέφτει. Υπερβολικά πολλές και υπερβολικά πρώιμες ειδοποιήσεις |
Αρχή: ο ορίζοντας ενός προγνωστικού στόχου συνάγεται από τον χρόνο ενεργοποίησης της απόφασης, ποτέ από τη στατιστική ευκολία.
| Μεταβλητή | Περιγραφή | Επιχειρησιακή δικαιολόγηση |
|---|---|---|
vib_rms_24h | Μέση ενεργός δόνηση σε 24 ώρες | Άμεσος δείκτης φθοράς εδράνων και ανισορροπίας |
vib_delta_7j | Απόκλιση από τον μέσο των 7 προηγούμενων ημερών | Η υποβάθμιση σηματοδοτείται από μια εξέλιξη, όχι από ένα απόλυτο επίπεδο ίδιο σε κάθε μηχανή |
temp_max_24h | Μέγιστη θερμοκρασία του περιβλήματος σε 24 ώρες | Μια ανώμαλη υπερθέρμανση σηματοδοτεί τριβή ή ελάττωμα λίπανσης |
temp_ecart_consigne | Απόκλιση από την ονομαστική θερμοκρασία του μοντέλου | Κανονικοποιεί τη θερμοκρασία μεταξύ μηχανών διαφορετικών γενεών |
heures_depuis_maintenance | Ώρες λειτουργίας από την τελευταία παρέμβαση | Η φθορά είναι συνάρτηση του χρόνου υπηρεσίας, όχι του ημερολογιακού χρόνου |
cycles_jour_moyen_7j | Μέσος ημερήσιος αριθμός κύκλων σε 7 ημέρες | Μετρά την ένταση καταπόνησης |
conso_elec_ecart | Απόκλιση κατανάλωσης από τη γραμμή βάσης της μηχανής | Μια υπερκατανάλωση σε σταθερό φορτίο υποδεικνύει αυξημένη μηχανική αντίσταση |
nb_arrets_courts_30j | Αριθμός μικροδιακοπών σε 30 ημέρες | Οι μικροδιακοπές προηγούνται συχνά των μείζονων αστοχιών |
age_machine_mois | Αρχαιότητα της μηχανής | Το ποσοστό αστοχίας εξαρτάται από τη θέση στον κύκλο ζωής |
site | Τοποθεσία εκμετάλλευσης | Συλλαμβάνει τις διαφορές περιβάλλοντος: θερμοκρασία περιβάλλοντος, ποιότητα αέρα, τοπικές πρακτικές συντήρησης |
Σημείο προσοχής: τα vib_delta_7j, temp_ecart_consigne και
conso_elec_ecart είναι κατασκευασμένες μεταβλητές, όχι ακατέργαστες μετρήσεις. Η
κατασκευή τους πρέπει να είναι αναπαραγώγιμη ταυτοτικά στην παραγωγή (κεφάλαιο 040).
Μια παρατήρηση είναι ένα ζεύγος (μηχανή, ημερομηνία), δηλαδή περίπου 270 000 γραμμές. Ποσοστό θετικών γεγονότων: περίπου 1,1 %.
| machine_id | date | vib_rms_24h | vib_delta_7j | temp_max_24h | heures_depuis_maint. | nb_arrets_courts_30j | site | panne_7j |
|---|---|---|---|---|---|---|---|---|
| M-014 | 2024-03-11 | 2,1 | +0,1 | 64 | 820 | 0 | Nord | 0 |
| M-014 | 2024-03-12 | 2,2 | +0,2 | 65 | 828 | 0 | Nord | 0 |
| M-087 | 2024-05-02 | 5,8 | +2,4 | 81 | 2 340 | 4 | Sud | 1 |
| M-087 | 2024-05-03 | 6,1 | +2,7 | 84 | 2 348 | 5 | Sud | 1 |
| M-201 | 2024-07-19 | 3,4 | +0,3 | 71 | 1 510 | 1 | Est | 0 |
| M-233 | 2024-09-08 | 6,2 | +3,1 | 88 | 2 780 | 7 | Nord | 1 |
Ένα δέντρο απόφασης χαμηλού βάθους προσαρμοσμένο επί αυτών των δεδομένων παράγει την ακόλουθη δομή· οι πιθανότητες είναι εκείνες της θετικής κλάσης σε κάθε φύλλο.
Ανάγνωση: η πιο διακριτική μεταβλητή δεν είναι το επίπεδο δόνησης αλλά η πρόσφατη μεταβολή της, αποτέλεσμα συνεπές με την επιχειρησιακή τεχνογνωσία — κάθε μηχανή διαθέτει τη δική της δονητική υπογραφή, και είναι η απόκλιση από αυτή την υπογραφή που φέρει την πληροφορία. Αυτή η συνέπεια δεν αποτελεί επικύρωση, αλλά η απουσία της θα αποτελούσε σήμα συναγερμού για την κατασκευή των δεδομένων.
| Παγίδα | Εκδήλωση σε αυτή την περίπτωση | Συνέπεια αν δεν αντιμετωπιστεί | Κεφάλαιο |
|---|---|---|---|
| Ανισορροπία των κλάσεων | 1,1 % θετικών παρατηρήσεων | Ένα μοντέλο που προβλέπει πάντα «όχι βλάβη» επιτυγχάνει ορθότητα 98,9 % και δεν ανιχνεύει τίποτα. Η ορθότητα είναι μη χρησιμοποιήσιμη ως μετρική | 050 |
| Ασύμμετρο κόστος των σφαλμάτων | Ψευδώς αρνητικό 18 000 $, ψευδώς θετικό 1 200 $, λόγος 15 προς 1 | Ένα κατώφλι στο 0,50 ελαχιστοποιεί τον αριθμό σφαλμάτων, όχι το κόστος τους. Το κατώφλι πρέπει να χαμηλώσει έως το σημείο οικονομικής ισορροπίας | 052 και 075 |
| Διαρροή δεδομένων | Οι στήλες date_intervention, code_panne και duree_arret συμπληρώνονται μόνο μετά την αστοχία | Σχεδόν τέλεια επίδοση στην επικύρωση, κατάρρευση στην παραγωγή. Ο συχνότερος τρόπος αποτυχίας σε αυτόν τον τύπο έργου | 028 |
| Υπερπροσαρμογή | 270 000 γραμμές αλλά 412 πραγματικά γεγονότα, και ισχυρές συσχετίσεις μεταξύ διαδοχικών μετρήσεων της ίδιας μηχανής | Το μοντέλο απομνημονεύει τις υπογραφές των μηχανών που γνώρισαν βλάβη αντί να μάθει τον μηχανισμό υποβάθμισης | 031 |
| Παρέκκλιση | Ανανέωση του στόλου, αλλαγή προμηθευτή τεμαχίων, τροποποίηση των ρυθμών | Η επίδοση υποβαθμίζεται σταδιακά χωρίς ειδοποίηση, με τους αισθητήρες να συνεχίζουν να εκπέμπουν εύλογες τιμές | 082 |
Τι συμβαίνει
Η τυχαία δειγματοληψία του 20 % των 270 000 γραμμών για τη συγκρότηση του συνόλου δοκιμής τοποθετεί τις μετρήσεις της μηχανής M-087 της 2ας Μαΐου στην εκπαίδευση και εκείνες της 3ης Μαΐου στη δοκιμή, ενώ είναι σχεδόν ταυτόσημες. Το μοντέλο αξιολογείται επί παρατηρήσεων των οποίων είδε σχεδόν αντίγραφα κατά την προσαρμογή: το σφάλμα δοκιμής γίνεται αισιόδοξος εκτιμητής του σφάλματος γενίκευσης, καθώς η συνθήκη «μη παρατηρηθείσες» δεν ικανοποιείται στην πράξη αν και ικανοποιείται τυπικά στο επίπεδο της γραμμής.
Σωστό πρωτόκολλο
Ο διαχωρισμός πρέπει να αναπαράγει την κατάσταση παραγωγής: το μοντέλο θα εφαρμοστεί σε ημερομηνίες μεταγενέστερες εκείνων της εκπαίδευσής του, και ενίοτε σε νεοεγκατεστημένες μηχανές.
| Διαχωρισμός | Ερώτημα στο οποίο απαντά |
|---|---|
| Χρονικός: εκπαίδευση σε 24 μήνες, δοκιμή στους 6 τελευταίους | Λειτουργεί το μοντέλο στην επερχόμενη περίοδο; |
| Ανά μηχανή: εκπαίδευση σε 240 μηχανές, δοκιμή σε 60 δεσμευμένες | Λειτουργεί το μοντέλο σε μηχανή που δεν παρατηρήθηκε ποτέ; |
Οι δύο εκτιμήσεις είναι χρήσιμες και απαντούν σε διακριτά ερωτήματα (κεφάλαιο 026).
Το παράδειγμα του σημείου 4 παρήγαγε a = 3 500. Είναι δελεαστικό να συναγάγει κανείς ότι το
μοντέλο «γνωρίζει» ότι το τετραγωνικό μέτρο αξίζει 3 500 $. Το μοντέλο δεν κατέχει καμία
έννοια τετραγωνικού μέτρου, τιμής ούτε κατοικίας: κατέχει δύο αριθμούς που
ελαχιστοποιούν έναν μέσο αποκλίσεων επί τεσσάρων παρατηρήσεων.
Λειτουργική συνέπεια: μια επιφάνεια 900 m² θα παράγει εκτίμηση 3 175 000 $ χωρίς κανένας μηχανισμός να ειδοποιεί για τον παραλογισμό της παρέκτασης.
Σωστή διατύπωση: «Το μοντέλο προσάρμοσε δύο παραμέτρους ελαχιστοποιώντας τη μέση απόκλιση από τις παρατηρηθείσες τιμές επί του παρεχόμενου δείγματος.»
Η επίβλεψη χαρακτηρίζει τη διαθεσιμότητα ετικετών αναφοράς κατά την εκπαίδευση. Δεν περιγράφει το καθεστώς λειτουργίας του αναπτυγμένου συστήματος, που μπορεί να είναι πλήρως αυτόματο. Αυτή η σύγχυση οδηγεί στην υπόθεση ενός ανθρώπινου ελέγχου που δεν υπάρχει, και στη μη πρόβλεψη των απαραίτητων προστασιών.
Σωστή διατύπωση: «Η μάθηση λέγεται επιβλεπόμενη διότι κάθε παρατήρηση εκπαίδευσης συνοδευόταν από την τιμή-στόχο προς αναπαραγωγή. Η παρουσία χειριστή στην παραγωγή είναι διακριτή απόφαση.»
Η ετικέτα παρουσιάζεται ως η αλήθεια αναφοράς. Στην πραγματικότητα είναι το προϊόν μιας διαδικασίας — καταγραφή, δήλωση, κρίση, κανόνας — που διαθέτει τις μεροληψίες της, τα τυφλά της σημεία και το δικό της ποσοστό σφάλματος.
Χαρακτηριστική περίπτωση: η εκπαίδευση ενός μοντέλου επί των ανιχνευθεισών απατών ισοδυναμεί με μάθηση ανίχνευσης όσων το τρέχον σύστημα ήδη ανιχνεύει· οι απάτες που του διαφεύγουν επισημαίνονται ως «μη δόλιες» στα δεδομένα.
Σωστή διατύπωση: «Η επίδοση του μοντέλου οριοθετείται από την ποιότητα της διαδικασίας που παρήγαγε τις ετικέτες. Το πρώτο βήμα του έργου είναι η διερεύνηση αυτής της διαδικασίας.»
«Πρόβλεψη των βλαβών», «πρόβλεψη της αποχώρησης», «πρόβλεψη της απάτης» δεν είναι στόχοι αλλά προθέσεις. Ένας αξιοποιήσιμος στόχος περιλαμβάνει τρία στοιχεία: ένα γεγονός ορισμένο χωρίς αμφισημία, έναν χρονικό ορίζοντα, και μια ημερομηνία παρατήρησης από την οποία αυτός ο ορίζοντας ξεκινά. Χωρίς αυτά, η στήλη-στόχος δεν μπορεί να κατασκευαστεί, και δύο πρόσωπα που εργάζονται στο ίδιο έργο θα κατασκευάσουν δύο διαφορετικές εκδοχές.
Σωστή διατύπωση: «Το panne_7j αξίζει 1 όταν μια μη προγραμματισμένη αστοχία
επέρχεται στις 7 ημέρες μετά την ημερομηνία της μέτρησης, 0 διαφορετικά.»
Το σκορ που λαμβάνεται επί των δεδομένων που χρησίμευσαν στην προσαρμογή είναι εκτιμητής αισιόδοξα μεροληπτικός του αναμενόμενου κινδύνου: το μοντέλο επιλέχθηκε για να ελαχιστοποιήσει ακριβώς αυτή την ποσότητα. Ένα μη περιορισμένο δέντρο απόφασης επιτυγχάνει 100 % ορθότητα επί των δεδομένων εκπαίδευσής του, όποια και αν είναι τα δεδομένα· αυτό το νούμερο μετρά μόνο την ικανότητα απομνημόνευσής του.
Σωστή διατύπωση: «Το αναφερόμενο σφάλμα είναι εκείνο που μετρήθηκε επί συνόλου δοκιμής συγκροτημένου από παρατηρήσεις που δεν συμμετείχαν ούτε στην προσαρμογή των παραμέτρων ούτε στην επιλογή των υπερπαραμέτρων.»
Οι παράμετροι καθορίζονται από τον αλγόριθμο βάσει των δεδομένων· οι υπερπαράμετροι καθορίζονται πριν από την εκπαίδευση και ορίζουν τον χώρο των υποθέσεων καθώς και τη διαδικασία βελτιστοποίησης.
Λειτουργική συνέπεια: οι υπερπαράμετροι δεν μπορούν να ρυθμιστούν επί του συνόλου εκπαίδευσης, καθώς διέπουν την ικανότητα του μοντέλου να προσαρμοστεί σε αυτό· μια τέτοια ρύθμιση οδηγεί συστηματικά στο πιο εκφραστικό δυνατό μοντέλο, άρα στην υπερπροσαρμογή (κεφάλαιο 009).
Σωστή διατύπωση: «Οι υπερπαράμετροι επιλέγονται με επικύρωση επί δεδομένων διακριτών από εκείνα που χρησιμεύουν στην προσαρμογή των παραμέτρων.»
Μια μεταβλητή παρούσα στο ιστορικό δεν είναι κατ' ανάγκη διαθέσιμη τη στιγμή που θα πρέπει να παραχθεί η πρόβλεψη: το ημερολόγιο συντήρησης περιέχει τη διάρκεια διακοπής, γνωστή μόνο μετά τη βλάβη.
Δοκιμή προς συστηματική εφαρμογή: για κάθε υποψήφια μεταβλητή, να ρωτά κανείς αν η τιμή της θα είναι γνωστή την ακριβή στιγμή που το μοντέλο θα πρέπει να προβλέψει στην παραγωγή. Κάθε αρνητική απάντηση αποκλείει τη μεταβλητή. Το σύμπτωμα είναι ανώμαλα υψηλή επίδοση στην επικύρωση ακολουθούμενη από κατάρρευση στην παραγωγή: αυτή είναι η διαρροή δεδομένων, που εξετάζεται στο κεφάλαιο 028.
Σωστή διατύπωση: «Το σύνολο των μεταβλητών που κρατήθηκαν είναι διαθέσιμο τη στιγμή της πρόβλεψης, γεγονός που επαληθεύθηκε μεταβλητή προς μεταβλητή μαζί με τους εκμεταλλευτές του συστήματος-πηγής.»
Ο ορισμός της γενίκευσης περιλαμβάνει τη συνθήκη «προερχόμενες από την ίδια κατανομή». Αυτή η συνθήκη είναι επαληθεύσιμη τη στιγμή της αξιολόγησης· δεν είναι εγγυημένη κατόπιν. Ένα μοντέλο επικυρωμένο στο 92 % ορθότητας μπορεί να λειτουργεί στο 71 % δεκαοκτώ μήνες αργότερα χωρίς να έχει επέλθει κανένα τεχνικό σφάλμα και χωρίς να ενεργοποιηθεί καμία ειδοποίηση.
Σωστή διατύπωση: «Η μετρημένη επίδοση ισχύει για την κατανομή που παρατηρήθηκε στην περίοδο αξιολόγησης. Προβλέπονται διάταξη επιτήρησης της παρέκκλισης και διαδικασία επανεκπαίδευσης (κεφάλαιο 082).»
ΤΥΠΟΠΟΙΗΣΗ
Δεδομένα : D = {(xi, yi)}, i = 1..n, από P(X, Y) άγνωστη και σταθερή
Υπόθεση : υπάρχει f : X → Y, ενδεχομένως θορυβώδης
Στόχος : ελαχιστοποίηση του αναμενόμενου κινδύνου R(h) = E[L(y, h(x))]
Πραγματικότητα : ελαχιστοποιούμε τον εμπειρικό κίνδυνο R^(h) = (1/n) Σ L(yi, h(xi))
Αρχή : ελαχιστοποίηση του εμπειρικού κινδύνου (ERM)
Ο ΟΡΟΣ «ΕΠΙΒΛΕΠΟΜΕΝΗ»
Δηλώνει τη διαθεσιμότητα ετικέτας αναφοράς στην εκπαίδευση.
Δεν δηλώνει καμία ανθρώπινη επιτήρηση στην εκτέλεση.
ΟΙ ΕΤΙΚΕΤΕΣ
Έξι πηγές: φυσικό ιστορικό, ενέργεια χρήστη, ανθρώπινη επισημείωση,
εμπειρογνώμονας του τομέα, αυτόματος επιχειρησιακός κανόνας, οργανολογική μέτρηση.
Υποχρεωτικό ερώτημα: πώς παρήχθη η ετικέτα;
Ετικέτες από σύστημα κανόνων: η επίδοση οριοθετείται εκεί.
Η ΜΗΧΑΝΙΚΗ
Δοκιμή -> Μέτρηση του σφάλματος -> Διόρθωση -> Δοκιμή ...
Παράμετρος : προσαρμοσμένη από τον αλγόριθμο, βάσει των δεδομένων
Υπερπαράμετρος : καθορισμένη από τον μηχανικό, πριν από την εκπαίδευση
Δεν υπάρχει κατανόηση. Υπάρχει επαναληπτική ελαχιστοποίηση.
ΟΙ ΔΥΟ ΤΥΠΟΙ ΠΡΟΒΛΗΜΑΤΩΝ
Παλινδρόμηση : Y συνεχές -> μια τιμή
Ταξινόμηση : Y πεπερασμένο -> ένα σκορ, έπειτα ένα κατώφλι, έπειτα μια κλάση
Το σύνορο απόφασης μετατοπίζεται με αλλαγή του κατωφλίου,
χωρίς επανεκπαίδευση του μοντέλου.
ΤΑ ΤΡΙΑ ΚΑΘΕΣΤΩΤΑ
Εκπαίδευση : y γνωστό και χρησιμοποιούμενο model.fit(X_train, y_train)
Αξιολόγηση : y γνωστό, αποκρυμμένο model.predict(X_test) έπειτα σύγκριση
Παραγωγή : y άγνωστο model.predict(x_nouveau)
Ο ΜΟΝΑΔΙΚΟΣ ΣΤΟΧΟΣ
Χάσμα γενίκευσης = αναμενόμενος κίνδυνος − εμπειρικός κίνδυνος
Σφάλμα εκπαίδευσης : χωρίς αποφασιστική αξία
Σφάλμα δοκιμής : μοναδική αξιοποιήσιμη εκτίμηση
Διαχωρισμός δεδομένων, διασταυρούμενη επικύρωση, κανονικοποίηση, ανίχνευση
υπερπροσαρμογής: καμία δεν έχει ίδιο σκοπό.
Όλες υπηρετούν τη γενίκευση.Συνθετική διατύπωση
Η επιβλεπόμενη μάθηση συνίσταται στην προσαρμογή μιας παραμετροποιημένης συνάρτησης επί ενός δείγματος επισημασμένων παρατηρήσεων, με ελαχιστοποίηση ενός εμπειρικού κινδύνου που δεν είναι παρά υπολογίσιμο υποκατάστατο του πραγματικά επιδιωκόμενου κινδύνου· η αξία του μοντέλου δεν μετράται ποτέ επί των παρατηρήσεων που χρησίμευσαν στην προσαρμογή του, αλλά επί εκείνων που δεν είδε.
Σχετικά κουίζ:
004.1-quiz-formalisation.md,
004.2-quiz-donnees-etiquetees.md,
004.3-quiz-mecanique-ajustement.md,
004.4-quiz-regression-chiffree.md,
004.5-quiz-classification-frontiere.md,
004.6-quiz-trois-regimes.md,
004.7-quiz-generalisation.md
Επόμενο κεφάλαιο: 005-dataset-observation.md