Το κεφάλαιο 002 καθιέρωσε την αντιστροφή που χαρακτηρίζει το Machine Learning: οι κανόνες δεν γράφονται πλέον, επάγονται από παρατηρήσεις. Αυτή η επαγωγή προϋποθέτει ότι ένα σήμα προσανατολίζει τη μάθηση, δηλαδή ότι μια πληροφορία υποδεικνύει στον αλγόριθμο προς ποια κατεύθυνση να διορθώσει τις παραμέτρους του.
Η φύση αυτού του σήματος αποτελεί το μοναδικό κριτήριο κατάταξης των παραδειγμάτων. Καθορίζεται με μία και μόνο ερώτηση:
« Διαθέτουμε, για τις παρελθούσες παρατηρήσεις, την τιμή που επιδιώκουμε να προβλέψουμε; »
| Απάντηση στην ερώτηση | Διαθέσιμο σήμα | Παράδειγμα | Διατύπωση του προβλήματος |
|---|---|---|---|
| Ναι — κάθε ιστορική παρατήρηση φέρει την τιμή-στόχο | Μια γνωστή τιμή-στόχος, παρατήρηση προς παρατήρηση | Επιβλεπόμενη μάθηση | Αναπαραγωγή, σε πρωτόγνωρες περιπτώσεις, της παρατηρηθείσας αντιστοιχίας εισόδου-εξόδου |
| Όχι — καμία τιμή-στόχος δεν είναι διαθέσιμη | Κανένα εξωτερικό σήμα· αξιοποιήσιμη είναι μόνο η εσωτερική δομή των δεδομένων | Μη επιβλεπόμενη μάθηση | Ανάδειξη μιας λανθάνουσας οργάνωσης των παρατηρήσεων |
| Όχι, όμως — υπάρχει εκ των υστέρων αξιολόγηση των ενεργειών | Ένα βαθμωτό ανταμοιβής που εκπέμπεται από το περιβάλλον μετά από κάθε ενέργεια | Ενισχυτική μάθηση | Προσδιορισμός μιας στρατηγικής ενέργειας που μεγιστοποιεί τη σωρευτική ανταμοιβή |
Αυτές οι τρεις απαντήσεις είναι εξαντλητικές και αμοιβαία αποκλειόμενες για ένα πρόβλημα που έχει διατυπωθεί σωστά. Ένα πρόβλημα που φαίνεται να ανήκει σε δύο παραδείγματα είναι ένα πρόβλημα του οποίου η διατύπωση δεν έχει οριστικοποιηθεί: το ερώτημα που πρέπει να κριθεί είναι τότε «ποια είναι η μεταβλητή-στόχος», όχι «ποιο είναι το παράδειγμα».
Σήμα μάθησης — αυστηρός ορισμός
Πληροφορία που αξιοποιεί ένας αλγόριθμος για να αξιολογήσει την ποιότητα της τρέχουσας υπόθεσης και να συναγάγει από αυτήν μια κατεύθυνση διόρθωσης των παραμέτρων του. Λαμβάνει τη μορφή μιας τιμής-στόχου συνδεδεμένης με κάθε παρατήρηση, ενός εσωτερικού κριτηρίου συνέπειας ορισμένου μόνο επί των δεδομένων, ή ενός βαθμωτού ανταμοιβής που εκπέμπεται από ένα περιβάλλον ως απάντηση σε μια ενέργεια.
Παράδειγμα μάθησης — αυστηρός ορισμός
Κλάση προβλημάτων ορισμένη από τη φύση του διαθέσιμου σήματος και, ως εκ τούτου, από τη μορφή του προβλήματος βελτιστοποίησης που τίθεται: ελαχιστοποίηση ενός εμπειρικού κινδύνου επί επισημασμένων ζευγών, βελτιστοποίηση ενός εσωτερικού κριτηρίου δομής, ή μεγιστοποίηση μιας προσδοκίας σωρευτικής ανταμοιβής.
Μετάφραση σε καθημερινή γλώσσα
Το σήμα είναι αυτό που επιτρέπει στον αλγόριθμο να γνωρίζει αν κάνει λάθος· το παράδειγμα είναι η οικογένεια προβλημάτων που ορίζεται από όσα διαθέτουμε για να μάθουμε.
Σημείο προσοχής
Ελλείψει οποιουδήποτε σήματος, δεν υπάρχει μάθηση με την έννοια του Mitchell (1997): χωρίς μέτρο επίδοσης P, καμία εμπειρία E δεν μπορεί να βελτιώσει οτιδήποτε.
Οι επισημασμένοι κλάδοι οριοθετούν την περίμετρο αυτού του μαθήματος. Οι υπόλοιποι ορίζονται εδώ ώστε να επιτραπεί η τοποθέτηση, χωρίς να εμβαθύνονται.
Η πιο δαπανηρή σύγχυση, τόσο στον καθορισμό πλαισίου ενός έργου όσο και σε συνέντευξη, συνίσταται στο να κατατάσσουμε ένα πρόβλημα σύμφωνα με ένα κριτήριο που δεν είναι τέτοιο.
| Κριτήριο που επικαλείται κανείς εσφαλμένα | Άμεσο αντιπαράδειγμα |
|---|---|
| Ο τομέας εφαρμογής | Η υγεία δίνει επιβλεπόμενη μάθηση (διάγνωση επί επισημασμένων περιπτώσεων), μη επιβλεπόμενη (τυπολογία ασθενών) και ενισχυτική (προσαρμοστική δοσολογία) |
| Ο τύπος δεδομένων | Μια εικόνα τροφοδοτεί τόσο μια επιβλεπόμενη ταξινόμηση όσο και μια μη επιβλεπόμενη ομαδοποίηση φωτογραφιών |
| Η αρχιτεκτονική του μοντέλου | Ένα βαθύ δίκτυο μπορεί να είναι επιβλεπόμενο, μη επιβλεπόμενο (αυτοκωδικοποιητής) ή ενισχυτικό |
| Ο επιχειρησιακός σκοπός | «Να κατανοήσουμε τους πελάτες μας» μεταφράζεται αδιάφορα σε κατάτμηση ή σε πρόβλεψη αποχώρησης |
Κατευθυντήρια αρχή: το παράδειγμα διαβάζεται στα διαθέσιμα δεδομένα, όχι στο θέμα που εξετάζεται, ούτε στο εργαλείο που επιλέχθηκε, ούτε στη φιλοδοξία του εντολέα.
Αυστηρός ορισμός
Έστω ένας χώρος εισόδου X και ένας χώρος εξόδου Y. Διαθέτουμε ένα δείγμα εκμάθησης n ζευγών
S = { (x_1, y_1), ..., (x_n, y_n) }, x_i ∈ X, y_i ∈ Yπου υποτίθεται ότι προέρχονται από ανεξάρτητη και ταυτοτικά κατανεμημένη δειγματοληψία σύμφωνα με έναν από κοινού νόμο P(X, Y) άγνωστο και σταθερό. Η επιβλεπόμενη μάθηση συνίσταται στην επιλογή, μέσα σε μια κλάση υποθέσεων H, μιας συνάρτησης f: X → Y που ελαχιστοποιεί τον αναμενόμενο κίνδυνο R(f) = E[ L(f(X), Y) ], όπου L είναι μια συνάρτηση απώλειας που μετρά την απόκλιση μεταξύ προβλεπόμενης και παρατηρηθείσας τιμής. Καθώς ο νόμος P είναι άγνωστος, ο αλγόριθμος ελαχιστοποιεί στην πράξη τον εμπειρικό κίνδυνο που υπολογίζεται επί του S, υπό περιορισμό κανονικοποίησης.
Μετάφραση σε καθημερινή γλώσσα
Παρέχουμε παραδείγματα των οποίων η σωστή απάντηση είναι γνωστή και ζητάμε από τον αλγόριθμο να κατασκευάσει τη συνάρτηση που αναπαράγει όσο το δυνατόν καλύτερα αυτή την αντιστοιχία, ώστε να την εφαρμόσει σε περιπτώσεις των οποίων η απάντηση είναι άγνωστη.
Ο όρος «επιβλεπόμενη»
Παραπέμπει στην παρουσία ενός επιβλέποντα — χειριστή, διαδικασίας ή μεταγενέστερης παρατήρησης — που έχει παράσχει τη σωστή τιμή για κάθε παράδειγμα, κατά τη συγκρότηση του συνόλου δεδομένων και ποτέ κατά την εκπαίδευση.
Σημείο προσοχής
Η υπόθεση σταθερής κατανομής είναι δομική. Όταν το P(X, Y) εξελίσσεται μεταξύ εκπαίδευσης και εκμετάλλευσης, ο εμπειρικός κίνδυνος παύει να εκτιμά τον αναμενόμενο κίνδυνο και η επίδοση υποβαθμίζεται: φαινόμενο που εξετάζεται στο κεφάλαιο 082.
Αυστηρός ορισμός
Παρατήρηση για την οποία η τιμή της μεταβλητής-στόχου είναι συμπληρωμένη, επιπλέον των ερμηνευτικών μεταβλητών, και αυτή η τιμή ορίζεται με μονοσήμαντο και ομοιογενή τρόπο στο σύνολο του συνόλου δεδομένων.
Μετάφραση σε καθημερινή γλώσσα
Μια γραμμή του πίνακα για την οποία η απάντηση είναι ήδη γνωστή.
Προέλευση των ετικετών
Εκ των υστέρων παρατήρηση (η πίστωση αποπληρώθηκε ή όχι), ανθρώπινη επισημείωση (ένας ακτινολόγος χαρακτηρίζει μια εικόνα), καταγραφή συστήματος (ο πελάτης κατήγγειλε τη σύμβαση) ή φυσική μέτρηση (το εξάρτημα έσπασε στις 412 ώρες).
Σημείο προσοχής
Το κόστος απόκτησης των ετικετών είναι συχνά ο περιοριστικός παράγοντας ενός επιβλεπόμενου έργου: οι ερμηνευτικές μεταβλητές είναι άφθονες, οι ετικέτες σπάνια.
Η ετικέτα είναι παρούσα στην εκπαίδευση και απούσα στην εκμετάλλευση. Ένα σύστημα στο οποίο θα ήταν διαθέσιμη τη στιγμή της πρόβλεψης δεν θα είχε καμία προγνωστική χρησιμότητα.
Ο τύπος της μεταβλητής-στόχου καθορίζει την υποοικογένεια.
| Ταξινόμηση | Παλινδρόμηση | |
|---|---|---|
| Φύση του στόχου | Κατηγορική: πεπερασμένο σύνολο κατηγοριών | Αριθμητική συνεχής |
| Ερώτηση που τίθεται | «Σε ποια κλάση ανήκει αυτή η παρατήρηση;» | «Ποια τιμή λαμβάνει αυτό το μέγεθος;» |
| Έξοδος του μοντέλου | Μια κλάση, συνήθως συνοδευόμενη από μια πιθανότητα | Ένας πραγματικός αριθμός |
| Παράδειγμα στόχου | Αθέτηση πληρωμής: ναι / όχι | Τιμή πώλησης: 412 500 $ |
| Συνήθεις μετρικές | Ορθότητα, ακρίβεια, ανάκληση, F1, AUC | RMSE, MAE, MAPE, R² |
| Αντιπροσωπευτικοί αλγόριθμοι | Λογιστική παλινδρόμηση, δέντρα, τυχαία δάση, gradient boosting, SVM | Γραμμική παλινδρόμηση, κανονικοποιημένη παλινδρόμηση, δέντρα παλινδρόμησης, gradient boosting |
| Έννοια σφάλματος | Διακριτή: η κλάση είναι σωστή ή όχι | Συνεχής: το σφάλμα έχει εύρος |
Αυστηρός ορισμός
Πρόβλημα επιβλεπόμενης μάθησης στο οποίο ο χώρος εξόδου Y είναι ένα πεπερασμένο σύνολο κατηγοριών { , ..., }. Το μοντέλο εκτιμά συνήθως την δεσμευμένη πιθανότητα P(Y = | X = x), και η προβλεπόμενη κλάση προκύπτει από την εφαρμογή ενός κανόνα απόφασης σε αυτό το διάνυσμα πιθανοτήτων.
Μετάφραση σε καθημερινή γλώσσα
Να κατατάσσουμε κάθε παρατήρηση σε μία από τις κατηγορίες που έχουν προβλεφθεί εκ των προτέρων.
Υπότυποι: δυαδική (2 αμοιβαία αποκλειόμενες κατηγορίες), πολυκλασική (k αμοιβαία αποκλειόμενες κατηγορίες), πολυ-ετικέτες (k σωρεύσιμες κατηγορίες), τακτική (k κατηγορίες διατεταγμένες, για παράδειγμα μια βαθμολογία κινδύνου από A έως E).
Σημείο προσοχής
Οι κατηγορίες ορίζονται πριν από την εκπαίδευση και αποτελούν μέρος της προδιαγραφής του προβλήματος. Ένα μοντέλο ταξινόμησης δεν μπορεί να παράγει μια κλάση που δεν έχει συναντήσει ποτέ.
Αυστηρός ορισμός
Πρόβλημα επιβλεπόμενης μάθησης στο οποίο ο χώρος εξόδου Y είναι ένα υποσύνολο των πραγματικών. Το μοντέλο εκτιμά μια συνάρτηση παλινδρόμησης, τις περισσότερες φορές τη δεσμευμένη προσδοκία E[Y | X = x], με ελαχιστοποίηση μιας τετραγωνικής ή απόλυτης απώλειας.
Μετάφραση σε καθημερινή γλώσσα
Να εκτιμήσουμε έναν αριθμό αντί για μια κατηγορία.
Ορολογική προειδοποίηση
Η λέξη «παλινδρόμηση» δεν περιέχει, στη σύγχρονη χρήση της, καμία έννοια υποχώρησης ή επιστροφής προς τα πίσω. Κληρονομείται από τις εργασίες του Francis Galton (1886) σχετικά με τη μετάδοση του αναστήματος μεταξύ γενεών, που περιέγραφαν μια παλινδρόμηση προς τον μέσο όρο: τα παιδιά γονέων πολύ υψηλών έτειναν να είναι, κατά μέσο όρο, λιγότερο ψηλά από τους γονείς τους. Ο όρος δήλωνε ένα ιδιαίτερο στατιστικό φαινόμενο· επεκτάθηκε κατόπιν στη μέθοδο προσαρμογής που χρησιμοποιήθηκε για να το αναδείξει, και έπειτα σε κάθε πρόβλεψη ενός αριθμητικού μεγέθους. Καμία συναγωγή δεν πρέπει λοιπόν να γίνεται από την ίδια τη λέξη: «παλινδρόμηση» σημαίνει αποκλειστικά ότι ο στόχος είναι ένας αριθμός.
Σύγχυση που πρέπει να αποφευχθεί
Η λογιστική παλινδρόμηση είναι αλγόριθμος ταξινόμησης, παρά το όνομά της: παλινδρομεί τον λογάριθμο του λόγου πιθανοτήτων επί των ερμηνευτικών μεταβλητών και παράγει μια πιθανότητα ένταξης σε μια κλάση.
| # | Τομέας | Επιχειρησιακό πρόβλημα | Τύπος | Μεταβλητή-στόχος |
|---|---|---|---|---|
| 1 | Τράπεζα | Χορήγηση καταναλωτικής πίστης | Δυαδική ταξινόμηση | Αθέτηση πληρωμής στους 12 μήνες: ναι / όχι |
| 2 | Τράπεζα | Ανίχνευση απάτης σε συναλλαγή κάρτας | Ανισόρροπη δυαδική ταξινόμηση | Δολία συναλλαγή: ναι / όχι |
| 3 | Τράπεζα | Εκτίμηση της ζημίας σε περίπτωση αθέτησης | Παλινδρόμηση | Ποσό που δεν ανακτήθηκε, σε δολάρια |
| 4 | Υγεία | Υποστήριξη διάγνωσης επί απεικόνισης | Πολυκλασική ταξινόμηση | Παθολογία που εντοπίστηκε μεταξύ k κατηγοριών |
| 5 | Υγεία | Πρόβλεψη επανεισαγωγών | Δυαδική ταξινόμηση | Επανεισαγωγή εντός 30 ημερών: ναι / όχι |
| 6 | Ακίνητα | Εκτίμηση αξίας ενός ακινήτου | Παλινδρόμηση | Πραγματική τιμή πώλησης, σε δολάρια |
| 7 | Ανθρώπινοι πόροι | Πρόληψη οικειοθελούς αποχώρησης | Δυαδική ταξινόμηση | Παραίτηση εντός 6 μηνών: ναι / όχι |
| 8 | Ανθρώπινοι πόροι | Εκτίμηση της διάρκειας πρόσληψης | Παλινδρόμηση | Ημέρες μεταξύ δημοσίευσης και υπογραφής |
| 9 | Βιομηχανία / IoT | Προγνωστική συντήρηση | Δυαδική ταξινόμηση | Βλάβη εντός 7 ημερών: ναι / όχι |
| 10 | Βιομηχανία / IoT | Υπολειπόμενη διάρκεια ζωής ενός εξοπλισμού | Παλινδρόμηση | Ώρες λειτουργίας πριν από την αστοχία |
| 11 | Μάρκετινγκ | Πρόβλεψη αποχώρησης | Δυαδική ταξινόμηση | Καταγγελία εντός 90 ημερών: ναι / όχι |
| 12 | Μάρκετινγκ | Δια βίου αξία πελάτη | Παλινδρόμηση | Αναμενόμενο σωρευτικό περιθώριο στους 24 μήνες, σε δολάρια |
| 13 | Μεταφορές | Εκτίμηση διάρκειας διαδρομής | Παλινδρόμηση | Πραγματική διάρκεια, σε λεπτά |
| 14 | Κυβερνοασφάλεια | Φιλτράρισμα μηνυμάτων ηλεκτρονικού «ψαρέματος» | Δυαδική ταξινόμηση | Κακόβουλο μήνυμα: ναι / όχι |
| 15 | Ενέργεια | Πρόβλεψη φορτίου του δικτύου | Παλινδρόμηση | Κατανάλωση σε H+24, σε μεγαβάτ |
Ανάγνωση του πίνακα: και στις δεκαπέντε περιπτώσεις, ένα ιστορικό δεδομένο φέρει την απάντηση. Η πίστωση αποπληρώθηκε ή όχι, το ακίνητο πωλήθηκε σε διαπιστωμένη τιμή, το εξάρτημα έσπασε σε μια μετρημένη ώρα. Αυτή η αναδρομική διαθεσιμότητα του στόχου είναι που καθιστά το πρόβλημα επιβλεπόμενο, όχι η πρόθεση πρόβλεψης. Η τεχνική κατάταξη της περίπτωσης 7 δεν προδικάζει εξάλλου καθόλου τη νομιμότητά της: οι υποχρεώσεις μη διάκρισης εξετάζονται στο κεφάλαιο 095.
Ένας μαθητής προετοιμάζει μια εξέταση από παλαιά θέματα. Κάθε θέμα περιλαμβάνει μια εκφώνηση και μια διόρθωση. Ο μαθητής λύνει την εκφώνηση, συγκρίνει την παραγωγή του με τη διόρθωση, εντοπίζει την απόκλιση, προσαρμόζει τη μέθοδό του. Μετά από επαρκή αριθμό ασκήσεων, αντιμετωπίζει ένα πρωτόγνωρο θέμα του οποίου η διόρθωση δεν υπάρχει ακόμη.
| Παιδαγωγική κατάσταση | Επιβλεπόμενη μάθηση | Συμβολισμός |
|---|---|---|
| Η εκφώνηση της άσκησης | Οι ερμηνευτικές μεταβλητές μιας παρατήρησης | |
| Η διόρθωση της άσκησης | Η ετικέτα, γνωστή τιμή-στόχος | |
| Η συλλογή παλαιών θεμάτων | Το σύνολο εκπαίδευσης | S |
| Η μέθοδος επίλυσης του μαθητή | Η συνάρτηση που μαθεύτηκε | f |
| Η απόκλιση μεταξύ παραγωγής και διόρθωσης | Η απώλεια επί μιας παρατήρησης | L(f(), ) |
| Η αναθεώρηση της μεθόδου | Η ενημέρωση των παραμέτρων | βελτιστοποίηση |
| Η δοκιμαστική εξέταση | Το σύνολο επικύρωσης | — |
| Η τελική εξέταση, πρωτόγνωρο θέμα | Το σύνολο δοκιμής, έπειτα η παραγωγή | — |
| Ο βαθμός που ελήφθη στην τελική εξέταση | Η επίδοση στη γενίκευση | R(f) |
Προεκτάσεις
Ο μαθητής που απομνημονεύει τις διορθώσεις χωρίς να αποκτήσει τη μέθοδο επιτυγχάνει στα παλαιά θέματα και αποτυγχάνει στο πρωτόγνωρο θέμα: αυτή είναι η υπερπροσαρμογή (overfitting), που εξετάζεται στο κεφάλαιο 040. Ο μαθητής που διαθέτει τη διόρθωση κατά την εξέταση λαμβάνει έναν άριστο βαθμό που δεν μετρά τίποτα: αυτή είναι η διαρροή δεδομένων (data leakage), που εξετάζεται στο κεφάλαιο 028.
Όριο της αναλογίας
Ο μαθητής κατανοεί τι κάνει και μεταφέρει σε έναν γειτονικό τομέα. Το μοντέλο δεν εγκαθιδρύει παρά μια στατιστική αντιστοιχία και δεν μεταφέρει εκτός του πεδίου που καλύπτεται από τα δεδομένα εκπαίδευσής του.
Αυστηρός ορισμός
Κλάση προβλημάτων στα οποία διαθέτουμε ένα δείγμα { , ..., }, ∈ X, χωρίς συνδεδεμένη μεταβλητή-στόχο. Ο στόχος είναι να εκτιμηθεί μια δομή της κατανομής P(X): διαμέριση του χώρου των παρατηρήσεων, υποπολλαπλότητα χαμηλής διάστασης που προσεγγίζει το νέφος σημείων, πυκνότητα, ή κανονικότητες συνεμφάνισης. Η βελτιστοποίηση αφορά ένα κριτήριο ορισμένο αποκλειστικά από τα δεδομένα, χωρίς αναφορά σε μια αναμενόμενη τιμή.
Μετάφραση σε καθημερινή γλώσσα
Παρέχουμε παρατηρήσεις χωρίς καμία συνδεδεμένη απάντηση και ζητάμε από τον αλγόριθμο να αναδείξει την εσωτερική οργάνωση αυτών των δεδομένων.
Ο όρος «μη επιβλεπόμενη»
Υποδηλώνει την απουσία απάντησης αναφοράς, όχι την απουσία ανθρώπινης παρέμβασης: η επιλογή των μεταβλητών, της απόστασης, του αριθμού ομάδων και της κανονικοποίησης ανήκουν εξ ολοκλήρου στον αναλυτή.
Σημείο προσοχής
Ένας μη επιβλεπόμενος αλγόριθμος παράγει πάντα ένα αποτέλεσμα, ακόμη και όταν τα δεδομένα δεν περιέχουν καμία δομή: μια διαμέριση σε τέσσερις ομάδες θα επιστρέψει τέσσερις ομάδες σε ένα απολύτως ομοιόμορφο νέφος. Η παραγωγή ενός αποτελέσματος δεν πιστοποιεί λοιπόν ποτέ την ύπαρξη μιας δομής.
Αυστηρός ορισμός
Πρόβλημα που συνίσταται στην κατασκευή μιας διαμέρισης ή μιας επικάλυψης ενός συνόλου παρατηρήσεων σε ομάδες τέτοιες ώστε ένα μέτρο ενδο-ομαδικής ομοιότητας να είναι μέγιστο και η διομαδική ομοιότητα ελάχιστη, με την έννοια μιας απόστασης που καθορίζει ο αναλυτής. Μια μέθοδος διαμέρισης κατά αδράνεια ελαχιστοποιεί έτσι το άθροισμα των τετραγώνων των εσωτερικών αποκλίσεων:
argmin Σ Σ || x - μ_j ||²
C j=1..k x ∈ C_jόπου δηλώνει το κέντρο της ομάδας .
Μετάφραση σε καθημερινή γλώσσα
Να ομαδοποιήσουμε τις παρατηρήσεις που μοιάζουν μεταξύ τους, χωρίς να γνωρίζουμε εκ των προτέρων ποιες ομάδες υπάρχουν ούτε πόσες είναι.
Παράμετροι στην ευθύνη του αναλυτή
Αριθμός ομάδων, μέτρο απόστασης, κανονικοποίηση, επιλογή μεταβλητών. Καθεμία από αυτές τις επιλογές τροποποιεί το αποτέλεσμα· δεν υπάρχει «αληθινή» διαμέριση που ένας αλγόριθμος θα ανακάλυπτε ανεξάρτητα από αυτές.
Σημείο προσοχής
Οι ομάδες που παράγονται δεν έχουν όνομα. Η ονομασία και η ερμηνεία τους είναι μια επιχειρησιακή πράξη μεταγενέστερη του αλγορίθμου, ποτέ μια έξοδός του.
Αυστηρός ορισμός
Πρόβλημα που συνίσταται στην κατασκευή μιας απεικόνισης g: X → Z, με dim(Z) < dim(X), που διατηρεί όσο το δυνατόν καλύτερα μια ιδιότητα της αρχικής κατανομής: εξηγούμενη διακύμανση για την ανάλυση σε κύριες συνιστώσες, δομή τοπικής γειτνίασης για τις μεθόδους μη γραμμικής εμβύθισης, ικανότητα ανακατασκευής για τους αυτοκωδικοποιητές. Το βελτιστοποιούμενο κριτήριο είναι εσωτερικό στα δεδομένα.
Μετάφραση σε καθημερινή γλώσσα
Να αναπαραστήσουμε τις ίδιες παρατηρήσεις με λιγότερες μεταβλητές, χάνοντας όσο το δυνατόν λιγότερη πληροφορία.
Λειτουργικοί σκοποί: οπτικοποίηση, συμπίεση, αποθορυβοποίηση, προεπεξεργασία ενός επιβλεπόμενου μοντέλου, άμβλυνση της κατάρας της διάστασης.
Σημείο προσοχής
Όταν χρησιμοποιείται πριν από ένα επιβλεπόμενο μοντέλο, η μείωση διάστασης πρέπει να προσαρμόζεται μόνο στα δεδομένα εκπαίδευσης και έπειτα να εφαρμόζεται ως έχει στα δεδομένα επικύρωσης και δοκιμής. Η προσαρμογή της στο σύνολο των δεδομένων αποτελεί διαρροή δεδομένων, που εξετάζεται στο κεφάλαιο 028.
Μια αλυσίδα διανομής διαθέτει 12 000 ενεργούς πελάτες. Καμία μεταβλητή-στόχος δεν υπάρχει: η διεύθυνση δεν ζητά να προβλεφθεί μια συμπεριφορά, αλλά να κατανοηθεί η δομή της βάσης της. Επιλέγονται τέσσερις μεταβλητές — ετήσια συχνότητα αγοράς, μέσο καλάθι, αρχαιότητα, μερίδιο ηλεκτρονικών αγορών — και εφαρμόζεται διαμέριση σε τέσσερις ομάδες μετά από κανονικοποίηση.
Ακατέργαστη έξοδος του αλγορίθμου
| Ομάδα | Πλήθος | Μερίδιο | Ετήσια συχνότητα | Μέσο καλάθι | Αρχαιότητα | Μερίδιο ηλεκτρονικά |
|---|---|---|---|---|---|---|
| Ομάδα 1 | 4 320 | 36 % | 1,2 αγορά | 38 $ | 8 μήνες | 22 % |
| Ομάδα 2 | 3 600 | 30 % | 11,4 αγορές | 42 $ | 5,2 έτη | 15 % |
| Ομάδα 3 | 2 880 | 24 % | 4,1 αγορές | 187 $ | 3,4 έτη | 71 % |
| Ομάδα 4 | 1 200 | 10 % | 0,4 αγορά | 25 $ | 6,1 έτη | 5 % |
Τα αριθμητικά αναγνωριστικά στερούνται νοήματος: «Ομάδα 1» δεν σημαίνει τίποτα και δεν είναι διατεταγμένη σε σχέση με την «Ομάδα 2».
Επιχειρησιακή ερμηνεία, μεταγενέστερη του αλγορίθμου
| Ομάδα | Ονομασία που υιοθέτησε η επιχείρηση | Ανάγνωση | Προβλεπόμενη ενέργεια |
|---|---|---|---|
| Ομάδα 1 | Νέοι περιστασιακοί πελάτες | Χαμηλή αρχαιότητα, χαμηλή δέσμευση | Διαδρομή ενεργοποίησης στους πρώτους 6 μήνες |
| Ομάδα 2 | Τακτικοί της γειτονιάς | Υψηλή συχνότητα, χαμηλό καλάθι, φυσικό κανάλι | Πρόγραμμα επιβράβευσης, αύξηση καλαθιού |
| Ομάδα 3 | Αγοραστές υψηλού καλαθιού ηλεκτρονικά | Καλάθι τετραπλάσιο, ψηφιακό κανάλι | Προσφορά premium, αποκλειστική υπηρεσία παράδοσης |
| Ομάδα 4 | Αδρανείς πελάτες | Υψηλή αρχαιότητα, σχεδόν μηδενική δραστηριότητα | Εκστρατεία επανενεργοποίησης ή έξοδος από το ενεργό αρχείο |
Καθοριστικό σημείο: η δεύτερη στήλη δεν παρήχθη από τον αλγόριθμο. Διατυπώθηκε από επιχειρησιακούς υπευθύνους που εξέτασαν τα στατιστικά χαρακτηριστικά κάθε ομάδας. Ένας αλγόριθμος clustering οριοθετεί ομάδες· δεν τις ονομάζει και δεν τις εξηγεί.
Αυτή είναι η σημαντικότερη δομική διαφορά με την επιβλεπόμενη μάθηση. Κάθε επιβλεπόμενη πρόβλεψη μπορεί να αντιπαραβληθεί με την παρατηρηθείσα τιμή: η ορθότητα είναι μετρήσιμη. Στη μη επιβλεπόμενη, δεν υπάρχει καμία διαμέριση αναφοράς, και το ερώτημα «είναι αυτή η κατάτμηση ορθή;» είναι κακώς τεθειμένο. Η αξιολόγηση στηρίζεται τότε σε δύο τάξεις κριτηρίων.
| Τάξη κριτηρίου | Φύση | Παραδείγματα | Όριο |
|---|---|---|---|
| Εσωτερικά κριτήρια | Στατιστικά, υπολογιζόμενα μόνο επί των δεδομένων | Συντελεστής σκιαγράφησης (silhouette), ενδοταξική αδράνεια, δείκτες Davies-Bouldin και Calinski-Harabasz | Ένα υψηλό σκορ δεν πιστοποιεί την επιχειρησιακή συνάφεια |
| Κριτήρια επιχειρησιακής χρησιμότητας | Λειτουργικά, αξιολογούμενα από τους υπευθύνους του τομέα | Ερμηνεύσιμες, ενεργοποιήσιμες ομάδες, εκμεταλλεύσιμου μεγέθους, σταθερές στον χρόνο | Υποκειμενικότητα, εξάρτηση από τη διαθέσιμη τεχνογνωσία |
Σημείο προσοχής: μια κατάτμηση με άριστο συντελεστή σκιαγράφησης αλλά της οποίας οι ομάδες δεν υποδεικνύουν καμία ενέργεια είναι λειτουργική αποτυχία· μια διαμέριση με μέτριο εσωτερικό σκορ της οποίας οι ομάδες υποδεικνύουν διαφοροποιημένες και μετρήσιμες ενέργειες είναι επιτυχία. Το τελικό κριτήριο είναι η χρησιμότητα.
Συνέπεια στη διεύθυνση έργου: ένα μη επιβλεπόμενο έργο δεν μπορεί να καθοδηγείται από ένα συμβατικό όριο του τύπου «τουλάχιστον 90 % ορθότητα», αλλά από μια ανασκόπηση ερμηνευσιμότητας σε συνεργασία με την επιχείρηση.
| Τομέας | Εφαρμογή | Υποοικογένεια | Αξιοποιούμενη έξοδος |
|---|---|---|---|
| Διανομή | Κατάτμηση της βάσης πελατών | Clustering | Ομοιογενείς ομάδες για διαφοροποιημένη στόχευση |
| Εμπόριο | Ανάλυση του καλαθιού αγοράς | Κανόνες συσχέτισης | Προϊόντα που συχνά συν-αγοράζονται |
| Ασφάλιση | Τυπολογία προφίλ ζημιογονίας | Clustering | Ομάδες που χρησιμεύουν ως βάση τιμολόγησης |
| Βιοπληροφορική | Ομαδοποίηση προφίλ γονιδιακής έκφρασης | Clustering | Υποψήφιοι μοριακοί υπότυποι |
| Βιομηχανία | Συμπίεση σημάτων αισθητήρων | Μείωση διάστασης | Συμπαγής αναπαράσταση για επιτήρηση |
| Τεκμηρίωση | Θεματική ομαδοποίηση σωμάτων κειμένων | Clustering | Οικογένειες εγγράφων χωρίς προηγούμενη ονοματολογία |
| Κυβερνοασφάλεια | Ανίχνευση άτυπων συμπεριφορών | Ανίχνευση ανωμαλιών | Ειδοποιήσεις προς χαρακτηρισμό από αναλυτή |
| Μάρκετινγκ | Μείωση ερωτηματολογίου στους κύριους άξονές του | Μείωση διάστασης | Συνθετικοί παράγοντες στάσης |
Επαγγελματική παρατήρηση: η μη επιβλεπόμενη μάθηση παρεμβαίνει συχνότερα πριν από ένα επιβλεπόμενο έργο, ως εξερεύνηση, παρά ως αυτόνομη παραγωγή. Μια κατάτμηση μπορεί εξάλλου να γίνει ερμηνευτική μεταβλητή ενός μεταγενέστερου επιβλεπόμενου μοντέλου.
Αυστηρός ορισμός
Πλαίσιο μάθησης στο οποίο ένας πράκτορας αλληλεπιδρά διαδοχικά με ένα περιβάλλον. Σε κάθε χρονικό βήμα t, ο πράκτορας παρατηρεί μια κατάσταση , επιλέγει μια ενέργεια σύμφωνα με μια πολιτική π, λαμβάνει ένα βαθμωτό ανταμοιβής και παρατηρεί μια νέα κατάσταση . Το πρόβλημα τυποποιείται τις περισσότερες φορές ως μαρκοβιανή διαδικασία απόφασης (S, A, P, R, γ), με γ ∈ [0, 1[ τον συντελεστή προεξόφλησης. Ο στόχος είναι να προσδιοριστεί μια πολιτική π που μεγιστοποιεί την προσδοκία του προεξοφλημένου σωρευτικού κέρδους:
J(\pi) = \mathbb{E}\left[ \sum_{t \ge 0} \gamma^{t} \, $$r_{t+1}$$ \right]Συνθετική αναφορά: Sutton και Barto, Reinforcement Learning: An Introduction (1998, δεύτερη έκδοση 2018).
Μετάφραση σε καθημερινή γλώσσα
Ο πράκτορας δεν μαθαίνει από σωστές απαντήσεις που δίνονται εκ των προτέρων αλλά με διαδοχικές δοκιμές: ενεργεί, το περιβάλλον τον επιβάλλει ή τον ανταμείβει, και προσαρμόζει τη στρατηγική του ώστε να συσσωρεύσει όσο το δυνατόν περισσότερη ανταμοιβή.
Τι διακρίνει την ανταμοιβή από μια ετικέτα
Η ετικέτα υποδεικνύει τη σωστή απάντηση, προϋπάρχει της εκπαίδευσης και αφορά μια μεμονωμένη παρατήρηση. Η ανταμοιβή αξιολογεί την παραχθείσα απάντηση, γεννάται κατά την αλληλεπίδραση, αφορά μια ακολουθία ενεργειών και εξαρτάται από τις ενέργειες του ίδιου του μοντέλου.
Σημείο προσοχής
Ο εκ των υστέρων χαρακτήρας της ανταμοιβής γεννά το πρόβλημα απόδοσης αξίας: όταν μια ανταμοιβή εμφανίζεται στο τέλος εκατοντάδων ενεργειών, ο προσδιορισμός ποιες συνέβαλαν σε αυτήν αποτελεί την κεντρική δυσκολία του παραδείγματος.
Ο κύκλος επαναλαμβάνεται έως μια τελική κατάσταση ή επ' άπειρον. Η δομική ιδιαιτερότητα του παραδείγματος εμφανίζεται εδώ: τα δεδομένα μάθησης παράγονται από τον ίδιο τον πράκτορα. Μια μέτρια πολιτική γεννά μέτριες τροχιές, από τις οποίες ο πράκτορας πρέπει ωστόσο να μάθει. Από εκεί ο συμβιβασμός μεταξύ εξερεύνησης και εκμετάλλευσης: μια πολιτική που δεν εκμεταλλεύεται ποτέ δεν συσσωρεύει καμία ανταμοιβή, μια πολιτική που δεν εξερευνά ποτέ παγιώνεται σε ένα τοπικό βέλτιστο. Αυτός ο συμβιβασμός δεν έχει ισοδύναμο στην επιβλεπόμενη μάθηση, όπου το σύνολο δεδομένων είναι σταθερό.
| Ελληνικός όρος | Αγγλικός όρος | Συμβολισμός | Ορισμός | Παράδειγμα: ρομπότ διακίνησης |
|---|---|---|---|---|
| Πράκτορας | Agent | — | Οντότητα που αποφασίζει και ενεργεί | Ο ελεγκτής του ρομπότ |
| Περιβάλλον | Environment | — | Σύστημα με το οποίο αλληλεπιδρά ο πράκτορας, παράγοντας μεταβάσεις και ανταμοιβές | Η αποθήκη, τα ράφια της, τα εμπόδιά της |
| Κατάσταση | State | Περιγραφή της κατάστασης τη στιγμή t, επαρκής για να αποφασίσει | Θέση, μεταφερόμενο φορτίο, επίπεδο μπαταρίας | |
| Ενέργεια | Action | Απόφαση που λαμβάνεται μεταξύ των διαθέσιμων | Προχώρηση, στροφή, σύλληψη, εναπόθεση | |
| Ανταμοιβή | Reward | Βαθμωτό που εκπέμπεται από το περιβάλλον αξιολογώντας τη μετάβαση | +10 δέμα εναποτεθέν, -1 ανά δευτερόλεπτο, -100 σύγκρουση | |
| Πολιτική | Policy | π(a|s) | Κανόνας που αντιστοιχίζει σε κάθε κατάσταση μια ενέργεια ή μια κατανομή επί των ενεργειών | Η στρατηγική πλοήγησης που μαθεύτηκε |
| Τομέας | Εφαρμογή | Φύση της ανταμοιβής | Ωριμότητα |
|---|---|---|---|
| Παιχνίδια | Go, σκάκι, βιντεοπαιχνίδια | Νίκη, σκορ | Αποδεδειγμένη, μείζονες ακαδημαϊκές αναφορές |
| Ρομποτική | Μετακίνηση, σύλληψη, πλοήγηση | Πρόοδος προς τον στόχο, ποινή σύγκρουσης | Λειτουργική σε ελεγχόμενο περιβάλλον |
| Κέντρα δεδομένων | Ρύθμιση ψύξης | Εξοικονόμηση ενέργειας υπό περιορισμό θερμοκρασίας | Τεκμηριωμένες βιομηχανικές αναπτύξεις |
| Χρηματοοικονομικά | Εκτέλεση εντολών, δυναμική κατανομή | Απόδοση προσαρμοσμένη στον κίνδυνο | Πραγματική χρήση, έντονα ρυθμιζόμενη |
| Διαφήμιση | Κατανομή προβολής, συμφραζόμενοι bandits | Κλικ, μετατροπή | Πολύ διαδεδομένη υπό μορφή bandits |
| Εφοδιαστική | Χρονοπρογραμματισμός, διαχείριση αποθέματος | Συνολικό κόστος, ποσοστό εξυπηρέτησης | Αναδυόμενη, γενικά σε προσομοίωση |
Ιδιαίτερη περίπτωση των μονοχειρών ληστών (bandits): απλοποιημένη μορφή ενισχυτικής μάθησης χωρίς μετάβαση κατάστασης, μαζικά αναπτυγμένη για την κατανομή περιεχομένου και τις προσαρμοστικές δοκιμές, και κύρια πραγματική έκθεση των οργανισμών σε αυτό το παράδειγμα.
Το να μάθει κανείς ποδήλατο δεν προέρχεται από μια διόρθωση: κανείς δεν μπορεί να παράσχει, για κάθε χιλιοστό του δευτερολέπτου, την ακριβή τιμή της γωνίας του τιμονιού και της κλίσης του κορμού. Η οδηγία «κράτα την ισορροπία» δεν είναι ετικέτα. Το διαθέσιμο σήμα είναι μια συνέπεια: ο μαθητευόμενος μένει όρθιος, ή πέφτει. Ο σύνδεσμος μεταξύ της εσφαλμένης κίνησης και της συνέπειάς της είναι εκ των υστέρων κατά μερικά δευτερόλεπτα.
| Στοιχείο της κατάστασης | Τυπική αντιστοιχία |
|---|---|
| Ο μαθητευόμενος ποδηλάτης | Ο πράκτορας |
| Το ποδήλατο, ο δρόμος, η βαρύτητα | Το περιβάλλον |
| Κλίση, ταχύτητα, θέση τιμονιού | Η κατάσταση |
| Διόρθωση τροχιάς, πεταλάρισμα, φρενάρισμα | Η ενέργεια |
| Μέτρα που διανύθηκαν χωρίς πτώση, πτώση | Η ανταμοιβή |
| Τα επίκτητα αντανακλαστικά | Η πολιτική π |
| Δοκιμή μιας ασυνήθιστης τροχιάς | Η εξερεύνηση |
| Αναπαραγωγή όσων λειτούργησαν | Η εκμετάλλευση |
Αυτό που αναδεικνύει η αναλογία
Η δεξιότητα αποκτάται με αλληλεπίδραση και όχι με απομνημόνευση ζευγών ερώτησης-απάντησης: δεν μπορεί να μεταδοθεί με μια έκθεση, και η απόκτησή της απαιτεί μεγάλο αριθμό δοκιμών, συμπεριλαμβανομένων των ανεπιτυχών. Ένα παιδί πέφτει μερικές δεκάδες φορές· ένας τεχνητός πράκτορας απαιτεί συνήθως εκατομμύρια επεισόδια. Όταν κάθε επεισόδιο έχει υλικό ή ανθρώπινο κόστος, η εκπαίδευση σε πραγματικές συνθήκες καθίσταται ανέφικτη — εξού και η απαίτηση ενός προσομοιωτή.
Η ενισχυτική μάθηση κατέχει σημαντική θέση στη δημόσια επικοινωνία του πεδίου και περιθωριακή θέση στα χαρτοφυλάκια έργων. Τέσσερα εμπόδια εξηγούν αυτό το χάσμα.
| Εμπόδιο | Διατύπωση | Πρακτική συνέπεια | Καταστάσεις όπου το εμπόδιο αίρεται |
|---|---|---|---|
| 1. Απαιτείται προσομοιώσιμο περιβάλλον | Η μάθηση απαιτεί μαζικές αλληλεπιδράσεις, απαράδεκτες στο πραγματικό σύστημα | Χρειάζεται πιστός προσομοιωτής, του οποίου η κατασκευή είναι έργο από μόνο του | Παιχνίδια, καλά μοντελοποιημένα φυσικά συστήματα, ουρές αναμονής, ψηφιακά περιβάλλοντα |
| 2. Υπολογιστικό κόστος | Ο αριθμός επεισοδίων υπερβαίνει κατά αρκετές τάξεις μεγέθους τον όγκο μιας επιβλεπόμενης εκπαίδευσης | Υψηλός προϋπολογισμός υπολογισμού, μεγάλοι χρόνοι, αργές επαναλήψεις | Προβλήματα χαμηλής διάστασης, bandits, φθηνές προσομοιώσεις |
| 3. Προδιαγραφή της ανταμοιβής | Η μετάφραση ενός επιχειρησιακού στόχου σε βαθμωτό είναι επικίνδυνη: ο πράκτορας βελτιστοποιεί ακριβώς ό,τι είναι γραμμένο | Εκφυλισμένες συμπεριφορές που μεγιστοποιούν το μέτρο χωρίς να υπηρετούν την πρόθεση | Στόχοι με άμεσο και μη παρακάμψιμο μέτρο |
| 4. Ελεγξιμότητα στην παραγωγή | Η πολιτική εξερευνά, εξελίσσεται και λαμβάνει διαδοχικές αποφάσεις δύσκολες στον έλεγχο | Δυσκολία ομολογοποίησης, ιχνηλασιμότητας και εγγύησης συμπεριφοράς | Τομείς χαμηλής κρισιμότητας, ή διατάξεις οριοθετημένες από εξωτερικούς κανόνες ασφαλείας |
Ανάπτυξη του εμποδίου 3: οι εκφυλισμένες συμπεριφορές
Μια κακώς προδιαγεγραμμένη συνάρτηση ανταμοιβής οδηγεί τον πράκτορα να μεγιστοποιεί το μέτρο αντί για τον στόχο που αυτό αντιπροσωπεύει. Η βιβλιογραφία ονομάζει αυτό το φαινόμενο reward hacking.
| Επιδιωκόμενος στόχος | Γραμμένη ανταμοιβή | Πιθανή εκφυλισμένη συμπεριφορά |
|---|---|---|
| Καθάρισμα ενός δωματίου | Ποσότητα σκόνης που συλλέχθηκε | Διασπορά της σκόνης για να συλλεχθεί ξανά |
| Ολοκλήρωση ενός αγώνα | Πόντοι που συσσωρεύτηκαν στη διαδρομή | Κυκλική κίνηση σε ζώνη πόντων χωρίς να περάσει τη γραμμή |
| Μεγιστοποίηση της δέσμευσης | Διάρκεια συνεδρίας | Ευνόηση πολωτικών περιεχομένων εις βάρος της ικανοποίησης |
| Μείωση του χρόνου επεξεργασίας | Φάκελοι που έκλεισαν ανά ώρα | Κλείσιμο των δύσκολων φακέλων χωρίς επίλυσή τους |
| Αποφυγή συγκρούσεων | Ποινή σε περίπτωση επαφής | Ακινησία |
Ο πράκτορας δεν βελτιστοποιεί την πρόθεση του σχεδιαστή, βελτιστοποιεί τη συνάρτηση ανταμοιβής· κάθε απόκλιση μεταξύ των δύο θα αξιοποιηθεί. Αυτή η διαπίστωση συναντά τον νόμο του Goodhart: όταν ένα μέτρο γίνεται στόχος, παύει να είναι καλό μέτρο.
Σημείο προσοχής για το εμπόδιο 4: ένα επιβλεπόμενο μοντέλο παράγει μια σημειακή πρόβλεψη που μια επιχειρησιακή διαδικασία μπορεί να φιλτράρει πριν από την ενέργεια· ένας πράκτορας ενίσχυσης παράγει μια πολιτική ενέργειας. Το σημείο ανθρώπινου ελέγχου πρέπει λοιπόν να σχεδιαστεί ρητά, υπό μορφή εξωτερικών περιορισμών ασφαλείας ως προς τη μάθηση.
Η διαθεσιμότητα του σήματος δέχεται ενδιάμεσες καταστάσεις: μερικές ετικέτες, κατασκευασμένες ετικέτες, ετικέτες παρούσες αλλά πολύ σπάνιες. Τρεις διαμορφώσεις προκύπτουν από αυτό.
Αυστηρός ορισμός
Κλάση προβλημάτων στα οποία το δείγμα συγκεντρώνει ένα επισημασμένο υποσύνολο = { (, ) } μεγέθους l και ένα μη επισημασμένο υποσύνολο = { } μεγέθους u, με συνήθως u >> l. Οι μέθοδοι αξιοποιούν την οριακή κατανομή P(X) που εκτιμάται επί του για να περιορίσουν την εκτίμηση του P(Y | X) που μαθεύεται επί του , υπό υποθέσεις κανονικότητας: συνέχεια, ομαδοποίηση, πολλαπλότητα.
Μετάφραση σε καθημερινή γλώσσα
Διαθέτουμε πολλές παρατηρήσεις και λίγες γνωστές απαντήσεις· η μη επισημασμένη μάζα χρησιμεύει για να αξιοποιηθεί καλύτερα ο μικρός αριθμός διαθέσιμων ετικετών.
Σημείο προσοχής
Οι υποθέσεις κανονικότητας δεν ικανοποιούνται πάντα. Όταν δεν ικανοποιούνται, η προσθήκη μη επισημασμένων δεδομένων μπορεί να υποβαθμίσει την επίδοση σε σχέση με ένα μοντέλο εκπαιδευμένο μόνο στα επισημασμένα δεδομένα.
Κλασική περίπτωση: η ιατρική απεικόνιση
Ένα νοσοκομειακό κέντρο διαθέτει 200 000 αρχειοθετημένες εικόνες, από τις οποίες μόνο 2 000 είναι επισημειωμένες: η επισημείωση κινητοποιεί έναν ακτινολόγο επί αρκετά λεπτά ανά εικόνα, και η πλήρης επισημείωση θα αντιπροσώπευε αρκετά ανθρωποέτη. Η αυστηρά επιβλεπόμενη προσέγγιση απορρίπτει το 99 % της διαθέσιμης πληροφορίας· η ημι-επιβλεπόμενη προσέγγιση μαθαίνει τη δομή του χώρου των εικόνων επί των 198 000 ακατέργαστων εικόνων και προσαρμόζει τον κανόνα απόφασης επί των 2 000 επισημειωμένων εικόνων.
Αυστηρός ορισμός
Κλάση μεθόδων στις οποίες η μεταβλητή-στόχος κατασκευάζεται αυτόματα από την εσωτερική δομή των δεδομένων, χωρίς παρέμβαση επισημειωτή. Ορίζεται μια λεγόμενη εργασία πρόφασης (pretext) ώστε η ετικέτα της να είναι συνάξιμη από το ακατέργαστο δεδομένο· το μοντέλο εκπαιδεύεται σε αυτή την εργασία με ελαχιστοποίηση ενός κλασικού εμπειρικού κινδύνου, και έπειτα η αναπαράσταση που προκύπτει επαναχρησιμοποιείται για την εργασία-στόχο.
Μετάφραση σε καθημερινή γλώσσα
Ο αλγόριθμος κατασκευάζει μόνος του τις ασκήσεις και τις διορθώσεις τους από τα ακατέργαστα δεδομένα, γεγονός που καταργεί το κόστος επισημείωσης.
Καθοριστική διευκρίνιση
Η μηχανική της μάθησης παραμένει αυστηρά επιβλεπόμενη: υπάρχει μια τιμή-στόχος, μια συνάρτηση απώλειας, μια σύγκριση μεταξύ πρόβλεψης και στόχου. Μόνο η προέλευση της ετικέτας αλλάζει — εξάγεται από τα δεδομένα αντί να παρέχεται από έναν χειριστή. Η αυτο-επιβλεπόμενη δεν είναι λοιπόν ένα τέταρτο παράδειγμα, αλλά ένας τρόπος απόκτησης των ετικετών.
Σημείο προσοχής
Η ποιότητα της αναπαράστασης εξαρτάται εξ ολοκλήρου από τη συνάφεια της εργασίας πρόφασης. Μια εργασία επιλύσιμη μέσω ενός επιφανειακού τεχνουργήματος παράγει μια αναπαράσταση χωρίς αξία για την εργασία-στόχο.
Κλασική περίπτωση: η απόκρυψη λέξεων
Από ένα σώμα ακατέργαστου, μη επισημειωμένου κειμένου, κατασκευάζονται παραδείγματα εκπαίδευσης με απόκρυψη λέξεων και με αίτημα προς το μοντέλο να τις αποκαταστήσει.
| Βήμα | Περιεχόμενο |
|---|---|
| Ακατέργαστο δεδομένο | «Το βασικό επιτόκιο αυξήθηκε κατά είκοσι πέντε μονάδες βάσης.» |
| Κατασκευασμένο παράδειγμα (είσοδος) | «Το βασικό επιτόκιο [ΜΑΣΚΑ] κατά είκοσι πέντε μονάδες βάσης.» |
| Κατασκευασμένη ετικέτα (στόχος) | «αυξήθηκε» |
| Κόστος επισημείωσης | Μηδενικό: η ετικέτα είναι η λέξη που αφαιρέθηκε |
Αυτός ο μηχανισμός, που διαδόθηκε από αρχιτεκτονικές τύπου BERT (Devlin et al., 2018) και έπειτα γενικεύθηκε από τους αυτοπαλινδρομικούς γλωσσικούς μοντέλους, επιτρέπει την αξιοποίηση σωμάτων πολύ μεγάλου μεγέθους χωρίς ανθρώπινη επισημείωση. Η αναπαράσταση που προκύπτει εξειδικεύεται κατόπιν σε μια επιβλεπόμενη εργασία που διαθέτει λίγες ετικέτες.
Αυστηρός ορισμός
Πρόβλημα που συνίσταται στον εντοπισμό των παρατηρήσεων των οποίων η γένεση είναι απίθανη ως προς την κατανομή των λεγόμενων κανονικών παρατηρήσεων. Ανάλογα με τη διαθεσιμότητα επισημασμένων παραδειγμάτων ανωμαλιών, διατυπώνεται ως έντονα ανισόρροπη επιβλεπόμενη ταξινόμηση, ως μη επιβλεπόμενη εκτίμηση πυκνότητας ή υποστήριξης, ή ως ταξινόμηση μίας κλάσης.
Μετάφραση σε καθημερινή γλώσσα
Να εντοπίσουμε ό,τι ξεφεύγει από το σύνηθες, είτε διαθέτουμε είτε όχι παραδείγματα ανώμαλων περιπτώσεων.
Ταξινομική θέση
Η ανίχνευση ανωμαλιών βρίσκεται ανάμεσα σε δύο παραδείγματα. Δεν αποτελεί συμπληρωματική οικογένεια: δηλώνει έναν επιχειρησιακό σκοπό που μπορεί να αντιμετωπιστεί στο ένα ή το άλλο παράδειγμα ανάλογα με τα διαθέσιμα δεδομένα.
| Διαμόρφωση των δεδομένων | Εφαρμόσιμο παράδειγμα | Συνήθεις μέθοδοι | Αξιολόγηση |
|---|---|---|---|
| Ιστορικό επιβεβαιωμένων και επισημασμένων ανωμαλιών, σε πολύ χαμηλή αναλογία | Επιβλεπόμενο, σε καθεστώς ισχυρής ανισορροπίας | Gradient boosting, τυχαία δάση με επαναδειγματοληψία ή στάθμιση | Ανάκληση, ακρίβεια, εμβαδόν υπό την καμπύλη ακρίβειας-ανάκλησης |
| Καμία επισημασμένη ανωμαλία, ή μελλοντικές ανωμαλίες διάφορες των παρελθουσών | Μη επιβλεπόμενο | Isolation Forest, εκτίμηση πυκνότητας, SVM μίας κλάσης, αυτοκωδικοποιητής | Εσωτερικά κριτήρια, ποσοστό ειδοποιήσεων, χαρακτηρισμός από εμπειρογνώμονα |
| Μερικές επισημασμένες ανωμαλίες και μια μάζα μη χαρακτηρισμένων παρατηρήσεων | Ημι-επιβλεπόμενο | Μοντελοποίηση της κανονικότητας, έπειτα βαθμονόμηση του ορίου επί των επισημασμένων περιπτώσεων | Ακρίβεια επί των επιβεβαιωμένων περιπτώσεων, κόστος των ψευδώς θετικών |
Πρακτικό κριτήριο επιλογής
Αν οι ανωμαλίες προς ανίχνευση μοιάζουν με εκείνες που έχουν ήδη παρατηρηθεί και επισημανθεί, το πρόβλημα είναι επιβλεπόμενο. Αν οι ανωμαλίες προς ανίχνευση είναι εκ φύσεως άγνωστες, το πρόβλημα είναι μη επιβλεπόμενο.
Στην ανίχνευση τραπεζικής απάτης, τα γνωστά σχήματα αντιμετωπίζονται ως επιβλεπόμενα, με τις τεχνικές διαχείρισης ανισορροπίας που εξετάζονται στο κεφάλαιο 050· τα νέα σχήματα διαφεύγουν εκ κατασκευής από ένα μοντέλο εκπαιδευμένο στο παρελθόν και ανήκουν σε μια μη επιβλεπόμενη προσέγγιση. Τα συστήματα σε παραγωγή συνδυάζουν συχνά τα δύο.
Ανάγνωση του κλάδου «Το πλαίσιο πρέπει να επανεκκινηθεί»: η απουσία ετικετών δεν αποκλείει το έργο, μετατοπίζει το πρώτο του βήμα. Το ερώτημα γίνεται «πώς να συγκροτήσουμε ένα επισημασμένο σύνολο» — επισημείωση, προοπτική συλλογή, αξιοποίηση μιας καταγραφής συστήματος — ή «ποιον μη επιβλεπόμενο στόχο να αναλάβουμε».
| Κριτήριο | Επιβλεπόμενη | Μη επιβλεπόμενη | Ενισχυτική |
|---|---|---|---|
| Ετικέτες | Απαιτούνται για κάθε παρατήρηση εκπαίδευσης | Καμία | Καμία· αντικαθίστανται από ένα σήμα ανταμοιβής |
| Ερώτηση που τίθεται | «Ποια είναι η τιμή του Y για αυτή την παρατήρηση;» | «Ποια οργάνωση δομεί αυτές τις παρατηρήσεις;» | «Ποια ακολουθία ενεργειών μεγιστοποιεί το σωρευτικό κέρδος;» |
| Αναλογία | Η μάθηση με διορθωμένο υλικό | Η ταξινόμηση αντικειμένων χωρίς προηγούμενη ονοματολογία | Η απόκτηση μιας κινητικής δεξιότητας |
| Μέτρο ορθότητας | Άμεσο: σύγκριση μεταξύ πρόβλεψης και παρατηρηθείσας τιμής | Αδύνατο με την αυστηρή έννοια: καμία αλήθεια αναφοράς | Έμμεσο: σωρευτική ανταμοιβή επί επεισοδίων |
| Υπότυποι | Ταξινόμηση, παλινδρόμηση | Clustering, μείωση διάστασης, κανόνες συσχέτισης | Μέθοδοι βασισμένες στην τιμή, στην πολιτική, bandits |
| Τυπικοί αλγόριθμοι | Γραμμική και λογιστική παλινδρόμηση, δέντρα, τυχαία δάση, gradient boosting, SVM, νευρωνικά δίκτυα | k-means, ιεραρχική ταξινόμηση, DBSCAN, ACP, UMAP, αυτοκωδικοποιητές | Q-learning, SARSA, κλίσεις πολιτικής, ηθοποιός-κριτικός |
| Συχνότητα στην επιχείρηση | Κυρίαρχη: η μεγάλη πλειονότητα των μοντέλων σε παραγωγή | Σημαντική, κυρίως στην εξερεύνηση και στην προετοιμασία | Περιθωριακή εκτός Ε&Α, με αξιοσημείωτη εξαίρεση τους bandits |
| Παράδειγμα | Πρόβλεψη καταγγελίας πελάτη σε 90 ημέρες | Κατάτμηση της βάσης πελατών σε ομοιογενείς ομάδες | Βελτιστοποίηση πολιτικής διαχείρισης αποθέματος σε προσομοίωση |
| Κάλυψη από αυτό το μάθημα | Κεντρικό αντικείμενο, από το κεφάλαιο 004 έως το τέλος | Τοποθετείται εδώ, χωρίς εμβάθυνση | Τοποθετείται εδώ, χωρίς εμβάθυνση |
Οι δύο διαδικασίες παράγουν ομάδες· η ομοιότητα σταματά εκεί. Η σύγχυση μεταξύ των δύο είναι από τις συχνότερες σε συνέντευξη.
| Σημείο σύγκρισης | Ταξινόμηση | Clustering |
|---|---|---|
| Παράδειγμα | Επιβλεπόμενη | Μη επιβλεπόμενη |
| Υπάρχουν οι ομάδες πριν από την ανάλυση; | Ναι, αποτελούν μέρος της προδιαγραφής | Όχι, προκύπτουν από τον υπολογισμό |
| Αριθμός ομάδων | Καθορίζεται από το επιχειρησιακό πρόβλημα | Επιλέγεται από τον αναλυτή, συχνά με εξερεύνηση |
| Έχουν οι ομάδες όνομα; | Ναι, ένα επιχειρησιακό νόημα ορισμένο a priori | Όχι, αυθαίρετα αναγνωριστικά προς ερμηνεία |
| Απαιτούμενα δεδομένα | Επισημασμένες παρατηρήσεις | Μόνο παρατηρήσεις |
| Ερώτηση που τίθεται | «Αυτή η παρατήρηση ανήκει στην κλάση A ή B;» | «Ποιες ομάδες αναδύονται από αυτές τις παρατηρήσεις;» |
| Αξιολόγηση | Ορθότητα, ανάκληση, ακρίβεια, F1, AUC | Silhouette, αδράνεια, επιχειρησιακή χρησιμότητα |
| Σταθερότητα του νοήματος | Σταθερή: οι κλάσεις δεν αλλάζουν | Ασταθής: άλλη αρχικοποίηση ή άλλο k τροποποιεί τις ομάδες |
| Παράδειγμα | Ανάθεση μηνύματος σε «spam» ή «νόμιμο» | Ανακάλυψη τεσσάρων προφίλ σε μια βάση πελατών |
| Επιχειρησιακή διατύπωση που ενεργοποιεί | «Γνωρίζουμε τι αναζητούμε» | «Θέλουμε να μάθουμε τι υπάρχει» |
Δοκιμή διάκρισης σε μία ερώτηση: περιλαμβάνεται ο κατάλογος των ομάδων στο τεύχος προδιαγραφών; Αν ναι, πρόκειται για ταξινόμηση· διαφορετικά, για clustering.
Μια υπηρεσία μάρκετινγκ ζητά ένα μοντέλο που προβλέπει «τους πελάτες υψηλού δυναμικού». Καμία μεταβλητή με αυτό το όνομα δεν υπάρχει στο πληροφοριακό σύστημα: η πρόθεση πρόβλεψης δεν αρκεί για να δημιουργήσει ένα επιβλεπόμενο πρόβλημα. Δύο εκβάσεις είναι δυνατές, και μία μόνο πρέπει να επιλεγεί ρητά: ορισμός ενός μετρήσιμου και επαληθεύσιμου στόχου στο ιστορικό — για παράδειγμα «κύκλος εργασιών των επόμενων 12 μηνών άνω των 5 000 $» — ή ανάληψη μιας μη επιβλεπόμενης διερευνητικής προσέγγισης που παράγει ομάδες προς ερμηνεία.
Σωστή διατύπωση: «Ένα επιβλεπόμενο πρόβλημα απαιτεί μια μεταβλητή-στόχο ορισμένη, μετρήσιμη και παρούσα στο ιστορικό. Όσο δεν έχει συγκροτηθεί, δεν υπάρχει επιβλεπόμενο πρόβλημα.»
Και τα δύο παράγουν ομάδες, γεγονός που αρκεί για να συντηρεί τη σύγχυση. Το διακριτικό κριτήριο δεν είναι η έξοδος αλλά η είσοδος: προϋπάρχουν οι κλάσεις στα δεδομένα εκπαίδευσης; Μια συνέπεια παρατηρείται τακτικά: ένα clustering που παρουσιάζεται ως προγνωστικό μοντέλο, συνοδευόμενο από ένα δήθεν μέτρο ορθότητας, το οποίο είναι άνευ αντικειμένου ελλείψει διαμέρισης αναφοράς.
Σωστή διατύπωση: «Η ταξινόμηση αποδίδει μια παρατήρηση σε κλάσεις ορισμένες εκ των προτέρων και μαθευμένες επί επισημασμένων παραδειγμάτων· το clustering συγκροτεί ομάδες μόνο από τις ομοιότητες, χωρίς προϋπάρχουσες κλάσεις ούτε μετρήσιμη ορθότητα.»
Η απουσία ετικετών ελαφρύνει τη συλλογή και δίνει την εντύπωση ενός λιγότερο απαιτητικού προβλήματος. Είναι το αντίστροφο στο επίπεδο της επικύρωσης: χωρίς αλήθεια αναφοράς, το έργο στερείται αντικειμενικού κριτηρίου διακοπής, και ο αριθμός ομάδων, η απόσταση και η κανονικοποίηση ανήκουν σε επιλογές που καμία μετρική δεν κρίνει. Ένα επιβλεπόμενο έργο ολοκληρώνεται με μια ποσοτικοποιημένη επίδοση επί ενός συνόλου δοκιμής· ένα μη επιβλεπόμενο έργο, με μια απόφαση επιχειρησιακής αποδοχής.
Σωστή διατύπωση: «Η μη επιβλεπόμενη μάθηση είναι λιγότερο απαιτητική σε επισημασμένα δεδομένα και πιο απαιτητική σε ερμηνεία: η δυσκολία της μετατοπίζεται από τη συλλογή προς την επικύρωση.»
Η απαρίθμηση «επιβλεπόμενη, μη επιβλεπόμενη, ενισχυτική, Deep Learning» αναμειγνύει δύο επίπεδα κατάταξης. Οι τρεις πρώτοι όροι δηλώνουν παραδείγματα, ορισμένα από τη φύση του σήματος μάθησης· ο τέταρτος δηλώνει μια κλάση μοντέλων, ορισμένη από μια αρχιτεκτονική. Ένα νευρωνικό δίκτυο εκπαιδευμένο σε επισημασμένες εικόνες ανήκει στην επιβλεπόμενη, ένας αυτοκωδικοποιητής στη μη επιβλεπόμενη, ένα δίκτυο που βελτιστοποιεί μια πολιτική μέσω ανταμοιβής στην ενισχυτική.
Σωστή διατύπωση: «Το Deep Learning είναι μια κλάση μοντέλων αξιοποιήσιμη και στα τρία παραδείγματα· βρίσκεται σε άλλο επίπεδο κατάταξης.»
Για να προβλέψει την αποχώρηση σε 90 ημέρες, μια ομάδα κρατά ως ερμηνευτική μεταβλητή τον αριθμό κλήσεων στην υπηρεσία καταγγελίας. Η επίδοση είναι άριστη στην επικύρωση και μηδενική στην παραγωγή: τη στιγμή που πρέπει να παραχθεί η πρόβλεψη, αυτή η κλήση δεν έχει ακόμη πραγματοποιηθεί. Η μεταβλητή δεν είναι προγνωστική, είναι συστατική του γεγονότος προς πρόβλεψη. Αυτή η μορφή διαρροής δεδομένων, που εξετάζεται στο κεφάλαιο 028, δεν ανιχνεύεται από τις μετρικές: τις βελτιώνει.
Κανόνας ελέγχου: για κάθε ερμηνευτική μεταβλητή, να επαληθεύεται ότι η τιμή της θα ήταν πράγματι διαθέσιμη τη στιγμή που το μοντέλο θα ερωτηθεί στην παραγωγή.
Σωστή διατύπωση: «Η ετικέτα είναι μεταγενέστερη των ερμηνευτικών μεταβλητών· κάθε πληροφορία σύγχρονη ή μεταγενέστερη της πραγματοποίησης του στόχου πρέπει να αποκλείεται από το σύνολο εκπαίδευσης.»
«Η υγεία είναι επιβλεπόμενη» ή «το μάρκετινγκ είναι clustering» είναι διατυπώσεις χωρίς έρεισμα. Η υγεία δίνει πρόβλεψη επανεισαγωγής (επιβλεπόμενη), εντοπισμό υποομάδων ασθενών (μη επιβλεπόμενη) και διαδοχική προσαρμογή ενός πρωτοκόλλου δοσολογίας (ενισχυτική). Το μάρκετινγκ δίνει πρόβλεψη καταγγελίας, κατάτμηση και δυναμική κατανομή προσφορών μέσω bandits.
Σωστή διατύπωση: «Το παράδειγμα καθορίζεται από τη φύση του διαθέσιμου σήματος μάθησης, ποτέ από τον τομέα δραστηριότητας.»
ΤΟ ΜΟΝΑΔΙΚΟ ΚΡΙΤΗΡΙΟ
« Διαθέτουμε, για τις παρελθούσες παρατηρήσεις,
την τιμή που επιδιώκουμε να προβλέψουμε; »
Ναι ..................................... ΕΠΙΒΛΕΠΟΜΕΝΗ
Όχι ..................................... ΜΗ ΕΠΙΒΛΕΠΟΜΕΝΗ
Όχι, όμως μια εκ των υστέρων αξιολόγηση
των ενεργειών είναι διαθέσιμη ........... ΕΝΙΣΧΥΤΙΚΗ
ΥΠΟΟΙΚΟΓΕΝΕΙΕΣ
Επιβλεπόμενη : ταξινόμηση (κατηγορική τιμή-στόχος)
παλινδρόμηση (αριθμητική τιμή-στόχος)
Μη επιβλεπόμενη : clustering, μείωση διάστασης,
κανόνες συσχέτισης
Ενισχυτική : μέθοδοι βασισμένες στην τιμή ή στην πολιτική
ΕΝΔΙΑΜΕΣΕΣ ΔΙΑΜΟΡΦΩΣΕΙΣ
Ημι-επιβλεπόμενη : μόνο ένα κλάσμα των παρατηρήσεων είναι επισημασμένο
Αυτο-επιβλεπόμενη : ετικέτες κατασκευασμένες από τα δεδομένα·
η μηχανική παραμένει επιβλεπόμενη
Ανωμαλίες : επιβλεπόμενη αν οι παρελθούσες ανωμαλίες είναι επισημασμένες,
μη επιβλεπόμενη αν είναι εκ φύσεως άγνωστες
ΤΙ ΔΕΝ ΕΙΝΑΙ ΚΡΙΤΗΡΙΟ ΚΑΤΑΤΑΞΗΣ
ο τομέας, ο τύπος δεδομένων, ο όγκος,
η αρχιτεκτονική του μοντέλου, ο δηλωμένος σκοπός
ΔΙΑΚΡΙΣΗ ΠΟΥ ΔΕΝ ΠΡΕΠΕΙ ΠΟΤΕ ΝΑ ΧΑΘΕΙ
Ταξινόμηση : οι ομάδες υπάρχουν πριν από την ανάλυση
Clustering : οι ομάδες προκύπτουν από την ανάλυση
ΤΙ ΜΕΤΡΑ ΚΑΘΕ ΠΑΡΑΔΕΙΓΜΑ
Επιβλεπόμενη : μια ορθότητα, με σύγκριση προς την παρατηρηθείσα τιμή
Μη επιβλεπόμενη : μια εσωτερική συνοχή και μια επιχειρησιακή χρησιμότητα
Ενισχυτική : μια σωρευτική ανταμοιβή επί επεισοδίων
ΘΕΣΗ ΤΟΥ DEEP LEARNING
Κλάση μοντέλων αξιοποιήσιμη και στα τρία παραδείγματα.
Δεν είναι ένα τέταρτο παράδειγμα.Συνθετική διατύπωση
Τα παραδείγματα μάθησης διακρίνονται από τη φύση του διαθέσιμου σήματος και από τίποτε άλλο: μια γνωστή τιμή-στόχος παρατήρηση προς παρατήρηση ορίζει την επιβλεπόμενη μάθηση, η μόνη εσωτερική δομή των δεδομένων ορίζει τη μη επιβλεπόμενη μάθηση, μια εκ των υστέρων ανταμοιβή που εκπέμπεται από ένα περιβάλλον ορίζει την ενισχυτική μάθηση· ο τομέας, ο όγκος και η αρχιτεκτονική του μοντέλου δεν έχουν καμία επίδραση σε αυτή την κατάταξη.
Σχετικά κουίζ:
003.1-quiz-critere-classement.md,
003.2-quiz-apprentissage-supervise.md,
003.3-quiz-apprentissage-non-supervise.md,
003.4-quiz-apprentissage-renforcement.md,
003.5-quiz-paradigmes-intermediaires.md,
003.6-quiz-qualification-probleme.md
Επόμενο κεφάλαιο: 004-apprentissage-supervise.md