Το κεφάλαιο 001 έθεσε ότι το Machine Learning είναι μια προσέγγιση της τεχνητής νοημοσύνης που βασίζεται στην επαγωγή. Αυτό το κεφάλαιο καθορίζει τι συνεπάγεται αυτή η διατύπωση στον σχεδιασμό ενός συστήματος.
Τα δύο παραδείγματα κινητοποιούν τα ίδια τρία αντικείμενα — κανόνες, δεδομένα, απαντήσεις — και αλλάζουν μόνο τη θέση τους στην αλυσίδα παραγωγής.
| Παράδειγμα | Παρεχόμενες είσοδοι | Παραγόμενη έξοδος | Συντάκτης των κανόνων |
|---|---|---|---|
| Ντετερμινιστικός προγραμματισμός | Κανόνες + Δεδομένα | Απαντήσεις | Ένας ανθρώπινος σχεδιαστής |
| Επαγωγική μάθηση | Δεδομένα + Απαντήσεις | Κανόνες | Ο αλγόριθμος, από τις παρατηρήσεις |
Το διακριτικό σημείο: στο πρώτο παράδειγμα, ο κανόνας είναι μια είσοδος του συστήματος· στο δεύτερο, είναι η έξοδός του.
Αυστηρός ορισμός
Ντετερμινιστική απεικόνιση από έναν χώρο περιγραφών X σε έναν χώρο αποφάσεων Y, που αντιστοιχίζει σε κάθε περιγραφή x του X μια μοναδική απόφαση του Y: τυπικά, μια συνάρτηση h : X → Y. Στην ταξινόμηση, το Y είναι ένα πεπερασμένο σύνολο κατηγοριών· στην παλινδρόμηση, ένα διάστημα πραγματικών αριθμών.
Μετάφραση σε καθημερινή γλώσσα
Μια διαδικασία που, για κάθε περιγραφόμενη κατάσταση, επιστρέφει μία και μόνο μία απόφαση.
Ουσιώδες σημείο
Αυτός ο ορισμός δεν προϋποθέτει τίποτα για την προέλευση του κανόνα. Μια πρόταση
ΑΝ ... ΤΟΤΕ ..., μια κανονιστική κλίμακα, ένα δέντρο που μαθεύτηκε σε 200 000 φακέλους
και ένα νευρωνικό δίκτυο είναι όλα κανόνες απόφασης με την έννοια αυτού του
ορισμού· διαφέρουν μόνο στον τρόπο με τον οποίο αποκτήθηκε η h.
Σημείο προσοχής
Ένα μοντέλο δεν είναι λιγότερο κανόνας από μια πρόταση γραμμένη στο χέρι: είναι ένας κανόνας του οποίου κανείς δεν συνέταξε τη διατύπωση. Αυτή η ιδιότητα θεμελιώνει ταυτόχρονα την ισχύ του και τη δυσκολία ελέγχου του.
Τα δύο παραδείγματα ανήκουν σε δύο διαφορετικούς τρόπους συμπερασμού, που αναγνωρίστηκαν από τη λογική πολύ πριν από την πληροφορική.
Παραγωγή (deduction)
Τρόπος συμπερασμού με τον οποίο ένα συμπέρασμα προκύπτει από προκείμενες σύμφωνα με κανόνες μετασχηματισμού που διατηρούν την αλήθεια. Αν οι προκείμενες είναι αληθείς και η παραγωγή έγκυρη, το συμπέρασμα είναι κατ' ανάγκην αληθές. Παράδειγμα: «Κάθε αποστολή που περιέχει εκτελέσιμο συνημμένο μπλοκάρεται. Αυτή η αποστολή περιέχει ένα. Άρα μπλοκάρεται.»
Επαγωγή (induction)
Τρόπος συμπερασμού με τον οποίο μια γενική πρόταση σχηματίζεται από ένα πεπερασμένο σύνολο ειδικών παρατηρήσεων. Το συμπέρασμα υπερβαίνει το περιεχόμενο των προκειμένων: δεν είναι εγγυημένο, μόνο περισσότερο ή λιγότερο πιθανό με βάση τις παρατηρήσεις. Παράδειγμα: «Σε 40 000 παρατηρημένα ηλεκτρονικά μηνύματα, εκείνα που παρουσίαζαν ορισμένους συνδυασμούς όρων επισημάνθηκαν ως ανεπιθύμητα στο 96 % των περιπτώσεων. Άρα μια νέα αποστολή που παρουσιάζει αυτούς τους συνδυασμούς είναι πιθανώς ανεπιθύμητη.»
Το πρόβλημα της επαγωγής
Η επαγωγή δεν παρέχει καμία λογική εγγύηση. Η στατιστική θεωρία της μάθησης (Vapnik και Chervonenkis, δεκαετία του 1970) δεν αίρει αυτή την αντίρρηση: την οριοθετεί με πιθανοτικές εγγυήσεις υπό ρητές υποθέσεις, η κυριότερη από τις οποίες είναι ότι τα μελλοντικά δεδομένα προέρχονται από την ίδια κατανομή με τα δεδομένα εκπαίδευσης.
Λειτουργική συνέπεια
Ένα ντετερμινιστικό σύστημα είναι λανθασμένο όταν ο κανόνας του είναι λανθασμένος. Ένα επαγωγικό σύστημα είναι λανθασμένο ένα μέρος του χρόνου εκ κατασκευής, ακόμη και όταν όλα έχουν πραγματοποιηθεί σωστά.
| Κριτήριο | Παραγωγή | Επαγωγή |
|---|---|---|
| Φορά του συμπερασμού | Από το γενικό στο ειδικό | Από το ειδικό στο γενικό |
| Κατάσταση του συμπεράσματος | Αναγκαίο αν οι προκείμενες είναι αληθείς | Πιθανό, αναθεωρήσιμο |
| Περιεχόμενο του συμπεράσματος | Περιέχεται στις προκείμενες | Υπερβαίνει τις προκείμενες |
| Επίδραση μιας νέας παρατήρησης | Καμία στον κανόνα | Μπορεί να αναθεωρήσει τον κανόνα |
| Αντίστοιχο παράδειγμα | Ντετερμινιστικός προγραμματισμός | Machine Learning |
| Τρόπος αποτυχίας | Κακώς προσδιορισμένος κανόνας | Ανεπαρκής γενίκευση |
Αυστηρός ορισμός
Υποθέτουμε την ύπαρξη μιας συνάρτησης-στόχου f : X → Y, άγνωστης, που συνδέει τον χώρο των περιγραφών X με τον χώρο των προς πρόβλεψη τιμών Y· είναι προσβάσιμη μόνο μέσω ενός πεπερασμένου δείγματος παρατηρημένων ζευγών (x₁, y₁), ..., (xₙ, yₙ). Ο αλγόριθμος επιλέγει, σε ένα σύνολο υποθέσεων H που καθορίζεται από την επιλογή της οικογένειας μοντέλων, μια υπόθεση f̂ («f καπέλο») που ελαχιστοποιεί ένα μέτρο σφάλματος στο δείγμα, με την ελπίδα ότι η f̂ προσεγγίζει την f σε όλο το πεδίο.
Μετάφραση σε καθημερινή γλώσσα
Υπάρχει μια πραγματική σχέση μεταξύ αυτού που παρατηρούμε και αυτού που θέλουμε να προβλέψουμε. Κανείς δεν γνωρίζει τη διατύπωσή της· κατασκευάζουμε μια απομίμησή της από τα διαθέσιμα παραδείγματα.
Οι τρεις αποκλίσεις μεταξύ f̂ και f
Σημείο προσοχής
Η ύπαρξη της f είναι μια υπόθεση εργασίας, όχι ένα τεκμηριωμένο γεγονός. Όταν ο στόχος εξαρτάται από παράγοντες που απουσιάζουν από τις περιγραφές x, καμία συνάρτηση από το X στο Y δεν είναι ακριβής, όποιος κι αν είναι ο αλγόριθμος. Αυτό το σημείο αναπτύσσεται στο σημείο 5.
Η ακόλουθη περίπτωση ανασυνθέτει μια τυπική πορεία του φιλτραρίσματος ηλεκτρονικών μηνυμάτων μεταξύ των μέσων της δεκαετίας του 1990 και των μέσων της δεκαετίας του 2000. Οι τάξεις μεγέθους είναι αντιπροσωπευτικές.
Μήνας 1 — τρεις κανόνες αρκούν.
ΑΝ το θέμα περιέχει "viagra" ΤΟΤΕ spam
ΑΝ το θέμα περιέχει "λοταρία" ΤΟΤΕ spam
ΑΝ το σώμα περιέχει "κάντε κλικ εδώ" ΤΟΤΕ spamΤρεις κανόνες γραμμένοι σε μισή ημέρα αναχαιτίζουν το 82 % των ανεπιθύμητων αποστολών, με μηδενικό κόστος συντήρησης.
Μήνας 3 — η συσκότιση. Οι αποστολείς τροποποιούν την ορθογραφία των φιλτραρισμένων
όρων: V1AGRA, V-I-A-G-R-A, VÍAGRA, \/IAGRA, Vi@gra, ή την ίδια
γραφή με ομοιόγλυφους κυριλλικούς χαρακτήρες. Το ποσοστό αναχαίτισης πέφτει στο
51 % σε τρεις εβδομάδες· η ομάδα προσθέτει έναν κανόνα ανά παρατηρημένη γραφή και το
σώμα κανόνων περνά από 3 σε 47 κανόνες.
Μήνας 6 — τα ψευδώς θετικά. Οι συσσωρευμένοι κανόνες μπλοκάρουν νόμιμες αποστολές: την αλληλογραφία ενός συνεργαζόμενου φαρμακείου, ένα ιατρικό ενημερωτικό δελτίο που ακολουθούν 4 000 πελάτες, τις καμπάνιες του εσωτερικού μάρκετινγκ που περιέχουν «κάντε κλικ εδώ». Τρία περιστατικά ανεβαίνουν στη διεύθυνση σε έναν μήνα. Η ομάδα δεν τολμά πλέον να αφαιρέσει κανόνες, καθώς ο καθένας αναχαιτίζει πραγματικό spam: προσθέτει εξαιρέσεις, λίστες εγκεκριμένων αποστολέων και παρεκκλίσεις ανά τομέα. Το σώμα κανόνων περνά στους 210 κανόνες, εκ των οποίων 60 κανόνες εξαίρεσης σε άλλους κανόνες.
Μήνας 12 — τα νέα διανύσματα. Το κείμενο περνά σε εικόνα, μετά σε συνημμένο, μετά κατακερματίζεται με αόρατους χαρακτήρες· κάθε διάνυσμα απαιτεί μια διαφορετική οικογένεια κανόνων: 610 κανόνες.
Μήνας 24 — η μη διαχειρισιμότητα.
| Δείκτης | Μήνας 1 | Μήνας 6 | Μήνας 12 | Μήνας 24 |
|---|---|---|---|---|
| Αριθμός κανόνων | 3 | 210 | 610 | 1 800 |
| Ποσοστό αναχαίτισης | 82 % | 79 % | 77 % | 76 % |
| Ποσοστό ψευδώς θετικών | 0,1 % | 0,9 % | 1,6 % | 2,3 % |
| Άτομα αφιερωμένα στη συντήρηση | 0 | 1 | 2 | 3 |
| Χρόνος αντίδρασης σε νέα καμπάνια | 1 ημέρα | 3 ημέρες | 7 ημέρες | 11 ημέρες |
| Ποσοστό κανόνων με αναγνωρίσιμο συντάκτη | 100 % | 70 % | 35 % | 12 % |
Κανένα άτομο της ομάδας δεν γνωρίζει το σύνολο των 1 800 κανόνων και κάθε τροποποίηση παράγει απρόβλεπτες παλινδρομήσεις αλλού στο σώμα κανόνων. Η επίδοση μειώθηκε παρά την τριπλασιασμένη προσπάθεια συντήρησης.
Η αποτυχία δεν αποδίδεται στην ανικανότητα της ομάδας. Είναι δομική.
| Μηχανισμός | Επίδραση στο σώμα κανόνων | Εμπλεκόμενο μέγεθος |
|---|---|---|
| Συνδυαστική έκρηξη | Ο αριθμός των περιπτώσεων προς κάλυψη αυξάνεται ταχύτερα από την ικανότητα συγγραφής | Αριθμός παραλλαγών ενός μοτίβου |
| Σύζευξη μεταξύ κανόνων | Κάθε νέος κανόνας τροποποιεί τη συμπεριφορά των υπαρχόντων κανόνων | Αριθμός ζευγών κανόνων |
| Αντιπαραθετική απαξίωση | Οι κανόνες παλιώνουν με ρυθμό που επιβάλλεται από έναν εχθρικό τρίτο | Απόκλιση μεταξύ κύκλου επίθεσης και κύκλου διόρθωσης |
Μηχανισμός 1 — η συνδυαστική έκρηξη. Ένας μοναδικός όρος έξι χαρακτήρων
επιδέχεται έναν αριθμό ισοδύναμων γραφών που αυξάνεται πολλαπλασιαστικά: τέσσερις
εύλογες αντικαταστάσεις για το φωνήεν i, τέσσερις για το a, δύο για το
g δίνουν ήδη αρκετές δεκάδες μορφές, και η προαιρετική εισαγωγή ενός
διαχωριστικού μεταξύ καθεμιάς από τις πέντε εσωτερικές θέσεις πολλαπλασιάζει αυτόν τον αριθμό επί
2⁵ = 32. Η τάξη μεγέθους υπερβαίνει τις 10⁴ μορφές για μία μόνο λέξη. Η χειροκίνητη
συγγραφή προοδεύει γραμμικά όταν ο χώρος προς κάλυψη αυξάνεται
εκθετικά: καμία προσπάθεια συντήρησης δεν κλείνει αυτή την απόκλιση.
Μηχανισμός 2 — η σύζευξη μεταξύ κανόνων. Ένα σώμα n κανόνων παρουσιάζει n(n−1)/2 ζεύγη που ενδέχεται να αλληλεπιδράσουν.
| Αριθμός κανόνων | 3 | 47 | 210 | 610 | 1 800 |
|---|---|---|---|---|---|
| Αριθμός ζευγών | 3 | 1 081 | 21 945 | 185 745 | 1 619 100 |
Η επαλήθευση ότι ένας νέος κανόνας δεν συγκρούεται με κανέναν άλλο προϋποθέτει την εξέταση 1 800 αλληλεπιδράσεων σε κάθε προσθήκη. Καθώς αυτή η επαλήθευση δεν είναι χειροκίνητα πραγματοποιήσιμη, δεν γίνεται: οι παλινδρομήσεις ανακαλύπτονται στην παραγωγή, από τους χρήστες.
Μηχανισμός 3 — η απαξίωση απέναντι σε έναν προσαρμοστικό αντίπαλο.
Αυστηρός ορισμός
Πράκτορας του οποίου η αντικειμενική συνάρτηση περιλαμβάνει την παράκαμψη του συστήματος απόφασης, και ο οποίος διαθέτει ένα σήμα παρατήρησης των αποφάσεων αυτού του συστήματος που του επιτρέπει να προσαρμόζει τη συμπεριφορά του.
Μετάφραση σε καθημερινή γλώσσα
Ένας παράγοντας που έχει συμφέρον να εξαπατήσει το σύστημα, που βλέπει τι περνά και τι μπλοκάρεται, και προσαρμόζει τις αποστολές του αναλόγως.
Η κρίσιμη ιδιότητα: η ασυμμετρία των κύκλων
Ο αποστολέας δοκιμάζει μια παραλλαγή και παρατηρεί το αποτέλεσμα σε λίγες ώρες, με σχεδόν μηδενικό κόστος· η ομάδα πρέπει να διαπιστώσει τη μείωση, να διαγνώσει το διάνυσμα, να συντάξει τον κανόνα, να επαληθεύσει την ακινδυνότητά του και να τον αναπτύξει, δηλαδή αρκετές ημέρες. Όσο ο επιτιθέμενος επαναλαμβάνει ταχύτερα από τον αμυνόμενο, η επίδοση τείνει προς εκείνη ενός συστήματος που φιλτράρει πλέον μόνο τις ξεπερασμένες καμπάνιες.
Σημείο προσοχής
Αυτή η ιδιότητα δεν είναι αποκλειστική των συστημάτων βασισμένων σε κανόνες: ένα μοντέλο αντιμέτωπο με έναν προσαρμοστικό αντίπαλο υποβαθμίζεται επίσης. Η διαφορά έγκειται στο μοναδιαίο κόστος της ενημέρωσης — η επανεκπαίδευση είναι εργαλειοποιημένη και επαναλήψιμη, η επανασυγγραφή 1 800 κανόνων δεν είναι.
Αντί να προσδιορίσουμε τα χαρακτηριστικά μοτίβα του spam, συγκροτούμε ένα σώμα ηλεκτρονικών μηνυμάτων του οποίου η φύση είναι γνωστή και ο αλγόριθμος εντοπίζει τις διακριτικές κανονικότητες.
| Διάσταση | Σύστημα βασισμένο σε κανόνες | Επαγωγικό σύστημα |
|---|---|---|
| Αντίδραση σε νέα γραφή | Συγγραφή ειδικού κανόνα | Απορροφάται αν το σώμα επικαιροποιηθεί |
| Προσπάθεια προσαρμογής | Αναλογική με τον αριθμό των παραλλαγών | Σταθερή: επανεκπαίδευση |
| Πηγή του σήματος | Ο αναλυτής που παρατηρεί | Οι αναφορές των χρηστών |
| Επίδραση του όγκου κίνησης | Αυξανόμενο φορτίο συντήρησης | Πρόσθετος πόρος για το μοντέλο |
| Αναγνωσιμότητα της απόφασης | Υψηλή: ο κανόνας που ενεργοποιήθηκε κατονομάζεται | Μειωμένη: στάθμιση πολλών ενδείξεων |
Σημείο προσοχής: η επαγωγική αναδιατύπωση δεν καταργεί την εργασία, τη μετατοπίζει προς τη συντήρηση ενός επισημασμένου σώματος, μιας αλυσίδας επανεκπαίδευσης και μιας παρακολούθησης της επίδοσης. Το όφελος έγκειται στο ότι αυτή η εργασία είναι εργαλειοποιήσιμη και επαναλήψιμη, όχι στην εξάλειψή της.
Η σειρά των ερωτήσεων δεν είναι αδιάφορη: η πρώτη δεν είναι ποτέ «ποιον αλγόριθμο να χρησιμοποιήσουμε» αλλά «είναι ο κανόνας γνωστός». Το Machine Learning είναι σχετικό μόνο όταν η απάντηση είναι αρνητική.
| Συνθήκη | Αιτιολόγηση | Παράδειγμα |
|---|---|---|
| Ο κανόνας δεν είναι τυποποιήσιμος | Τα κριτήρια απόφασης δεν είναι λεκτικοποιήσιμα, ούτε από τους ειδικούς που τα εφαρμόζουν | Αναγνώριση προσώπου, εκτίμηση σύνθετου κινδύνου |
| Οι παράγοντες και οι αλληλεπιδράσεις είναι πολυάριθμοι | Η χειροκίνητη συγγραφή αποκλίνει και η σύζευξη μεταξύ κανόνων γίνεται μη διαχειρίσιμη | Πιστοληπτική βαθμολόγηση με 60 μεταβλητές |
| Το περιβάλλον εξελίσσεται | Οι γραπτοί κανόνες παλιώνουν· η επανεκπαίδευση απορροφά την εξέλιξη με σταθερό κόστος | Ανίχνευση απάτης, φιλτράρισμα μηνυμάτων |
| Η εξατομίκευση πρέπει να είναι μαζική | Ένας κανόνας ανά άτομο είναι αδύνατο να γραφτεί και να συντηρηθεί | Συστάσεις σε αρκετά εκατομμύρια λογαριασμούς |
| Μια προσεγγιστική απάντηση είναι αποδεκτή | Το μοντέλο παράγει μια εκτίμηση συνοδευόμενη από αβεβαιότητα, ποτέ μια βεβαιότητα | Εκτίμηση τιμών, πρόβλεψη ζήτησης |
| Υπάρχει επαρκές επισημασμένο ιστορικό | Η επαγωγή απαιτεί παρατηρήσεις των οποίων η τιμή-στόχος είναι γνωστή | Συναλλαγές με διαπιστωμένη έκβαση |
Αυτές οι έξι συνθήκες είναι σωρευτικές: ένα πρόβλημα που ικανοποιεί τις πέντε και αποτυγχάνει στην έκτη — τυπικά η απουσία επισημασμένου ιστορικού — δεν ανήκει στο Machine Learning ως έχει.
| Αντένδειξη | Λόγος | Εναλλακτική |
|---|---|---|
| Ο ακριβής κανόνας είναι γνωστός, σταθερός και επαληθεύσιμος | Το μοντέλο θα αντικαθιστούσε μια ακριβή απάντηση με μια προσέγγιση, χωρίς αντάλλαγμα | Υλοποίηση του τύπου |
| Η ακρίβεια είναι νομική ή συμβατική υποχρέωση | Μια στατιστική προσέγγιση είναι νομικά απαράδεκτη για ένα οφειλόμενο ποσό | Ρητός, ελεγμένος, εκδοσιοποιημένος κανόνας |
| Ο όγκος των παρατηρήσεων είναι ανεπαρκής | Η επαγωγή σε πολύ μικρό δείγμα παράγει έναν μη γενικεύσιμο κανόνα | Επιχειρησιακή εξειδίκευση, προηγούμενη συλλογή |
| Το λάθος είναι καταστροφικό και μη αναστρέψιμο | Κανένα μοντέλο δεν φτάνει το 100 %: το υπολειπόμενο κλάσμα λαθών είναι δομικό | Συστηματική ανθρώπινη εποπτεία |
| Δεν υπάρχει κανένα ιστορικό, καθώς η διαδικασία είναι νέα | Δεν υπάρχει τίποτα προς επαγωγή | Πρωτοτυποποίηση, προσωρινοί κανόνες, οργανωμένη συλλογή |
Αυστηρός ορισμός
Ιδιότητα ενός συστήματος απόφασης που επιτρέπει την ανασύνθεση, για κάθε παραγόμενη απόφαση, της αλυσίδας αιτιολόγησης που οδήγησε σε αυτήν και της ακριβούς κατάστασης του συστήματος τη συγκεκριμένη ημερομηνία, με τρόπο αναπαραγώγιμο από τρίτο. Απαιτεί ο εφαρμοζόμενος κανόνας να είναι διατυπώσιμος, η ισχύουσα έκδοση να διατηρείται και το αποτέλεσμα να είναι αναπαραγώγιμο επακριβώς.
Σημείο προσοχής
Ένα στατιστικό μοντέλο ικανοποιεί την αναπαραγωγιμότητα αλλά καθιστά δύσκολη τη διατύπωση του κανόνα: οι μέθοδοι εκ των υστέρων εξήγησης παράγουν μια προσεγγιστική αιτιολόγηση της απόφασης, όχι τη διατύπωσή της. Όταν η υποχρέωση αφορά την ατομική αιτιολόγηση, αυτή η προσέγγιση μπορεί να είναι ανεπαρκής.
Κατάσταση 1 — ο κανόνας είναι γνωστός, ακριβής και σταθερός. Υπολογισμός φόρου πωλήσεων, μετατροπή με δημοσιευμένη ισοτιμία, δόση δανείου σταθερού επιτοκίου, έλεγχος ενός αναγνωριστικού με κλειδί. Ένα μοντέλο εκπαιδευμένο να αναπαράγει αυτές τις πράξεις θα έφτανε 99,7 % ακρίβεια εκεί όπου η άμεση υλοποίηση φτάνει 100 %: η αντικατάσταση είναι καθαρή παλινδρόμηση.
Κατάσταση 2 — δεν υπάρχει διαθέσιμο ιστορικό. Μια διαδικασία που δημιουργήθηκε την προηγούμενη εβδομάδα δεν διαθέτει καμία παρατήρηση της οποίας η τιμή-στόχος να είναι γνωστή. Το ζήτημα δεν είναι η επιλογή αλγορίθμου αλλά η οργάνωση της διαδικασίας ώστε οι παρατηρήσεις να συλλέγονται και να επισημαίνονται.
Κατάσταση 3 — η ελεγξιμότητα είναι υποχρέωση. Όταν μια απόφαση πρέπει να αιτιολογηθεί ατομικά ενώπιον του ενδιαφερομένου ή ενός ρυθμιστή, η ικανότητα διατύπωσης του εφαρμοζόμενου κανόνα γίνεται περιορισμός σχεδιασμού όπως και η επίδοση. Ένα μοντέλο παραμένει τότε σχετικό ως υποστήριξη απόφασης, με την δεσμευτική απόφαση να παράγεται από έναν ρητό κανόνα ή από έναν χειριστή.
Αυτό το σημείο είναι το σημαντικότερο του κεφαλαίου: διακρίνει μια τεχνική κατανόηση από μια λειτουργική κατανόηση.
Κανένα μοντέλο Machine Learning δεν φτάνει 100 % ακρίβεια σε νέα δεδομένα.
Αυτή η διατύπωση προκύπτει από την επαγωγική φύση του συμπερασμού: ο κανόνας προεκτείνεται από ένα πεπερασμένο δείγμα προς ένα πεδίο που το υπερβαίνει. Μια ακρίβεια 100 % που ανακοινώνεται σε νέα δεδομένα σηματοδοτεί, στην πράξη, μια διαρροή δεδομένων, που εξετάζεται στο κεφάλαιο 028, ή μια αξιολόγηση που διεξήχθη στα δεδομένα εκπαίδευσης. Το σχετικό ερώτημα δεν είναι λοιπόν ποτέ «κάνει λάθος το μοντέλο», αλλά:
Ποιος διαχειρίζεται τα λάθη, με ποιο κόστος, και σε ποιο χρονικό διάστημα;
Ένα μοντέλο που φτάνει 95 % ακρίβεια παρουσιάζεται γενικά ως καλό μοντέλο. Σε σχέση με τον όγκο που επεξεργάζεται:
Ημερήσιος όγκος αποφάσεων : 100 000
Ακρίβεια του μοντέλου : 95 %
Σωστές αποφάσεις : 95 000
Λανθασμένες αποφάσεις : 5 000 ανά ημέρα| Υπόθεση διαχείρισης | Επαγόμενο φορτίο | Συμπέρασμα |
|---|---|---|
| Καμία διαχείριση, λάθος χωρίς συνέπεια | Μηδενικό | Μοντέλο αναπτύξιμο ως έχει |
| Διαχείριση από τον τελικό χρήστη, 30 δευτερόλεπτα | 42 ώρες προσοχής ανά ημέρα, διάχυτες | Αποδεκτό αν το λάθος είναι ορατό και διορθώσιμο |
| Εσωτερική ανθρώπινη επανεξέταση, 4 λεπτά ανά περίπτωση | 333 ώρες ανά ημέρα, περίπου 42 θέσεις πλήρους απασχόλησης | Ο μηχανισμός διόρθωσης κοστίζει περισσότερο από το μοντέλο |
| Λάθος μη ανιχνεύσιμο από τον χρήστη | Μηδενικό φορτίο, μη οριοθετημένος κίνδυνος | Η πιο επικίνδυνη διαμόρφωση |
Η τελευταία γραμμή είναι η σημαντικότερη: ένα δαπανηρό αλλά ορατό λάθος είναι πρόβλημα διαστασιολόγησης, ένα σιωπηλό λάθος είναι πρόβλημα σχεδιασμού.
| Συμφραζόμενο | Φύση του λάθους | Βαρύτητα | Αναστρεψιμότητα | ML κατάλληλο |
|---|---|---|---|---|
| Σύσταση περιεχομένου | Μη σχετική πρόταση | Χαμηλή | Άμεση: ο χρήστης αγνοεί την πρόταση | Ναι, ανεπιφύλακτα |
| Φιλτράρισμα μηνυμάτων | Ψευδώς θετικό: νόμιμη αποστολή σε καραντίνα | Μέση | Καλή αν η καραντίνα είναι προσβάσιμη | Ναι, υπό την προϋπόθεση προσβάσιμης καραντίνας |
| Προγνωστική συντήρηση | Αδικαιολόγητος συναγερμός ή μη προβλεφθείσα βλάβη | Μέση έως υψηλή | Μερική: κόστος επέμβασης ή κόστος διακοπής | Ναι, με ασύμμετρο κατώφλι |
| Χορήγηση πίστωσης | Αδικαιολόγητη απόρριψη φερέγγυου αιτούντος | Υψηλή | Χαμηλή: ζημία που υπέστη, πιθανή αντιδικία | Ναι, υπό περιορισμούς εξηγησιμότητας και προσφυγής |
| Αυτόματη εποπτεία περιεχομένου | Διαγραφή νόμιμου περιεχομένου | Υψηλή | Εξαρτάται από την ύπαρξη οδού προσφυγής | Ναι, με εγγυημένη ανθρώπινη επανεξέταση |
| Ιατρική διάγνωση | Ψευδώς αρνητικό: μη ανιχνευθείσα παθολογία | Πολύ υψηλή | Χαμηλή έως μηδενική | Όχι σε αυτόνομη απόφαση: υποστήριξη απόφασης |
| Υπολογισμός μισθοδοσίας ή φόρου | Λανθασμένο ποσό | Υψηλή | Δυνατή διόρθωση, αλλά παράβαση υποχρέωσης ακρίβειας | Όχι: ο ακριβής κανόνας υπάρχει |
Τρεις αναγνώσεις πρέπει να κατακτηθούν.
Πρώτη ανάγνωση: η βαρύτητα εξαρτάται από το πλαίσιο χρήσης, όχι από το ποσοστό λάθους. Το ίδιο μοντέλο με 95 % είναι εξαιρετικό στις συστάσεις και απαράδεκτο στον υπολογισμό μισθοδοσίας.
Δεύτερη ανάγνωση: η αναστρεψιμότητα είναι το αποφασιστικό λειτουργικό κριτήριο. Ένα σοβαρό αλλά επανορθώσιμο λάθος διαχειρίζεται με τον σχεδιασμό — συνετό κατώφλι, ουρά επαλήθευσης, οδός προσφυγής· ένα μη αναστρέψιμο λάθος δεν διαχειρίζεται έτσι.
Τρίτη ανάγνωση: οι δύο τύποι λάθους ενός ταξινομητή δεν έχουν το ίδιο κόστος. Αυτή η ασυμμετρία είναι παράμετρος σχεδιασμού, ρυθμιζόμενη από το κατώφλι απόφασης.
Μια γραμμή παραγωγής δεν επιδιώκει το μηδενικό ελάττωμα με κάθε κόστος: διαστασιολογεί ένα αποδεκτό ποσοστό ελαττωμάτων, μετά σχεδιάζει τον αντίστοιχο μηχανισμό ανίχνευσης και διόρθωσης. Αυτό το ποσοστό δεν εξαρτάται από τη μηχανή, αλλά από το μοναδιαίο κόστος ενός ελαττώματος που διαφεύγει, από το κόστος του ελέγχου και από τον παραγόμενο όγκο. Ένας υπεύθυνος που απαιτεί μηδενικά ελαττώματα χωρίς να διαστασιολογήσει τον έλεγχο δεν παίρνει μηδενικά ελαττώματα: παίρνει μη ανιχνευμένα ελαττώματα.
Το αποδεκτό ποσοστό λάθους ενός μοντέλου είναι ομοίως μια απόφαση μηχανικής, ποτέ μια ιδιότητα του αλγορίθμου.
Τα ακόλουθα τέσσερα όρια δεν είναι ελαττώματα υλοποίησης: προκύπτουν από την επαγωγική φύση της προσέγγισης και δεν αίρονται από κανέναν αλγόριθμο, καμία αρχιτεκτονική και κανέναν όγκο δεδομένων.
Διατύπωση
Ένας αλγόριθμος μάθησης εξάγει κανονικότητες που υπάρχουν στις παρεχόμενες περιγραφές. Δεν μπορεί να θεμελιώσει μια απόφαση σε έναν παράγοντα που δεν εμφανίζεται σε καμία μεταβλητή, ούτε άμεσα ούτε μέσω συσχέτισης.
Παράδειγμα
Ένα μοντέλο εκτίμησης ακινήτων που τροφοδοτείται με το εμβαδόν και τον αριθμό δωματίων δεν μπορεί να αποτιμήσει ούτε τη θέα, ούτε τον προσανατολισμό, ούτε την κατάσταση της οροφής, που ωστόσο καθορίζουν ένα ουσιαστικό μέρος της τιμής. Το μοντέλο δεν επισημαίνει αυτή την ανεπάρκεια: παράγει μια εκτίμηση της οποίας το υπολειπόμενο σφάλμα θα αποδοθεί στον «θόρυβο» ενώ αντανακλά μια ελλείπουσα πληροφορία.
Πρακτική συνέπεια
Το ανώτατο όριο επίδοσης καθορίζεται από το πληροφοριακό περιεχόμενο των μεταβλητών, όχι από την επιλογή του αλγορίθμου. Αυτό το όριο εξηγεί μια συχνή απογοήτευση: το πέρασμα από μια παλινδρόμηση σε μια εξελιγμένη μέθοδο συνόλων προσφέρει μόνο λίγες μονάδες όταν η απαραίτητη πληροφορία απουσιάζει από το σύνολο δεδομένων.
Διατύπωση
Ένα προγνωστικό μοντέλο εντοπίζει στατιστικές συσχετίσεις μεταξύ επεξηγηματικών μεταβλητών και μεταβλητής-στόχου. Μια συσχέτιση δεν είναι σχέση αιτίου- αποτελέσματος: ένα αποδοτικό μοντέλο μπορεί να βασίζεται σε συσχετίσεις των οποίων η αιτιακή ερμηνεία είναι ψευδής, ή και αντεστραμμένη.
Η τεκμηριωμένη περίπτωση άσθμα και πνευμονία
Μια μελέτη της δεκαετίας του 1990 σε ασθενείς που εισήχθησαν για πνευμονία στόχευε στην πρόβλεψη του κινδύνου θανάτου ώστε να κατευθυνθούν οι ασθενείς χαμηλού κινδύνου προς εξωνοσοκομειακή φροντίδα. Το μοντέλο έμαθε έναν κανόνα ακριβή στα δεδομένα και επικίνδυνο στην πράξη:
Οι πνευμονικοί ασθενείς με ιστορικό άσθματος παρουσιάζουν χαμηλότερο κίνδυνο θανάτου.
Η συσχέτιση είναι πραγματική στα δεδομένα. Η εξήγησή της: αυτοί οι ασθενείς εισάγονταν συστηματικά στη μονάδα εντατικής θεραπείας λόγω του ιστορικού τους, λάμβαναν εκεί άμεση και επιθετική φροντίδα, και επομένως επιβίωναν περισσότερο. Ο επαχθείς κανόνας ήταν συνέπεια του πρωτοκόλλου φροντίδας, όχι κλινική ιδιότητα· εφαρμοζόμενος ως έχει, θα κατεύθυνε προς το σπίτι ακριβώς τους ασθενείς που το υπάρχον πρωτόκολλο προστάτευε. Το μοντέλο δεν ήταν ελαττωματικό — αναπαρήγαγε πιστά τα δεδομένα — και μόνο μια επανεξέταση από κλινικούς επέτρεψε την ανίχνευση της ανωμαλίας.
Αυτή η περίπτωση αναφέρεται κυρίως από τον Cooper και τους συνεργάτες του (1997), και έπειτα επαναλαμβάνεται και αναλύεται από τον Caruana και τους συνεργάτες του (2015) στις εργασίες τους για τα κατανοητά μοντέλα στην υγεία.
Διατύπωση προς απομνημόνευση
Ένα μοντέλο προβλέπει τι συμβαίνει στις συνθήκες υπό τις οποίες παράχθηκαν τα δεδομένα. Δεν προβλέπει τι θα συνέβαινε αν επεμβαίναμε σε αυτές τις συνθήκες. Κάθε απόφαση επέμβασης που βασίζεται σε ένα καθαρά προγνωστικό μοντέλο βγαίνει από το πεδίο εγκυρότητας αυτού του μοντέλου.
Διατύπωση
Το στατιστικό πλαίσιο της επιβλεπόμενης μάθησης υποθέτει ότι τα δεδομένα λειτουργίας προέρχονται από την ίδια κατανομή με τα δεδομένα εκπαίδευσης. Όταν αυτή η υπόθεση παύει να ισχύει, οι εγγυήσεις επίδοσης καταρρέουν.
Δύο μορφές ρήξης
Πρακτική συνέπεια
Συνήθεις αιτίες: αλλαγή συμπεριφοράς των πελατών, τροποποίηση του προϊόντος ή της επιχειρησιακής διαδικασίας, ρυθμιστική εξέλιξη, προσαρμογή ενός αντιπάλου, τροποποίηση ενός αισθητήρα, εξωτερικό σοκ. Ένα μοντέλο σε παραγωγή δεν έχει λοιπόν σταθερή επίδοση: έχει μια διάρκεια εγκυρότητας, που πρέπει να παρακολουθείται και όχι να υποτίθεται. Μια ανάπτυξη σε παραγωγή χωρίς μηχανισμό παρακολούθησης είναι μια ατελής απόφαση λειτουργίας. Η μετατόπιση, η ανίχνευσή της και οι στρατηγικές επανεκπαίδευσης εξετάζονται στο κεφάλαιο 082.
Διατύπωση
Η ποιότητα του επαχθέντος κανόνα οριοθετείται από την ποιότητα και την αντιπροσωπευτικότητα των παρεχόμενων παρατηρήσεων. Λανθασμένα, μεροληπτικά ή κακώς επισημασμένα δεδομένα παράγουν έναν λανθασμένο, μεροληπτικό ή κακώς βαθμονομημένο κανόνα.
Η επιδείνωση που είναι ιδιαίτερη στο Machine Learning
Ένα ντετερμινιστικό πρόγραμμα που τροφοδοτείται με μη έγκυρα δεδομένα αποτυγχάνει με ορατό τρόπο: εξαίρεση, ακραία τιμή, απόρριψη από έλεγχο. Ένας αλγόριθμος μάθησης, αντίθετα, δεν αποτυγχάνει: συγκλίνει, παράγει ένα μοντέλο, και αυτό το μοντέλο παράγει προβλέψεις με φυσιολογική εμφάνιση. Η αποτυχία είναι σιωπηλή.
| Ελάττωμα των δεδομένων | Επίδραση στο μοντέλο | Εκδήλωση |
|---|---|---|
| Μερικώς λανθασμένες ετικέτες | Ο επαχθείς κανόνας αναπαράγει το λάθος επισήμανσης | Φαινομενικά σωστή επίδοση, λανθασμένες αποφάσεις |
| Μη αντιπροσωπευτικός πληθυσμός | Ο κανόνας ισχύει μόνο σε μια υποομάδα | Απόκλιση επίδοσης μεταξύ τμημάτων |
| Μεταβλητή μη διαθέσιμη τη στιγμή της απόφασης | Εξαιρετική επίδοση στη δοκιμή, κατάρρευση στην παραγωγή | Διαρροή δεδομένων, κεφάλαιο 028 |
| Έντονα μη ισορροπημένες κλάσεις | Το μοντέλο προτιμά την πλειοψηφική κλάση | Υψηλή ακρίβεια, μηδενική ανίχνευση στη σπάνια κλάση, κεφάλαιο 050 |
Σημείο προσοχής
Η απουσία σφάλματος εκτέλεσης δεν αποτελεί ποτέ απόδειξη εγκυρότητας για ένα επαγωγικό σύστημα. Η επικύρωση απαιτεί εξέταση των δεδομένων, ανάλυση των λαθών ανά τμήμα και αντιπαραβολή των μαθημένων κανονικοτήτων με την επιχειρησιακή γνώση.
Ο στόχος είναι η εκτίμηση της τιμής πώλησης ενός σπιτιού, με τις δύο προσεγγίσεις να διεξάγονται παράλληλα στα ίδια ακίνητα.
Ένας ειδικός του πεδίου προτείνει έναν τύπο βασισμένο στην εμπειρία του:
τιμή = εμβαδόν_m2 x 3 500 + αριθμός_δωματίων x 10 000| Ακίνητο | Εμβαδόν | Δωμάτια | Υπολογισμένη τιμή | Πραγματική τιμή | Σφάλμα | Σχετικό σφάλμα |
|---|---|---|---|---|---|---|
| A | 90 m² | 3 | 345 000 $ | 352 000 $ | −7 000 $ | 2,0 % |
| B | 120 m² | 4 | 460 000 $ | 448 000 $ | +12 000 $ | 2,7 % |
| C | 75 m² | 2 | 282 500 $ | 291 000 $ | −8 500 $ | 2,9 % |
| D | 140 m² | 4 | 530 000 $ | 690 000 $ | −160 000 $ | 23,2 % |
Στα τρία πρώτα ακίνητα ο τύπος είναι αποδεκτός· στο τέταρτο, αποτυγχάνει κατά 160 000 δολάρια. Μια απόκλιση αυτής της τάξης απαξιώνει το εργαλείο: κανένας επαγγελματίας δεν θεμελιώνει μια διαπραγμάτευση σε μια εκτίμηση της οποίας το πιθανό σφάλμα φτάνει το ένα τέταρτο της αξίας.
| Παράγοντας | Κατάσταση του ακινήτου D | Επίδραση στην τιμή |
|---|---|---|
| Γειτονιά | Περιζήτητη σχολική περιφέρεια, σταθμός μεταφορών σε 300 μέτρα | Ισχυρή, πολλαπλασιαστική |
| Ανακαίνιση | Κουζίνα και μπάνιο ανακαινισμένα 18 μήνες πριν την πώληση | Προσθετική, ουσιαστική |
| Γκαράζ | Διπλό γκαράζ, σπάνιο στην περιοχή | Προσθετική, μέτρια |
Η διόρθωση φαίνεται απλή: προσθήκη των ελλειπόντων όρων.
τιμή = εμβαδόν_m2 x A + αριθμός_δωματίων x B + γκαράζ x C
+ πρόσφατη_ανακαίνιση x D + δείκτης_γειτονιάς x E + FΗ δομή είναι εύλογη. Το πρόβλημα είναι αλλού:
Ποιες είναι οι τιμές των A, B, C, D, E και F;
Κανείς δεν τις γνωρίζει. Δεν περιλαμβάνονται σε κανένα σύστημα αναφοράς και μεταβάλλονται ανάλογα με την πόλη, το τμήμα και την περίοδο. Ένας ειδικός μπορεί να προτείνει μια τάξη μεγέθους για το A· δεν μπορεί να κρίνει μεταξύ 34 000 και 41 000 δολαρίων για την αξία μιας ανακαίνισης, ούτε να ποσοτικοποιήσει τον δείκτη γειτονιάς σε μια κλίμακα συνεπή με τους άλλους όρους. Σε αυτά προστίθενται οι αλληλεπιδράσεις — η αξία μιας ανακαίνισης εξαρτάται από τη γειτονιά —, οι μη γραμμικότητες και η αστάθεια: οι συντελεστές θα έχουν παλιώσει σε δεκαοκτώ μήνες.
Συμπέρασμα: η δομή του προβλήματος είναι αναγνωρίσιμη από έναν ειδικό· οι παράμετροί του δεν είναι. Αυτή είναι ακριβώς η διαμόρφωση που καλεί μια επαγωγική προσέγγιση.
Συγκεντρώνουμε τις ολοκληρωμένες πωλήσεις, περιγραφόμενες με τις ίδιες μεταβλητές, με τη διαπιστωμένη τιμή.
| Εμβαδόν | Δωμάτια | Γκαράζ | Ανακαινισμένο | Δείκτης γειτονιάς | Διαπιστωμένη τιμή |
|---|---|---|---|---|---|
| 90 m² | 3 | 0 | 0 | 3 | 352 000 $ |
| 120 m² | 4 | 1 | 0 | 3 | 448 000 $ |
| 75 m² | 2 | 0 | 0 | 3 | 291 000 $ |
| 140 m² | 4 | 1 | 1 | 7 | 690 000 $ |
| 105 m² | 3 | 1 | 0 | 5 | 468 000 $ |
| 160 m² | 5 | 1 | 1 | 6 | 712 000 $ |
| 82 m² | 2 | 0 | 1 | 4 | 371 000 $ |
Το πραγματικό σύνολο περιλαμβάνει αρκετές χιλιάδες γραμμές αυτής της μορφής, και η διαδικασία μάθησης χωρά σε τρεις εντολές:
X = donnees[["surface", "chambres", "garage", "renovee", "indice_quartier"]]
y = donnees["prix"]
model.fit(X, y)Η κλήση model.fit(X, y) είναι η πράξη της επαγωγής: ο αλγόριθμος αναζητά
τους συντελεστές που ελαχιστοποιούν την απόκλιση μεταξύ υπολογισμένων και διαπιστωμένων τιμών στο
σύνολο των πωλήσεων.
| Όρος | Εκτιμώμενος συντελεστής | Επιχειρησιακή ανάγνωση |
|---|---|---|
| Εμβαδόν | 3 120 $ ανά m² | Οριακή αξία του τετραγωνικού μέτρου |
| Δωμάτια | 6 400 $ ανά δωμάτιο | Ίδια επίδραση, με ελεγχόμενο το εμβαδόν |
| Γκαράζ | 14 900 $ | Πριμ για γκαράζ |
| Πρόσφατη ανακαίνιση | 38 200 $ | Πριμ για πρόσφατη ανακαίνιση |
| Δείκτης γειτονιάς | 21 500 $ ανά μονάδα | Επίδραση της περιοχής |
| Σταθερά | 18 700 $ | Τεταγμένη επί την αρχή |
Καμία από αυτές τις τιμές δεν παρασχέθηκε: επάχθηκαν από τις παρατηρημένες πωλήσεις. Ο συντελεστής εμβαδού διαφέρει από τη διαίσθηση του ειδικού — 3 120 αντί για 3 500 — επειδή η αρχική εκτίμηση απορροφούσε σιωπηρά επιδράσεις που πλέον συλλαμβάνονται από τους άλλους όρους.
Πρόβλεψη σε ένα ακίνητο που δεν έχει ξαναδεί:
Ακίνητο E : 110 m², 3 δωμάτια, γκαράζ, μη ανακαινισμένο, δείκτης γειτονιάς 4
110 x 3 120 = 343 200
3 x 6 400 = 19 200
γκαράζ = 14 900
ανακαίνιση = 0
4 x 21 500 = 86 000
σταθερά = 18 700
-----------------------
Εκτίμηση = 482 000 $Σε επαγγελματική χρήση, αυτή η σημειακή εκτίμηση συνοδεύεται από ένα διάστημα και από ένα μέσο σφάλμα που καθορίζονται κατά την αξιολόγηση.
| Κριτήριο | Ντετερμινιστική προσέγγιση | Επαγωγική προσέγγιση |
|---|---|---|
| Προέλευση των συντελεστών | Υποτιθέμενοι από ειδικό, μη επαληθεύσιμοι | Εκτιμώμενοι από τις διαπιστωμένες πωλήσεις |
| Συνεκτίμηση νέου παράγοντα | Επανασυγγραφή του τύπου, χειροκίνητη κρίση για τον συντελεστή | Προσθήκη μιας στήλης και επανεκπαίδευση |
| Προσαρμογή σε διαφορετική αγορά | Πλήρης επανάληψη της εξειδίκευσης | Επανεκπαίδευση στα τοπικά δεδομένα |
| Μέτρηση της ποιότητας | Απόκλιση που διαπιστώνεται εκ των υστέρων, χωρίς πρωτόκολλο | Σφάλμα μετρούμενο σε πωλήσεις που δεν χρησιμοποιήθηκαν για τη μάθηση |
| Ελεγξιμότητα της απόφασης | Υψηλή: ο τύπος είναι διατυπώσιμος | Μέση έως χαμηλή ανάλογα με την οικογένεια μοντέλων |
Ανάγνωση του πίνακα: η επαγωγική προσέγγιση υπερτερεί σε τέσσερα κριτήρια και χάνει στην ελεγξιμότητα. Αυτός ο συμβιβασμός είναι αντιπροσωπευτικός και κρίνεται από το πλαίσιο χρήσης: μια ενδεικτική εκτίμηση που προορίζεται για έναν μεσίτη ανέχεται μέση ελεγξιμότητα· μια αξία πραγματογνωμοσύνης δεσμευτική ενώπιον δικαστηρίου δεν την ανέχεται.
Το λεξιλόγιο του Τύπου — «ο αλγόριθμος αποφασίζει», «η μηχανή μαθαίνει μόνη της» — συντηρεί την ιδέα μιας ολοκληρωτικής αυτοματοποίησης της αλυσίδας απόφασης. Η εξέταση του πραγματικού κύκλου ενός έργου την αντικρούει.
| Στάδιο του κύκλου | Περιεχόμενο της απόφασης | Αποφασίζων |
|---|---|---|
| 1. Διατύπωση του επιχειρησιακού προβλήματος | Προσδιορισμός του ερωτήματος που αξίζει να τεθεί | Άνθρωπος |
| 2. Κρίση για τη σκοπιμότητα του ML | Αντιπαραβολή του προβλήματος με τις συνθήκες του σημείου 3 | Άνθρωπος |
| 3. Ορισμός της μεταβλητής-στόχου | Επιλογή του τι προβλέπεται και πώς μετριέται | Άνθρωπος |
| 4. Επιλογή και συλλογή των δεδομένων | Προσδιορισμός πηγών, περιόδου, πληθυσμού | Άνθρωπος |
| 5. Ορισμός του μέτρου επίδοσης και του κατωφλίου | Καθορισμός του τι συνιστά επιτυχία, κρίση μεταξύ τύπων λάθους | Άνθρωπος |
| 6. Προετοιμασία των δεδομένων και κατασκευή των μεταβλητών | Καθαρισμός, κωδικοποίηση, συνάθροιση, παραγωγή | Άνθρωπος, με εργαλεία |
| 7. Επιλογή της οικογένειας αλγορίθμων | Κρίση μεταξύ επίδοσης, ερμηνευσιμότητας, κόστους, περιορισμών | Άνθρωπος |
| 8. Προσαρμογή των παραμέτρων του μοντέλου | Εκτίμηση των συντελεστών που ελαχιστοποιούν το σφάλμα στο δείγμα | Μηχανή |
| 9. Αξιολόγηση και ερμηνεία των αποτελεσμάτων | Ανάλυση των λαθών, αντιπαραβολή με το επιχειρησιακό πεδίο, ανίχνευση ανωμαλιών | Άνθρωπος |
| 10. Απόφαση για την ανάπτυξη σε παραγωγή | Κρίση για την ανάπτυξη και τους μηχανισμούς ασφαλείας της | Άνθρωπος |
| 11. Παρακολούθηση και κρίση για την επανεκπαίδευση | Ανίχνευση της μετατόπισης, απόφαση επανάληψης του κύκλου | Άνθρωπος |
Σε έντεκα στάδια, η μηχανή καλύπτει ένα, πλήρως εξαρτημένο από τις ανθρώπινες αποφάσεις που το προηγούνται: τα δεδομένα του σταδίου 4, ο στόχος του σταδίου 3, το μέτρο σφάλματος του σταδίου 5 και η οικογένεια μοντέλων του σταδίου 7 καθορίζουν πλήρως τι μπορεί να παράγει το στάδιο 8.
Τα μπλοκ σε σκούρα απόχρωση ανήκουν στην ανθρώπινη απόφαση. Το μπλοκ σε ανοιχτή απόχρωση είναι το μόνο στάδιο που εκτελείται από τη μηχανή.
Ένα φασματόμετρο παράγει μετρήσεις που κανένας χειριστής δεν θα μπορούσε να πάρει με το μάτι: είναι αναντικατάστατο σε αυτό το τμήμα της αλυσίδας. Δεν επιλέγει το ερευνητικό ερώτημα, δεν λαμβάνει το δείγμα, δεν ορίζει το πρωτόκολλο, δεν ερμηνεύει τα αποτελέσματα και δεν αποφασίζει τη δημοσίευση. Ένας αλγόριθμος μάθησης καταλαμβάνει ακριβώς την ίδια θέση.
Αυστηρός ορισμός
Θέση ενός αυτοματοποιημένου συστήματος στην κλίμακα που πηγαίνει από την απλή παραγωγή πληροφορίας έως την απόφαση που εκτελείται χωρίς ανθρώπινη παρέμβαση, χαρακτηριζόμενη από τον ρόλο που ανατίθεται στον χειριστή στον βρόχο απόφασης.
Τα τρία συνήθη καθεστώτα
| Καθεστώς | Ρόλος του ανθρώπου | Πλαίσιο χρήσης |
|---|---|---|
| Υποστήριξη απόφασης | Ο άνθρωπος αποφασίζει, το μοντέλο ενημερώνει | Σοβαρό λάθος, αιτιολογημένη απόφαση, απαραίτητη εξειδίκευση |
| Άνθρωπος στον βρόχο κατ' εξαίρεση | Το μοντέλο αποφασίζει, ο άνθρωπος κρίνει τις αβέβαιες περιπτώσεις | Υψηλός όγκος, επανορθώσιμα λάθη, αναγνωρίσιμη αβεβαιότητα |
| Πλήρης αυτοματοποίηση | Το μοντέλο αποφασίζει μόνο του, ο άνθρωπος παρακολουθεί τα συναθροιστικά μεγέθη | Λάθος χαμηλής βαρύτητας, μαζικός όγκος, άμεση αναστρεψιμότητα |
Σημείο προσοχής
Το καθεστώς αυτονομίας είναι απόφαση σχεδιασμού, ανεξάρτητη από την επίδοση του μοντέλου. Ένα πολύ αποδοτικό μοντέλο μπορεί να αναπτυχθεί ως υποστήριξη απόφασης επειδή το πλαίσιο το απαιτεί· ένα μέτριο μοντέλο μπορεί να είναι πλήρως αυτοματοποιημένο επειδή το λάθος εκεί είναι χωρίς συνέπεια.
Σύμπτωμα: διατύπωση της επιλογής ως εκσυγχρονισμού, ή αντιπαράθεση μιας μεθόδου «ξεπερασμένης» με μια μέθοδο «σύγχρονη».
Λόγος: οι δύο προσεγγίσεις ανταποκρίνονται σε δύο διαφορετικές διαμορφώσεις. Το Machine Learning δεν προσφέρει τίποτα όταν ο κανόνας είναι γνωστός, ακριβής και σταθερός· εισάγει εκεί μια προσέγγιση χωρίς αντάλλαγμα.
Σωστή διατύπωση: «Ο ντετερμινιστικός προγραμματισμός και η επαγωγική μάθηση αντιμετωπίζουν δύο διαφορετικές διαμορφώσεις. Το κριτήριο επιλογής είναι η διαθεσιμότητα ενός ακριβούς και σταθερού κανόνα, όχι η παλαιότητα της μεθόδου.»
Σύμπτωμα: περιγραφή του έργου ως «δίνουμε τα δεδομένα στον αλγόριθμο και τα βρίσκει όλα μόνος του».
Λόγος: ο αλγόριθμος εκτελεί μόνο ένα στάδιο από τα έντεκα. Η επιλογή του στόχου, των δεδομένων, του μέτρου επίδοσης και της οικογένειας μοντέλων είναι ανθρώπινη, και καθορίζει πλήρως το αποτέλεσμα που επιτυγχάνεται.
Σωστή διατύπωση: «Ο αλγόριθμος εκτιμά τις παραμέτρους. Η πλαισίωση του προβλήματος, η επιλογή των δεδομένων, ο ορισμός του μέτρου επίδοσης και η επικύρωση παραμένουν ανθρώπινες αποφάσεις.»
Σύμπτωμα: απόφαση επέμβασης σε μια μεταβλητή επειδή το μοντέλο της αποδίδει σημαντικό βάρος — «το μοντέλο δείχνει ότι το ιστορικό άσθματος μειώνει τον κίνδυνο, άρα αυτοί οι ασθενείς μπορούν να πάνε σπίτι τους».
Λόγος: ένα προγνωστικό μοντέλο αποδίδει τις κανονικότητες της διαδικασίας που παρήγαγε τα δεδομένα, συμπεριλαμβανομένων πρωτοκόλλων και πολιτικών. Δεν λέει τίποτα για το τι θα συνέβαινε αν τροποποιούσαμε αυτή τη διαδικασία.
Σωστή διατύπωση: «Το μοντέλο θεμελιώνει μια συσχέτιση έγκυρη στις συνθήκες παραγωγής των δεδομένων. Κάθε απόφαση επέμβασης σε μια μεταβλητή απαιτεί μια διακριτή αιτιακή ανάλυση, με κατάλληλο πρωτόκολλο.»
Σύμπτωμα: απόφαση ανάπτυξης σε παραγωγή με μόνη βάση έναν συνολικό αριθμό, χωρίς εξέταση του όγκου ή της φύσης των υπολειπόμενων λαθών.
Λόγος: 95 % ακρίβεια σε 100 000 ημερήσιες αποφάσεις αντιπροσωπεύει 5 000 λάθη ανά ημέρα. Η σκοπιμότητα της ανάπτυξης εξαρτάται από τη βαρύτητά τους, την ανιχνευσιμότητά τους, την αναστρεψιμότητά τους και το κόστος διαχείρισής τους.
Σωστή διατύπωση: «Το ποσοστό ακρίβειας δεν αρκεί. Πρέπει να καθοριστεί ο αναμενόμενος όγκος λαθών, η βαρύτητα κάθε τύπου λάθους, ποιος τα ανιχνεύει και με ποιο κόστος διορθώνονται.»
Σύμπτωμα: παράδοση ενός μοντέλου χωρίς μηχανισμό παρακολούθησης, θεωρώντας το έργο ολοκληρωμένο με την ανάπτυξη σε παραγωγή.
Λόγος: οι εγγυήσεις της μάθησης υποθέτουν ότι τα δεδομένα λειτουργίας ακολουθούν την ίδια κατανομή με τα δεδομένα εκπαίδευσης. Αυτή η υπόθεση παύει να ισχύει μόλις οι χρήστες, το προϊόν, η ρύθμιση ή ένας αντίπαλος εξελιχθούν.
Σωστή διατύπωση: «Ένα μοντέλο έχει διάρκεια εγκυρότητας. Η ανάπτυξη σε παραγωγή περιλαμβάνει την παρακολούθηση της επίδοσης και μια διαδικασία επανεκπαίδευσης.» Το θέμα εξετάζεται στο κεφάλαιο 082.
Η ΑΝΤΙΣΤΡΟΦΗ
Ντετερμινιστικός προγραμματισμός : Κανόνες + Δεδομένα -> Απαντήσεις
Επαγωγική μάθηση : Δεδομένα + Απαντήσεις -> ΚΑΝΟΝΕΣ
Ο κανόνας είναι ΕΙΣΟΔΟΣ στην πρώτη περίπτωση, ΕΞΟΔΟΣ στη δεύτερη.
ΤΡΟΠΟΣ ΣΥΜΠΕΡΑΣΜΟΥ
Ντετερμινιστικός : παραγωγή, αναγκαίο συμπέρασμα
Επαγωγικός : επαγωγή, πιθανό και αναθεωρήσιμο συμπέρασμα
ΤΥΠΙΚΟ ΠΛΑΙΣΙΟ
f συνάρτηση-στόχος, άγνωστη, ποτέ παρατηρούμενη
f^ υπόθεση που επιλέγεται από τον αλγόριθμο, προσέγγιση της f
Αποκλίσεις : προσέγγιση (μοντέλο), εκτίμηση (δεδομένα), μετατόπιση (χρόνος)
ΚΡΙΤΗΡΙΟ ΕΠΙΛΟΓΗΣ, ΜΕ ΤΗ ΣΕΙΡΑ
1. Είναι ο ακριβής κανόνας γνωστός και σταθερός; -> ντετερμινιστικό
2. Υπάρχει επαρκές επισημασμένο ιστορικό; -> αλλιώς, συλλογή
3. Είναι αποδεκτή μια προσεγγιστική απάντηση; -> αλλιώς, ντετερμινιστικό
4. Είναι το κόστος των λαθών ελέγξιμο; -> αλλιώς, υποστήριξη απόφασης
5. Αλλιώς -> επαγωγική προσέγγιση
Ο ΥΠΟΛΟΓΙΣΜΟΣ ΠΟΥ ΠΡΕΠΕΙ ΝΑ ΓΙΝΕΤΑΙ ΣΥΣΤΗΜΑΤΙΚΑ
95 % ακρίβεια σε 100 000 αποφάσεις = 5 000 λάθη ανά ημέρα
Ερώτημα : ποιος τα διαχειρίζεται, με ποιο κόστος, σε ποιο χρονικό διάστημα;
Πιο επικίνδυνη περίπτωση : το μη ανιχνεύσιμο λάθος.
ΤΑ ΤΕΣΣΕΡΑ ΔΟΜΙΚΑ ΟΡΙΑ
1. Καμία πληροφορία δεν δημιουργείται αν απουσιάζει από τα δεδομένα
2. Μαθημένη συσχέτιση δεν είναι τεκμηριωμένη αιτιότητα
3. Η στασιμότητα της σχέσης είναι υπόθεση, όχι γεγονός
4. Ελαττωματικά δεδομένα -> ελαττωματικό μοντέλο, χωρίς κανένα σήμα λάθους
ΚΑΤΑΝΟΜΗ ΤΩΝ ΡΟΛΩΝ
11 στάδια στον κύκλο. Η μηχανή καλύπτει 1 :
την προσαρμογή των παραμέτρων. Τα άλλα 10 είναι ανθρώπινες αποφάσεις.Συνθετική διατύπωση
Ο ντετερμινιστικός προγραμματισμός και η επαγωγική μάθηση διακρίνονται από τη θέση του κανόνα απόφασης: προσδιορίζεται στην είσοδο στην πρώτη περίπτωση, επάγεται στην έξοδο στη δεύτερη. Η επαγωγική προσέγγιση είναι σχετική μόνο όταν ο ακριβής κανόνας είναι απρόσιτος, όταν υπάρχει επισημασμένο ιστορικό, όταν μια προσεγγιστική απάντηση είναι αποδεκτή και όταν το κόστος των υπολειπόμενων λαθών είναι ελεγχόμενο· η μηχανή αναλαμβάνει εκεί μόνο ένα στάδιο, την προσαρμογή των παραμέτρων, ενώ όλα τα άλλα ανήκουν στην ανθρώπινη απόφαση.
Κουίζ και ερωτήσεις συνέντευξης: 002.1-quiz-renversement-paradigme.md έως
002.7-quiz-roles-humain-machine.md
Επόμενο κεφάλαιο: 003-trois-familles-apprentissage.md