Οι ακόλουθες διατυπώσεις χρησιμοποιούνται συχνά για να δικαιολογήσουν την επιλογή μεταξύ ταξινόμησης και παλινδρόμησης. Καμία δεν είναι έγκυρη.
| Διατύπωση που ακούγεται | Κατάσταση | Άμεσο αντιπαράδειγμα |
|---|---|---|
| «Είναι ιατρικό πρόβλημα, άρα ταξινόμηση» | Λάθος | Η πρόβλεψη της γλυκαιμίας σε 3 μήνες είναι παλινδρόμηση σε ιατρικό πλαίσιο |
| «Χρησιμοποιώ Random Forest, άρα ταξινόμηση» | Λάθος | Το RandomForestRegressor υπάρχει και αντιμετωπίζει πραγματικούς στόχους |
| «Οι μεταβλητές εισόδου μου είναι κατηγορικές, άρα ταξινόμηση» | Λάθος | Ο τύπος των εισόδων είναι ανεξάρτητος από τον τύπο του στόχου |
| «Ο στόχος αποθηκεύεται ως ακέραιος, άρα ταξινόμηση» | Λάθος | Ένας αριθμός μηνιαίων επισκέψεων είναι ακέραιος και ανήκει στην παλινδρόμηση |
| «Υπάρχουν μόνον δύο δυνατές τιμές εξόδου, άρα δυαδική παλινδρόμηση» | Λάθος | Δύο μη διατεταγμένοι τρόποι ορίζουν δυαδική ταξινόμηση |
Το μοναδικό κριτήριο είναι η μαθηματική δομή του συνόλου στο οποίο η μεταβλητή στόχος λαμβάνει τις τιμές της. Ούτε το πεδίο εφαρμογής, ούτε ο προβλεπόμενος αλγόριθμος, ούτε ο τύπος των ερμηνευτικών μεταβλητών, ούτε η μορφή αποθήκευσης παρεμβαίνουν σε αυτόν τον χαρακτηρισμό.
Η επιβλεπόμενη μάθηση, ορισμένη στο κεφάλαιο 004, συνίσταται στην επαγωγή από ένα επισημειωμένο δείγμα μιας συνάρτησης
f : X → Y
όπου X δηλώνει τον χώρο των ερμηνευτικών μεταβλητών και Y το σύνολο άφιξης, δηλαδή το σύνολο των τιμών που μπορεί να λάβει η μεταβλητή στόχος.
Ταξινόμηση και παλινδρόμηση μοιράζονται πλήρως αυτό το πλαίσιο. Μοιράζονται επίσης το δείγμα εκπαίδευσης, την έννοια της γενίκευσης, τον διαχωρισμό εκπαίδευσης/ελέγχου (κεφάλαιο 026) και τον κίνδυνο υπερπροσαρμογής (κεφάλαιο 031). Διακρίνονται σε ένα μόνον σημείο: τη δομή του Y.
Αυστηρός ορισμός
Σύνολο Y στο οποίο η συνάρτηση στόχος λαμβάνει τις τιμές της, θεωρούμενο όχι ως απλό σύνολο συμβόλων αλλά ως αλγεβρική δομή: μας ενδιαφέρουν οι σχέσεις και οι πράξεις που ορίζονται σε αυτό — ισότητα, ολική διάταξη, απόσταση, πρόσθεση, προσδοκία.
Μετάφραση σε καθημερινή γλώσσα
Το σύνολο όλων των δυνατών απαντήσεων, και τι επιτρέπεται να κάνουμε με αυτές τις απαντήσεις: μπορούμε μόνον να πούμε ότι είναι ταυτόσημες ή διαφορετικές, μπορούμε να τις ταξινομήσουμε, μπορούμε να μετρήσουμε την απόκλιση μεταξύ δύο από αυτές.
Σημείο προσοχής
Η δομή του Y δεν είναι ποτέ ορατή στο αρχείο δεδομένων. Μια στήλη που περιέχει τις τιμές 1, 2, 3 μπορεί να αναπαριστά τρία φυτικά είδη (ονομαστική δομή) ή τρία περάσματα στο εργαστήριο (αριθμητική δομή). Μόνον η γνώση του πεδίου αποφασίζει. Ο χαρακτηρισμός είναι πράξη ανάλυσης, όχι επιθεώρηση πληροφορικού τύπου.
Κατευθυντήρια δήλωση του κεφαλαίου
Ο τύπος του προβλήματος καθορίζεται από τη φύση της μεταβλητής στόχου. Δεν καθορίζεται ούτε από το επιχειρηματικό πεδίο, ούτε από τον προβλεπόμενο αλγόριθμο, ούτε από τον τύπο των ερμηνευτικών μεταβλητών.
Αυστηρός ορισμός
Έργο επιβλεπόμενης μάθησης που συνίσταται στην επαγωγή, από ένα δείγμα επισημειωμένων παρατηρήσεων, μιας συνάρτησης f : X → Y όπου το σύνολο άφιξης Y = {c₁, c₂, …, } είναι πεπερασμένο και μη εφοδιασμένο με εγγενή σχέση διάταξης. Τα στοιχεία του Y ονομάζονται κλάσεις, κατηγορίες ή τρόποι. K δηλώνει τον αριθμό των κλάσεων· K = 2 ορίζει τη δυαδική ταξινόμηση, K > 2 την πολυκλασική ταξινόμηση (κεφάλαιο 011).
Δομή του συνόλου άφιξης
Η μόνη σχέση ορισμένη στο Y είναι η ισότητα. Δύο κλάσεις είναι ταυτόσημες ή διακριτές· καμία δεν είναι «ανώτερη», και καμία απόσταση δεν ορίζεται μεταξύ τους. Η πρόταση «η κλάση σκύλος είναι πλησιέστερη στην κλάση γάτα από ό,τι στην κλάση άλογο» δεν έχει κανένα μαθηματικό καθεστώς στο τυπικό πλαίσιο.
Μετάφραση σε καθημερινή γλώσσα
Να τοποθετήσετε κάθε περίπτωση σε ένα από τα συρτάρια ενός συνόλου καθορισμένου εκ των προτέρων, χωρίς αυτά τα συρτάρια να είναι ταξινομημένα από το μικρότερο στο μεγαλύτερο.
Σημείο προσοχής
Το σύνολο των κλάσεων καθορίζεται πριν από την εκπαίδευση και αποτελεί μέρος της προδιαγραφής του προβλήματος. Ένα μοντέλο ταξινόμησης δεν μπορεί ποτέ να προβλέψει κλάση απόυσα από το δείγμα εκπαίδευσης. Η εμφάνιση νέου τρόπου στην παραγωγή αποτελεί ρήξη προδιαγραφής, όχι σφάλμα πρόβλεψης.
| Πράξη επί δύο τιμών στόχου | Ταξινόμηση | Αιτιολόγηση |
|---|---|---|
| Έλεγχος ισότητας y₁ = y₂ | Επιτρεπτή | Η ισότητα είναι η θεμελιώδης σχέση του Y |
| Διάταξη y₁ < y₂ | Μη επιτρεπτή | Καμία εγγενής διάταξη σε ονομαστικό σύνολο |
| Υπολογισμός απόκλισης y₁ − y₂ | Μη επιτρεπτή | Η αφαίρεση δεν ορίζεται |
| Υπολογισμός μέσου των τιμών στόχου | Μη επιτρεπτή | Η προσδοκία ονομαστικής μεταβλητής δεν έχει νόημα |
| Καταμέτρηση εμφανίσεων μιας κλάσης | Επιτρεπτή | Παρέχει την κατανομή των κλάσεων (κεφάλαιο 050) |
Άμεση συνέπεια : το σφάλμα ενός μοντέλου ταξινόμησης δεν μετράται με απόκλιση αλλά με καταμέτρηση διαφωνιών, τυποποιημένη από τον πίνακα σύγχυσης (κεφάλαιο 052). Δεν υπάρχει «μικρό» ή «μεγάλο» σφάλμα σε μία μοναδική πρόβλεψη: είναι ορθή ή εσφαλμένη.
Ένας ταξινομητής παράγει στην πραγματικότητα δύο διακριτές εξόδους, των οποίων η σύγχυση είναι συχνή πηγή σφάλματος.
| Έξοδος | Φύση | Μέθοδος scikit-learn | Σύνολο άφιξης |
|---|---|---|---|
| Βαθμολογία ή πιθανότητα ανά κλάση | Διάνυσμα K πραγματικών που αθροίζουν σε 1 | predict_proba() | [0, 1]^K |
| Προβλεπόμενη κλάση | Ένας τρόπος | predict() | {c₁, …, } |
Η μετάβαση από την πρώτη στη δεύτερη γίνεται με εφαρμογή κανόνα απόφασης, συχνότερα κατώφλι στο δυαδικό (κεφάλαιο 062) ή το όρισμα του μεγίστου στο πολυκλασικό. Η παραγωγή ενδιάμεσης πραγματικής βαθμολογίας δεν μετατρέπει το πρόβλημα σε παλινδρόμηση: το σύνολο άφιξης του προβλήματος παραμένει το πεπερασμένο σύνολο των κλάσεων, η βαθμολογία είναι μόνον υπολογιστικός ενδιάμεσος.
Αυστηρός ορισμός
Υποσύνολο του χώρου των ερμηνευτικών μεταβλητών X που διαχωρίζει τις περιοχές που συνδέονται με διαφορετικές προβλεπόμενες κλάσεις. Τυπικά, για δυαδικό ταξινομητή θεμελιωμένο σε συνάρτηση βαθμολογίας s(x) και κατώφλι t, το σύνορο είναι το σύνολο {x ∈ X : s(x) = t}.
Μετάφραση σε καθημερινή γλώσσα
Η γραμμή, η επιφάνεια ή το όριο πέρα από το οποίο το μοντέλο αλλάζει γνώμη για την κατηγορία που πρέπει να αποδοθεί.
Σημείο προσοχής
Το γεωμετρικό αντικείμενο που μαθαίνεται στην ταξινόμηση είναι μια διαμέριση του χώρου εισόδου. Στην παλινδρόμηση, το εκμαθημένο αντικείμενο είναι μια επιφάνεια απόκρισης ορισμένη σε ολόκληρο τον χώρο εισόδου. Αυτή η διαφορά φύσης εξηγεί γιατί ορισμένοι αλγόριθμοι μετατίθενται δύσκολα από το ένα πλαίσιο στο άλλο.
Ένα κέντρο διαλογής διαθέτει σταθερό αριθμό συρταριών, ένα ανά περιοχή προορισμού. Κάθε δέμα πρέπει να τοποθετηθεί σε ακριβώς ένα συρτάρι. Ο διαλογέας δεν μπορεί να εφεύρει συρτάρι, ούτε να τοποθετήσει δέμα «μεταξύ» δύο συρταριών.
Το λάθος συρτάρι είναι σφάλμα, χωρίς βαθμό: ένα δέμα προορισμένο για τη Λυών τοποθετημένο στο συρτάρι Μασσαλίας και ένα δέμα προορισμένο για τη Λυών τοποθετημένο στο συρτάρι Λιλ είναι δύο ισοδύναμα σφάλματα από την άποψη της διαλογής, ακόμη και αν οι λειτουργικές συνέπειες διαφέρουν.
Η διστακτικότητα του διαλογέα — «αυτό το δέμα είναι πιθανώς για τη Λυών, ίσως για τη Γκρενόμπλ» — αντιστοιχεί στη βαθμολογία πιθανότητας. Η τελική απόφαση να το εναποθέσει σε ένα συρτάρι αντιστοιχεί στην προβλεπόμενη κλάση.
| Πεδίο | Επιχειρηματική ερώτηση | Σύνολο άφιξης | K |
|---|---|---|---|
| Πληρωμή | Είναι αυτή η συναλλαγή δόλια; | {απάτη, κανονική} | 2 |
| Αλληλογραφία | Είναι αυτό το μήνυμα ανεπιθύμητο; | {spam, νόμιμο} | 2 |
| Υγεία | Παρουσιάζει αυτός ο ασθενής την παθολογία; | {άρρωστος, υγιής} | 2 |
| Τηλεπικοινωνίες | Θα αποχωρήσει αυτός ο πελάτης; | {αποχώρηση, διατήρηση} | 2 |
| Βοτανική | Σε ποιο είδος ανήκει; | {setosa, versicolor, virginica} | 3 |
| Βιομηχανία | Ποιος τύπος ελαττώματος επηρεάζει αυτό το τεμάχιο; | {γρατσουνιά, ρωγμή, πορώδες, κανένα} | 4 |
Αυστηρός ορισμός
Έργο επιβλεπόμενης μάθησης που συνίσταται στην επαγωγή, από ένα δείγμα επισημειωμένων παρατηρήσεων, μιας συνάρτησης f : X → Y όπου το σύνολο άφιξης Y είναι υποσύνολο του ℝ — συχνότερα ολόκληρο το ℝ, το ℝ⁺, ή ένα φραγμένο διάστημα. Το σύνολο άφιξης είναι επομένως εφοδιασμένο με ολική διάταξη και απόσταση, πράγμα που προσδίδει νόημα στην ποσότητα y − ŷ, που ονομάζεται υπόλοιπο (κεφάλαιο 066).
Στατιστική διατύπωση
Η παλινδρόμηση εκτιμά ένα χαρακτηριστικό της δεσμευμένης κατανομής του Y δεδομένου του X. Η παλινδρόμηση ελαχίστων τετραγώνων εκτιμά τη δεσμευμένη προσδοκία E[Y | X = x]· η ποσοστημοριακή παλινδρόμηση εκτιμά ένα δεσμευμένο ποσοστημόριο· η παλινδρόμηση επί της απόλυτης τιμής εκτιμά τη δεσμευμένη διάμεσο.
Μετάφραση σε καθημερινή γλώσσα
Να εκτιμήσετε μια ποσότητα, δηλαδή να παράγετε έναν αριθμό τοποθετημένο σε βαθμονομημένη κλίμακα, στην οποία είναι δυνατό να πείτε κατά πόσο κάνατε λάθος.
Ετυμολογικό σημείο
Ο όρος προέρχεται από τον Francis Galton (1886), που παρατηρεί την «παλινδρόμηση προς τη μετριότητα» — σήμερα παλινδρόμηση προς τον μέσο — στη μετάδοση του αναστήματος μεταξύ γενεών. Η λέξη δηλώνει σήμερα, κατ' επέκταση, κάθε εκτίμηση αριθμητικού στόχου. Δεν εκφράζει καμία έννοια επιστροφής προς τα πίσω.
| Πράξη επί δύο τιμών στόχου | Παλινδρόμηση | Πρακτική συνέπεια |
|---|---|---|
| Έλεγχος ισότητας y₁ = y₂ | Επιτρεπτή αλλά χωρίς ενδιαφέρον | Η πιθανότητα ακριβούς ισότητας είναι μηδενική σε συνεχή μεταβλητή |
| Διάταξη y₁ < y₂ | Επιτρεπτή | Επιτρέπει μετρικές θεμελιωμένες στις τάξεις |
| Υπολογισμός απόκλισης y₁ − y₂ | Επιτρεπτή | Θεμελιώνει την έννοια του υπολοίπου |
| Υπολογισμός μέσου | Επιτρεπτή | Θεμελιώνει τη γραμμή βάσης «πρόβλεψη του μέσου» |
| Ύψωση της απόκλισης στο τετράγωνο | Επιτρεπτή | Θεμελιώνει MSE και RMSE (κεφάλαια 068 και 069) |
Άμεση συνέπεια : στην παλινδρόμηση, το σφάλμα είναι βαθμονομημένο. Η πρόβλεψη 248 000 € για ένα αγαθό που πωλήθηκε 250 000 € είναι αποτέλεσμα ποιότητας· η πρόβλεψη 90 000 € για το ίδιο αγαθό είναι αποτυχία. Η διάκριση μεταξύ αυτών των δύο καταστάσεων είναι αδύνατη να διατυπωθεί στο πλαίσιο της ταξινόμησης, όπου οι δύο προβλέψεις θα ήταν εξίσου «εσφαλμένες».
| Έξοδος | Φύση | Χρήση |
|---|---|---|
| Σημειακή πρόβλεψη | Ένας πραγματικός ŷ | Τυπική έξοδος του predict() |
| Διάστημα πρόβλεψης | Ένα ζεύγος [, ] | Επικοινωνία της αβεβαιότητας |
| Δεσμευμένα ποσοστημόρια | Πολλοί πραγματικοί | Ασύμμετρη απόφαση, διαχείριση αποθέματος |
Ένας παλινδρομητής δεν διαθέτει κανένα ισοδύναμο του predict_proba(): δεν υπάρχει
«πιθανότητα κάθε δυνατής τιμής» όταν το σύνολο άφιξης είναι συνεχές. Αυτή η
ασυμμετρία αναπτύσσεται στο κεφάλαιο 029.
Ένας φαρμακοποιός ταξινομεί κουτιά σε επισημειωμένα συρτάρια: αντιβιοτικά, αναλγητικά, αντιισταμινικά. Ένα κουτί είναι στο σωστό συρτάρι ή στο λάθος. Δεν υπάρχει «σχεδόν σωστό συρτάρι». Είναι ταξινόμηση.
Ο ίδιος φαρμακοποιός ζυγίζει ένα magistral παρασκεύασμα και στοχεύει 250 mg. Λαμβάνει 248 mg: η απόκλιση είναι 2 mg, ποσοτικοποιήσιμη, και αποδεκτή ως προς την φαρμακευτική ανοχή. Λαμβάνει 90 mg: η απόκλιση είναι 160 mg, και το παρασκεύασμα είναι άχρηστο. Είναι παλινδρόμηση.
Το συρτάρι δεν δέχεται βαθμό. Η ζυγαριά δέχεται έναν. Όλη η διαφορά μεταξύ των δύο πλαισίων έγκειται σε αυτή την ιδιότητα της κλίμακας εξόδου.
Ο ακόλουθος πίνακας τοποθετεί δίπλα-δίπλα, για το ίδιο επιχειρηματικό πεδίο, έναν στόχο που ανήκει στην ταξινόμηση και έναν στόχο που ανήκει στην παλινδρόμηση. Διαπιστώνει ότι το πεδίο δεν καθορίζει τίποτε.
| Πεδίο | Κατηγορικός στόχος → ταξινόμηση | Αριθμητικός στόχος → παλινδρόμηση |
|---|---|---|
| Ακίνητα | Θα πωληθεί το αγαθό εντός 90 ημερών; | Τιμή πώλησης σε ευρώ |
| Υγεία | Είναι ο ασθενής διαβητικός; | Ποσοστό HbA1c σε ποσοστό |
| Ενέργεια | Θα ξεπεραστεί η κορυφή κατανάλωσης; | Κατανάλωση σε kWh της ημέρας |
| Μετεωρολογία | Θα βρέξει αύριο; | Μέγιστη θερμοκρασία σε °C |
| Πληρωμή | Είναι η συναλλαγή δόλια; | Ποσό της απώλειας σε περίπτωση απάτης |
| Ανθρώπινοι πόροι | Θα αποδεχθεί ο υποψήφιος την προσφορά; | Μισθός αποδοχής σε ευρώ |
| Βιομηχανία | Είναι το τεμάχιο σύμφωνο; | Μετρημένη διάσταση σε χιλιοστά |
| Μάρκετινγκ | Θα εγγραφεί ο πελάτης; | Κύκλος εργασιών σε 12 μήνες |
Ανάγνωση του πίνακα : κάθε γραμμή περιγράφει ένα μοναδικό πεδίο, συχνά ένα μοναδικό σύνολο δεδομένων, με τις ίδιες ερμηνευτικές μεταβλητές. Μόνον η στήλη που επιλέγεται ως στόχος αλλάζει, και μαζί της ο τύπος του προβλήματος.
Τι ακριβώς επιδιώκουμε να παράγουμε, και ποιας φύσης είναι η παραγόμενη τιμή: μια κατηγορία ληφθείσα από καθορισμένη λίστα, ή ένας αριθμός τοποθετημένος σε μια κλίμακα;
Η συντομευμένη μορφή της, χρησιμοποιήσιμη σε συνάντηση πλαισίωσης:
| Μορφή της επιχειρηματικής ερώτησης | Τύπος προβλήματος |
|---|---|
| «Ποια κατηγορία;», «Ποιο;», «Είναι …;», «Ναι ή όχι;» | Ταξινόμηση |
| «Πόσο;», «Ποια ποσότητα;», «Ποιο ποσό;», «Ποια διάρκεια;» | Παλινδρόμηση |
Σημείο προσοχής : η ερώτηση πρέπει να αφορά την τιμή που παράγεται από το μοντέλο, όχι την απόφαση που λαμβάνεται κατόπιν από τον οργανισμό. Ένα μοντέλο που εκτιμά ποσό απώλειας (παλινδρόμηση) μπορεί να τροφοδοτήσει δυαδική απόφαση αποδοχής ή απόρριψης. Η κατάντη απόφαση δεν τροποποιεί τη φύση της εξόδου του μοντέλου.
Όταν η επιχειρηματική ερώτηση παραμένει αμφίσημη, ο ακόλουθος έλεγχος αποφασίζει μηχανικά. Εφαρμόζεται στις παρατηρημένες τιμές του στόχου.
| Ελεγχόμενη πράξη | Ερμηνεία αν το αποτέλεσμα έχει επιχειρηματικό νόημα |
|---|---|
| 1. y₁ = y₂; | Πάντα αληθές: ελάχιστη συνθήκη, δεν διακρίνει |
| 2. y₁ < y₂; | Υπάρχει διάταξη: ο στόχος είναι τουλάχιστον τακτικός |
| 3. y₁ − y₂ ερμηνεύσιμο ως απόκλιση; | Υπάρχει μετρική: ο στόχος είναι αριθμητικός |
Κανόνας ανάγνωσης
Παράδειγμα εφαρμογής στον ταχυδρομικό κωδικό: δύο ταχυδρομικοί κωδικοί μπορούν να συγκριθούν με ισότητα· η διάταξη 69001 < 75015 δεν εκφράζει τίποτε επιχειρηματικό· η διαφορά 75015 − 69001 = 6014 δεν είναι απόσταση. Ο ταχυδρομικός κωδικός είναι ονομαστική μεταβλητή παρά την αριθμητική αποθήκευσή του.
Αυστηρός ορισμός
Μια τυχαία μεταβλητή λέγεται διακριτή όταν το σύνολο των δυνατών τιμών της είναι πεπερασμένο ή άπειρο αριθμήσιμο. Λέγεται συνεχής όταν αυτό το σύνολο είναι μη εκφυλισμένο διάστημα του ℝ και η συνάρτηση κατανομής της είναι συνεχής, οπότε η πιθανότητα μιας σημειακής τιμής είναι μηδενική.
Μετάφραση σε καθημερινή γλώσσα
Διακριτό: οι τιμές μετράνται μία προς μία, και μεταξύ δύο γειτονικών τιμών δεν υπάρχει τίποτε. Συνεχές: μεταξύ δύο τιμών, όσο κοντινές κι αν είναι, υπάρχει άπειρο πλήθος άλλων.
Σημείο προσοχής — η κεντρική σύγχυση
Διακριτό δεν είναι συνώνυμο του κατηγορικού. Ένας αριθμός μηνιαίων επισκέψεων είναι διακριτός (0, 1, 2, …) και ωστόσο απολύτως αριθμητικός: η διάταξη και η απόκλιση έχουν νόημα. Η χρήσιμη διχοτομία για τον χαρακτηρισμό ενός προβλήματος μάθησης δεν είναι διακριτό/συνεχές αλλά ονομαστικό/αριθμητικό.
Σημείο προσοχής — η φυσική μέτρηση
Κάθε καταγεγραμμένη μέτρηση είναι διακριτή εκ κατασκευής, λόγω της τελικής ανάλυσης του οργάνου και της αναπαράστασης κινητής υποδιαστολής. Μια θερμοκρασία καταγεγραμμένη στο δέκατο του βαθμού λαμβάνει πεπερασμένο αριθμό τιμών. Αντιμετωπίζεται ως συνεχής, διότι η υποκείμενη δομή της είναι διάστημα του ℝ.
| Στόχος | Διακριτός ή συνεχής | Ονομαστικός ή αριθμητικός | Τύπος προβλήματος |
|---|---|---|---|
| Είδος ίριδας | Διακριτός | Ονομαστικός | Ταξινόμηση |
| Κατάσταση συναλλαγής | Διακριτός | Ονομαστικός | Ταξινόμηση |
| Ταχυδρομικός κωδικός | Διακριτός | Ονομαστικός | Ταξινόμηση |
| Αριθμός μηνιαίων επισκέψεων | Διακριτός | Αριθμητικός | Παλινδρόμηση |
| Αριθμός δηλωμένων ζημιών | Διακριτός | Αριθμητικός | Παλινδρόμηση |
| Μέγιστη θερμοκρασία | Συνεχής | Αριθμητικός | Παλινδρόμηση |
| Τιμή πώλησης | Συνεχής | Αριθμητικός | Παλινδρόμηση |
Η scikit-learn εκθέτει μια συνάρτηση επιθεώρησης του τύπου στόχου. Αποτελεί χρήσιμο έλεγχο, υπό τον όρο να γνωρίζουμε τα όριά της.
import numpy as np
from sklearn.utils.multiclass import type_of_target
cibles = {
"statut_transaction ": np.array(["normal", "fraude", "normal", "fraude"]),
"espece_iris ": np.array(["setosa", "versicolor", "virginica", "setosa"]),
"temperature_celsius ": np.array([18.4, 21.0, 19.7, 23.2]),
"prix_vente_eur ": np.array([245000.0, 312500.0, 189900.0, 405000.0]),
"nb_visites_mensuelles ": np.array([0, 3, 1, 12]),
"note_satisfaction_1_5 ": np.array([1, 3, 2, 5]),
}
for nom, y in cibles.items():
print(f"{nom} dtype={str(y.dtype):8s} -> type_of_target = {type_of_target(y)}")Έξοδος
statut_transaction dtype=<U6 -> type_of_target = binary
espece_iris dtype=<U10 -> type_of_target = multiclass
temperature_celsius dtype=float64 -> type_of_target = continuous
prix_vente_eur dtype=float64 -> type_of_target = multiclass
nb_visites_mensuelles dtype=int64 -> type_of_target = multiclass
note_satisfaction_1_5 dtype=int64 -> type_of_target = multiclassΕρμηνεία
Οι τρεις πρώτες γραμμές είναι σύμφωνες με την επιχειρηματική ανάλυση. Οι τρεις επόμενες δεν είναι:
prix_vente_eur είναι στόχος παλινδρόμησης, χαρακτηριζόμενος multiclass
διότι οι τέσσερις τιμές, αν και κινητής υποδιαστολής, είναι ακέραιες και λίγες·nb_visites_mensuelles είναι στόχος παλινδρόμησης με την έννοια του ελέγχου
των τριών πράξεων, χαρακτηριζόμενος multiclass διότι είναι ακέραιος·note_satisfaction_1_5 είναι τακτικός στόχος, τον οποίο η συνάρτηση δεν
διακρίνει από ονομαστικό στόχο.Λειτουργικό συμπέρασμα : το type_of_target εφαρμόζει συντακτική ευρετική
θεμελιωμένη στον τύπο αποθήκευσης και στον αριθμό των διακριτών τιμών. Ανιχνεύει
ασυνέπειες μορφής· δεν χαρακτηρίζει ένα πρόβλημα. Ο χαρακτηρισμός παραμένει πράξη
ανάλυσης θεμελιωμένη στη γνώση του πεδίου.
Πέντε διαμορφώσεις αντιστέκονται στον άμεσο χαρακτηρισμό. Καθεμία απαιτεί τεκμηριωμένη απόφαση, όχι επιλογή εξ ορισμού.
Φύση : πεπερασμένο σύνολο, εφοδιασμένο με σημαίνουσα επιχειρηματική διάταξη, χωρίς ερμηνεύσιμη απόσταση μεταξύ διαδοχικών τρόπων. Παραδείγματα: επίπεδο κινδύνου {χαμηλό, μέτριο, υψηλό}, βαθμός ικανοποίησης από 1 έως 5, ογκολογικό στάδιο I έως IV, χρηματοοικονομική αξιολόγηση από AAA έως D.
Το δίλημμα : η αντιμετώπιση του στόχου ως πολυκλασικής ταξινόμησης ισοδυναμεί με καταστροφή της πληροφορίας διάταξης — η σύγχυση «υψηλό» με «χαμηλό» και με «μέτριο» μετρά ως το ίδιο σφάλμα. Η αντιμετώπισή του ως παλινδρόμησης ισοδυναμεί με υπόθεση ισαποστάσεων μεταξύ τρόπων, υπόθεση γενικά ψευδής: η απόκλιση σοβαρότητας μεταξύ των σταδίων I και II δεν ισούται με εκείνη μεταξύ III και IV.
Επιλεγμένη επιλογή : ταξινόμηση, ως χαρακτηρισμός του προβλήματος, διότι το σύνολο άφιξης παραμένει πεπερασμένο. Δύο προσαρμογές συνιστώνται:
| Προσαρμογή | Υλοποίηση | Αιτιολόγηση |
|---|---|---|
| Μετρική ευαίσθητη στη διάταξη | Τετραγωνικά σταθμισμένο κάππα, MAE επί των τάξεων | Τιμωρεί περισσότερο τα απομακρυσμένα σφάλματα στη διάταξη |
| Αφιερωμένο τακτικό μοντέλο | Μοντέλο αναλογικών πιθανοτήτων (McCullagh, 1980), αποσύνθεση σε K−1 σωρευτικούς δυαδικούς ταξινομητές | Αξιοποιεί τη διάταξη χωρίς να υποθέτει ισαποστάσεις |
Προσφυγή στην παλινδρόμηση : αποδεκτή όταν ο αριθμός των τρόπων είναι υψηλός (από περίπου δέκα) και η ισαπόσταση υπερασπίσιμη, οπότε η πραγματική πρόβλεψη στρογγυλοποιείται. Αυτή η επιλογή πρέπει να αιτιολογείται ρητά. Η τακτική ταξινόμηση λεπτομερείται στο κεφάλαιο 011.
Φύση : σύνολο των φυσικών ακεραίων, άπειρο αριθμήσιμο, διατεταγμένο, εφοδιασμένο με ερμηνεύσιμη απόσταση. Παραδείγματα: αριθμός ετήσιων ζημιών, αριθμός επισκέψεων, αριθμός ελαττωμάτων ανά παρτίδα.
Επιλεγμένη επιλογή : παλινδρόμηση. Οι τρεις πράξεις του ελέγχου έχουν νόημα· το σύνολο άφιξης δεν είναι πεπερασμένο. Το γεγονός ότι οι τιμές είναι ακέραιες δεν αποτελεί κριτήριο ταξινόμησης.
| Σημείο προσοχής | Συνιστώμενη αντιμετώπιση |
|---|---|
| Θετικό στήριγμα και ισχυρή ασυμμετρία | Απώλεια απόκλισης Poisson ή αρνητικής διωνυμικής μάλλον παρά MSE |
| Υπερδιασπορά (διακύμανση μεγαλύτερη από τον μέσο) | Αρνητικό διωνυμικό μοντέλο |
| Πλεόνασμα μηδενικών | Μοντέλο πληθωρισμού μηδενικών, ή αποσύνθεση σε ταξινομητή «μηδέν ή όχι» ακολουθούμενο από παλινδρομητή επί των μη μηδενικών |
| Μη ακέραιη πραγματική πρόβλεψη | Στρογγυλοποίηση στην μετεπεξεργασία, ποτέ στη συνάρτηση απώλειας |
Συχνό σφάλμα : αντιμετώπιση πρακτικά φραγμένης καταμέτρησης (0, 1, 2, 3 ζημιές) ως ταξινόμησης τεσσάρων κλάσεων. Αυτή η διατύπωση απαγορεύει στο μοντέλο να προβλέψει 4, καταστρέφει τη διάταξη και καθιστά το υπόλοιπο μη ερμηνεύσιμο.
Φύση : διάρκεια έως την εμφάνιση ενός γεγονότος, παρατηρημένη ατελώς για μέρος των υποκειμένων — το συμβόλαιο είναι ακόμη ενεργό, ο ασθενής είναι ακόμη εν ζωή, το μηχάνημα δεν έχει ακόμη υποστεί βλάβη στο τέλος της περιόδου παρατήρησης.
Αυστηρός ορισμός
Κατάσταση στην οποία η διάρκεια ενδιαφέροντος T ενός υποκειμένου δεν παρατηρείται απευθείας, διαθέσιμο ον μόνον το ζεύγος (min(T, C), 1{T ≤ C}), όπου C δηλώνει τη διάρκεια παρακολούθησης. Η διαθέσιμη πληροφορία είναι τότε «το T είναι μεγαλύτερο από το C» και όχι η τιμή του T.
Μετάφραση σε καθημερινή γλώσσα
Γνωρίζουμε ότι το γεγονός δεν είχε ακόμη συμβεί όταν σταματήσαμε να παρατηρούμε, χωρίς να γνωρίζουμε πότε θα συμβεί.
Μεθοδολογική συνέπεια
Ο αποκλεισμός των λογοκριμένων παρατηρήσεων μεροληπτεί την εκτίμηση προς τις βραχείες διάρκειες, διότι τα υποκείμενα μεγάλης διάρκειας ζωής είναι ακριβώς εκείνα που λογοκρίνονται. Η αντικατάσταση της λογοκριμένης διάρκειας από τη διάρκεια παρακολούθησης μεροληπτεί επίσης την εκτίμηση προς τα κάτω. Το κατάλληλο πλαίσιο είναι η ανάλυση επιβίωσης: εκτιμητής Kaplan-Meier (1958), μοντέλο αναλογικών κινδύνων του Cox (1972), δάση επιβίωσης.
Σημείο προσοχής
Η λογοκρισία δεν είναι απόυσα τιμή με την έννοια του κεφαλαίου 018. Μια λογοκριμένη διάρκεια φέρει μερική εκμεταλλεύσιμη πληροφορία, όχι απουσία πληροφορίας.
Επιλεγμένη επιλογή : ούτε ταξινόμηση ούτε παλινδρόμηση με την αυστηρή έννοια όταν η λογοκρισία είναι ουσιαστική. Ο ακόλουθος πίνακας καθορίζει την ακολουθητέα συμπεριφορά.
| Κατάσταση | Διατηρούμενη διατύπωση | Αιτιολόγηση |
|---|---|---|
| Πλήρες ιστορικό, όλα τα γεγονότα παρατηρημένα | Παλινδρόμηση επί της διάρκειας | Καμία λογοκρισία, εφαρμόσιμο τυπικό πλαίσιο |
| Παρούσα λογοκρισία, απαιτείται εκτίμηση της διάρκειας | Ανάλυση επιβίωσης | Μοναδικό πλαίσιο που αξιοποιεί ορθά τις λογοκριμένες παρατηρήσεις |
| Παρούσα λογοκρισία, απόφαση σε σταθερό ορίζοντα H | Δυαδική ταξινόμηση «γεγονός πριν από H» | Έγκυρη υπό τον όρο να κρατηθούν μόνον τα υποκείμενα των οποίων η παρακολούθηση φτάνει το H |
| Σημαντική λογοκρισία και ετερογενής παρακολούθηση | Υποχρεωτική ανάλυση επιβίωσης | Ο περιορισμός του πεδίου θα κατέστρεφε μείζον μέρος του δείγματος |
Φύση : η τιμή προς παραγωγή είναι αριθμός του διαστήματος [0, 1]. Ο χαρακτηρισμός εξαρτάται εξ ολοκλήρου από όσα παρατηρούνται στο δείγμα εκπαίδευσης, όχι από όσα ζητούνται στην έξοδο.
| Τι παρατηρείται για κάθε γραμμή | Τύπος προβλήματος | Μοντελοποίηση |
|---|---|---|
| Δυαδικό αποτέλεσμα, 0 ή 1 | Δυαδική ταξινόμηση | Πιθανοτικός ταξινομητής, έξοδος predict_proba, απώλεια log loss (κεφάλαιο 061), επαληθευμένη βαθμονόμηση |
| Μετρημένη αναλογία, π.χ. ρυθμός μετατροπής ανά κατάστημα | Παλινδρόμηση στο [0, 1] | Παλινδρόμηση βήτα, ή παλινδρόμηση επί του μετασχηματισμού logit, ή απώλεια προσαρμοσμένη στο φραγμένο στήριγμα |
Κεντρικό σημείο : το να ζητείται πιθανότητα στην έξοδο δεν καθιστά ένα πρόβλημα παλινδρόμηση. Ένα μοντέλο ανίχνευσης απάτης που επιστρέφει p = 0,83 παραμένει μοντέλο ταξινόμησης: ο παρατηρημένος στόχος στην εκπαίδευση ισούται με 0 ή 1. Η συνεχής έξοδος είναι εκτίμηση του P(Y = 1 | X = x), όχι αριθμητικός στόχος εκμαθημένος ως τέτοιος.
Σημείο προσοχής : μια βαθμολογία πιθανότητας παραγόμενη από ταξινομητή δεν είναι αναγκαστικά βαθμονομημένη. Βαθμολογία 0,83 δεν σημαίνει ότι το 83 % των περιπτώσεων που λαμβάνουν αυτή τη βαθμολογία είναι θετικές, εκτός ρητής επαλήθευσης (κεφάλαιο 061).
Φύση : ο διαθέσιμος στόχος είναι αριθμητικός — ποσό, ηλικία, ποσοστό — και ο οργανισμός ζητεί έξοδο σε κλάσεις ορισμένες από κατώφλια: «πελάτης χαμηλού, μέτριου ή υψηλού δυναμικού», «αποδεκτός ή μη αποδεκτός κίνδυνος».
Επιλεγμένη επιλογή : παλινδρόμηση επί του αριθμητικού στόχου, κατόπιν εφαρμογή του κατωφλίου στην πρόβλεψη. Η προκαταρκτική διακριτοποίηση του στόχου καταστρέφει πληροφορία και υποβαθμίζει τη στατιστική ισχύ· αυτή η πρακτική τεκμηριώνεται στη μεθοδολογική βιβλιογραφία ως καταχρηστική διχοτόμηση (Royston, Altman και Sauerbrei, 2006).
| Κριτήριο | Διακριτοποίηση του στόχου πριν από την εκπαίδευση | Παλινδρόμηση και κατόπιν κατώφλι |
|---|---|---|
| Διατηρημένη πληροφορία | Απώλεια της ενδοκλασικής μεταβολής | Πλήρης διατήρηση |
| Φαινόμενο κατωφλίου | Δύο τιμές χωρισμένες από 1 € γίνονται δύο διαφορετικές κλάσεις | Κανένα: συνεχής αντιμετώπιση |
| Αλλαγή επιχειρηματικού κατωφλίου | Πλήρης επαναεπισημείωση και επανεκπαίδευση | Τροποποίηση μιας σταθεράς, χωρίς επανεκπαίδευση |
| Πολλαπλά ταυτόχρονα κατώφλια | Ένα μοντέλο ανά διαμέριση | Ένα μοναδικό μοντέλο |
| Αναγνωσιμότητα για το επιχειρηματικό πεδίο | Άμεση | Απαιτεί στρώμα απόδοσης |
Αποδεκτή εξαίρεση : όταν ο υποκείμενος αριθμητικός στόχος δεν είναι παρατηρήσιμος και μόνον η κλάση καταγράφεται στο σύστημα πηγής — δηλωτική κλίμακα εισοδήματος, επίπεδο κινδύνου αποδοθέν από εμπειρογνώμονα. Το διαθέσιμο δεδομένο είναι τότε εγγενώς κατηγορικό και το πρόβλημα είναι ταξινόμηση, χωρίς δυνατή αναδιατύπωση.
| Περίπτωση | Δομή του στόχου | Επιλεγμένη επιλογή | Καθοριστικό κίνητρο |
|---|---|---|---|
| Τακτικός | Πεπερασμένος, διατεταγμένος, μη μετρικός | Ταξινόμηση, με μετρική και μοντέλο ευαίσθητα στη διάταξη | Το σύνολο άφιξης παραμένει πεπερασμένο |
| Καταμέτρηση | Ακέραιοι, άπειρο, μετρικό | Παλινδρόμηση, απώλεια Poisson | Οι τρεις πράξεις έχουν νόημα |
| Λογοκριμένη διάρκεια | ℝ⁺ μερικώς παρατηρημένο | Ανάλυση επιβίωσης, ή ταξινόμηση σε σταθερό ορίζοντα | Η λογοκρισία ακυρώνει την αφελές παλινδρόμηση |
| Πιθανότητα | [0, 1] | Ταξινόμηση αν η παρατηρημένη ετικέτα είναι δυαδική, παλινδρόμηση αν μετράται αναλογία | Ο χαρακτηρισμός εξαρτάται από τον παρατηρημένο στόχο |
| Διακριτοποιημένος αριθμητικός | ℝ ανακωδικοποιημένο σε κλάσεις | Παλινδρόμηση κατόπιν κατώφλι, εκτός εγγενώς κατηγορικού στόχου | Η διακριτοποίηση καταστρέφει πληροφορία |
Ο χαρακτηρισμός παρεμβαίνει στο βήμα 3 του κύκλου ζωής (κεφάλαιο 012). Όλα τα μεταγενέστερα βήματα εξαρτώνται από αυτόν.
| Διάσταση | Ταξινόμηση | Παλινδρόμηση |
|---|---|---|
| Σύνολο άφιξης | {c₁, …, }, πεπερασμένο, μη διατεταγμένο | Υποσύνολο του ℝ, διατεταγμένο και μετρικό |
| Εκμαθημένο αντικείμενο | Διαμέριση του χώρου εισόδου, σύνορο απόφασης | Επιφάνεια απόκρισης ορισμένη σε ολόκληρο τον χώρο εισόδου |
| Εκτιμώμενη ποσότητα | P(Y = c δεδομένου X = x), δεσμευμένη πιθανότητα κάθε κλάσης | E[Y δεδομένου X = x], δεσμευμένη προσδοκία, ή δεσμευμένο ποσοστημόριο |
| Ακατέργαστη έξοδος του μοντέλου | Διάνυσμα K βαθμολογιών | Ένας πραγματικός |
| Παραδιδόμενη έξοδος | Μια κλάση, μετά εφαρμογή κατωφλίου ή argmax | Η τιμή, ενδεχομένως περιβαλλόμενη από διάστημα |
| Έννοια σφάλματος | Δυαδική διαφωνία, καταμετρημένη | Προσημασμένο υπόλοιπο, βαθμονομημένο |
| Συνήθεις συναρτήσεις απώλειας | Διασταυρούμενη εντροπία, log loss, hinge, focal loss· κριτήρια διαίρεσης Gini και εντροπία | MSE, MAE, Huber, ποσοστημοριακό pinball, απόκλιση Poisson, RMSLE |
| Μετρικές αξιολόγησης | Ορθότητα, ακρίβεια, ανάκληση, ειδικότητα, F1, F-βήτα, ισορροπημένη ορθότητα, log loss, ROC-AUC, PR-AUC | MAE, MSE, RMSE, R², προσαρμοσμένο R², MAPE, sMAPE, MedAE, RMSLE |
| Αντιπροσωπευτικοί αλγόριθμοι | Λογιστική παλινδρόμηση, δέντρο, τυχαίο δάσος, ενίσχυση, SVC, k-NN, Naive Bayes, MLP | Γραμμική παλινδρόμηση, Ridge, Lasso, ElasticNet, δέντρο, τυχαίο δάσος, ενίσχυση, SVR, k-NN, MLP |
| Επίθημα scikit-learn | …Classifier | …Regressor |
| Γραμμή βάσης αναφοράς | Συστηματική πρόβλεψη της πλειοψηφικής κλάσης | Συστηματική πρόβλεψη του μέσου ή της διαμέσου |
| Διαχωρισμός των δεδομένων | Συνιστώμενη στρωματοποίηση επί του στόχου (κεφάλαιο 027) | Τυχαίος διαχωρισμός, στρωματοποίηση ανά ζώνες αν ο στόχος είναι πολύ ασύμμετρος |
| Παθολογία κατανομής | Ανισορροπία κλάσεων (κεφάλαια 050 και 051) | Ασυμμετρία, ακραίες τιμές, ετεροσκεδαστικότητα |
| Ρύθμιση μετά την εκπαίδευση | Κατώφλι απόφασης (κεφάλαιο 062) | Κανένα άμεσο ισοδύναμο· ενδεχόμενη επαναβαθμονόμηση της κλίμακας |
| Διάγνωση σφάλματος | Πίνακας σύγχυσης, ανάλυση FP/FN | Γράφημα υπολοίπων, υπόλοιπα έναντι προβλεπόμενων τιμών |
| Φύση της επιχειρηματικής διαιτησίας | Ποιο σφάλμα κοστίζει περισσότερο, ψευδώς θετικό ή ψευδώς αρνητικό | Ποιο σφάλμα κοστίζει περισσότερο, υπερεκτίμηση ή υποεκτίμηση |
| Επιτήρηση στην παραγωγή | Απόκλιση της κατανομής των προβλεπόμενων κλάσεων | Απόκλιση της κατανομής και του μέσου των προβλέψεων |
Η συνάρτηση απώλειας δεν είναι η μετρική. Η απώλεια βελτιστοποιείται κατά την εκπαίδευση και πρέπει να είναι παραγωγίσιμη για τους αλγορίθμους κλίσης· η μετρική αξιολογεί το μοντέλο και απαντά σε επιχειρηματική ερώτηση. Ένας ταξινομητής βελτιστοποιεί τη log loss και κρίνεται στην ανάκληση· ένας παλινδρομητής βελτιστοποιεί το MSE και κρίνεται στο MAE. Αυτή η διάκριση αναπτύσσεται στο κεφάλαιο 030.
Το κατώφλι απόφασης υπάρχει μόνον στη δυαδική ταξινόμηση. Αποτελεί ισχυρό μοχλό μετά την εκπαίδευση: με αμετάβλητο μοντέλο, η μεταβολή του κατωφλίου μετατοπίζει την ισορροπία μεταξύ ψευδώς θετικών και ψευδώς αρνητικών. Η παλινδρόμηση δεν προσφέρει κανέναν ισοδύναμο μοχλό επί του ίδιου του μοντέλου· το κατώφλι που ενδεχομένως εφαρμόζεται στην έξοδό της ανήκει στον κατάντη κανόνα απόφασης, όχι στο μοντέλο.
Μια επιχειρηματική ανάγκη δεν είναι πρόβλημα μάθησης. Γίνεται πρόβλημα μάθησης τη στιγμή που επιλέγεται μια μεταβλητή στόχος. Όταν πολλοί στόχοι είναι διαθέσιμοι για την ίδια ανάγκη, συνυπάρχουν πολλές διατυπώσεις, ενδεχομένως σε διαφορετικά πλαίσια.
Η περίπτωση αναφοράς: η προβλεπτική συντήρηση. Ένας εκμεταλλευτής επιτηρεί έναν στόλο βιομηχανικών αντλιών με όργανα. Η ανάγκη είναι μοναδική: παρέμβαση πριν από την αστοχία χωρίς πολλαπλασιασμό άχρηστων ακινητοποιήσεων. Δύο στόχοι είναι κατασκευάσιμοι από το ίδιο ιστορικό και τους ίδιους αισθητήρες.
Αυστηρός ορισμός
Διάρκεια που χωρίζει τη στιγμή παρατήρησης από τη στιγμή αστοχίας ενός εξοπिपμού, δεσμευτικά στην διαπιστωμένη κατάστασή του και στο ιστορικό εκμετάλλευσής του. Αποτελεί τον στόχο αναφοράς των προγνωστικών προσεγγίσεων στη συντήρηση βάσει κατάστασης.
Μετάφραση σε καθημερινή γλώσσα
Ο αριθμός ημερών που απομένουν στο μηχάνημα πριν από τη βλάβη, εκτιμώμενος από την τρέχουσα κατάστασή του.
Σημείο προσοχής
Η επισημείωση μιας υπολειπόμενης διάρκειας ζωής απαιτεί πλήρεις κύκλους ζωής: η τιμή είναι γνωστή μόνον για τους εξοπλισμούς που όντως έφτασαν στην αστοχία. Οι εξοπλισμοί ακόμη σε υπηρεσία στο τέλος της περιόδου παρατήρησης είναι λογοκριμένοι με την έννοια της ενότητας 5.3. Ένα σύνολο δεδομένων συντήρησης περιλαμβάνει σχεδόν συστηματικά λογοκρισία, πράγμα που αποτελεί το πρώτο πρακτικό εμπόδιο στη διατύπωση ως παλινδρόμηση.
Το ακόλουθο πρωτόκολλο κατασκευάζει σύνολο δεδομένων υποβάθμισης, παράγει τους δύο στόχους από τις ίδιες ερμηνευτικές μεταβλητές, εκπαιδεύει τα δύο μοντέλα, και ρυθμίζει για καθένα το δικό του κατώφλι απόφασης σε διαμέριση επικύρωσης, ως προς ρητή συνάρτηση κόστους: 800 € για προληπτική παρέμβαση, 12 000 € για υποστείσα αστοχία.
import numpy as np
from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import precision_score, recall_score, mean_absolute_error
rng = np.random.default_rng(42)
n = 6000
# Parc de pompes industrielles : les MEMES variables explicatives
heures = rng.uniform(0, 20000, n) # heures cumulées
vibration = 1.2 + 0.00018 * heures + rng.normal(0, 0.35, n) # mm/s RMS
temp = 55 + 0.0011 * heures + rng.normal(0, 3.0, n) # °C au palier
delta_p = 2.6 - 0.00007 * heures + rng.normal(0, 0.20, n) # bar
nb_maint = rng.poisson(0.5 + heures / 9000) # interventions passées
usure = 0.55 * vibration + 0.035 * temp - 0.9 * delta_p + 0.00004 * heures
rul = 300 * np.exp(-0.5 * usure) * np.exp(rng.normal(0, 0.22, n)) # jours restants
X = np.column_stack([heures, vibration, temp, delta_p, nb_maint])
y_reg = rul # cible continue -> RÉGRESSION
y_clf = (rul <= 30).astype(int) # cible binaire -> CLASSIFICATION
Xtr, Xte, yr_tr, yr_te, yc_tr, yc_te = train_test_split(
X, y_reg, y_clf, test_size=0.3, random_state=0, stratify=y_clf)
Xtr, Xva, yr_tr, yr_va, yc_tr, yc_va = train_test_split(
Xtr, yr_tr, yc_tr, test_size=0.25, random_state=0, stratify=yc_tr)
C_PREV, C_PANNE = 800, 12000 # euros : intervention préventive / défaillance subie
def cout(y_vrai, pred):
return int(pred.sum()) * C_PREV + int(((y_vrai == 1) & (pred == 0)).sum()) * C_PANNE
clf = RandomForestClassifier(n_estimators=300, min_samples_leaf=5, random_state=0).fit(Xtr, yc_tr)
reg = RandomForestRegressor(n_estimators=300, min_samples_leaf=5, random_state=0).fit(Xtr, yr_tr)
p_va, p_te = clf.predict_proba(Xva)[:, 1], clf.predict_proba(Xte)[:, 1]
r_va, r_te = reg.predict(Xva), reg.predict(Xte)
# Chaque formulation reçoit son seuil de décision, calé sur le coût, en validation
seuil_a = min(np.arange(0.02, 0.61, 0.01), key=lambda s: cout(yc_va, (p_va >= s).astype(int)))
seuil_b = min(np.arange(10, 121, 1), key=lambda t: cout(yc_va, (r_va <= t).astype(int)))
print(f"Seuils calés sur la validation : A p >= {seuil_a:.2f} B RUL_pred <= {seuil_b} jours")
print(f"MAE de B sur la durée de vie résiduelle : {mean_absolute_error(yr_te, r_te):.1f} jours")
print(f"Coût de référence, aucune alerte : {int(yc_te.sum()) * C_PANNE} EUR\n")
for nom, pred in [("A - classification binaire ", (p_te >= seuil_a).astype(int)),
("B - régression sur la durée vie", (r_te <= seuil_b).astype(int))]:
print(f"{nom} precision={precision_score(yc_te, pred, zero_division=0):.3f} "
f"rappel={recall_score(yc_te, pred):.3f} alertes={int(pred.sum()):3d} "
f"manquées={int(((yc_te == 1) & (pred == 0)).sum()):2d} coût={cout(yc_te, pred):6d} EUR")
print("\nB - horizon d'intervention modifié sans réentraînement :")
for h in (60, 90):
cible_h, pred_h = (yr_te <= h).astype(int), (r_te <= h).astype(int)
print(f" horizon {h:2d} j : precision={precision_score(cible_h, pred_h):.3f} "
f"rappel={recall_score(cible_h, pred_h):.3f} alertes={int(pred_h.sum()):3d}")Έξοδος
Seuils calés sur la validation : A p >= 0.05 B RUL_pred <= 40 jours
MAE de B sur la durée de vie résiduelle : 18.5 jours
Coût de référence, aucune alerte : 2076000 EUR
A - classification binaire precision=0.431 rappel=0.954 alertes=383 manquées= 8 coût=402400 EUR
B - régression sur la durée vie precision=0.486 rappel=0.913 alertes=325 manquées=15 coût=440000 EUR
B - horizon d'intervention modifié sans réentraînement :
horizon 60 j : precision=0.900 rappel=0.888 alertes=668
horizon 90 j : precision=0.932 rappel=0.927 alertes=979Ερμηνεία
| Παρατήρηση | Ανάγνωση |
|---|---|
| Οι δύο διατυπώσεις μειώνουν το κόστος από 2 076 000 € σε περίπου 0,4 M€ | Η ανάγκη είναι αντιμετωπίσιμη και στα δύο πλαίσια· ο χαρακτηρισμός δεν κρίνεται στην εφικτότητα |
| Η A λαμβάνει 402 400 € έναντι 440 000 € για τη B στον ορίζοντα των 30 ημερών | Η ταξινόμηση βελτιστοποιεί απευθείας τον διαχωρισμό στον θεωρούμενο ορίζοντα· η παλινδρόμηση βελτιστοποιεί το σφάλμα σε ολόκληρη την κλίμακα των διαρκειών, συμπεριλαμβανομένων σημείων όπου καμία απόφαση δεν παίζεται |
| Η B εμφανίζει ελαφρώς ανώτερη ακρίβεια και 58 λιγότερες ειδοποιήσεις, για 7 περισσότερες χαμένες αστοχίες | Οι δύο διατυπώσεις δεν καταλαμβάνουν το ίδιο σημείο του συμβιβασμού ακρίβειας-ανάκλησης· η σύγκριση έχει νόημα μόνον με καθορισμένη συνάρτηση κόστους |
| Το βέλτιστο κατώφλι της B είναι 40 ημέρες, όχι 30 | Η έξοδος ενός παλινδρομητή δεν χρησιμοποιείται με το ακατέργαστο επιχειρηματικό κατώφλι: είναι παλινδρομημένη προς τον μέσο και πρέπει να επαναρυθμιστεί εμπειρικά |
| Η B αντιμετωπίζει τους ορίζοντες 60 και 90 ημερών με το ίδιο εκπαιδευμένο μοντέλο | Η αλλαγή ορίζοντα στη διατύπωση A επιβάλλει πλήρη επαναεπισημείωση και επανεκπαίδευση |
| Το MAE της B είναι 18,5 ημέρες | Ένα μέσο σφάλμα 18,5 ημερών καθιστά τη διατύπωση B μη εκμεταλλεύσιμη για ορίζοντα 7 ή 14 ημερών, πληροφορία που η μόνη μετρική ταξινόμησης δεν αποκαλύπτει |
| Κριτήριο | Κατευθύνει προς την ταξινόμηση | Κατευθύνει προς την παλινδρόμηση |
|---|---|---|
| Ορίζοντας απόφασης | Μοναδικός, σταθερός, σταθερός στον χρόνο | Πολλαπλός, μεταβλητός, ή διαπραγματευόμενος κατά περίπτωση |
| Διαθεσιμότητα των ετικετών | Καταγράφεται μόνον η εμφάνιση του γεγονότος | Τεκμηριώνονται οι πλήρεις κύκλοι ζωής |
| Λογοκρισία στο ιστορικό | Σημαντική: η ταξινόμηση σε σταθερό ορίζοντα είναι πιο εύρωστη | Ασθενής ή αντιμετωπίσιμη με ανάλυση επιβίωσης |
| Όγκος γεγονότων | Χαμηλός: συγκέντρωση της ικανότητας του μοντέλου στο σύνορο | Υψηλός: ο πλούτος του συνεχούς στόχου είναι εκμεταλλεύσιμος |
| Φύση της κατάντη απόφασης | Δυαδική, άμεση, χωρίς προτεραιοποίηση | Ταξινόμηση, προγραμματισμός, κατανομή πόρων |
| Ανάγκη ιεράρχησης των περιπτώσεων | Ικανοποιείται από τη βαθμολογία πιθανότητας | Ικανοποιείται από την προβλεπόμενη τιμή, απευθείας ερμηνεύσιμη |
| Επικοινωνία προς το επιχειρηματικό πεδίο | «83 % κίνδυνος εντός 30 ημερών» | «περίπου 45 ημέρες απομένουν» |
| Ευαισθησία στην αλλαγή πολιτικής | Χαμηλή: κάθε αλλαγή κατωφλίου επιβάλλει επανεκπαίδευση | Ισχυρή: μια αλλαγή ορίζοντα είναι σταθερά προς τροποποίηση |
| Έλεγχος του συμβιβασμού σφαλμάτων | Άμεσος, μέσω του κατωφλίου απόφασης | Έμμεσος, μέσω του κατωφλίου εφαρμοζόμενου στην έξοδο |
Κανόνας συμπεριφοράς : όταν οι δύο διατυπώσεις είναι πραγματοποιήσιμες, να τις κατασκευάσετε και τις δύο, να τις αξιολογήσετε στην ίδια επιχειρηματική συνάρτηση κόστους και στο ίδιο σύνολο ελέγχου, κατόπιν να αποφασίσετε επί αυτού του αποτελέσματος. Η σύγκριση ετερογενών μετρικών — ένα MAE έναντι ενός F1 — δεν αποτελεί διαιτησία.
Μια διασταύρωση μπορεί να σηματοδοτηθεί με δύο τρόπους. Το τρίχρωμο φανάρι παρέχει κατηγορία: κόκκινο, πορτοκαλί, πράσινο. Η αντίστροφη μέτρηση εμφανίζει αριθμό δευτερολέπτων που απομένουν.
Το φανάρι αρκεί για να αποφασιστεί αν πρέπει να σταματήσουμε: η απόφαση είναι δυαδική και ο ορίζοντάς της άμεσος. Η αντίστροφη μέτρηση επιτρέπει επιπλέον την πρόβλεψη, τη διαμόρφωση της ταχύτητας και τον συντονισμό πολλών οχημάτων· απαιτεί όμως πλουσιότερη και δυσκολότερη στην παραγωγή πληροφορία.
Η επιλογή μεταξύ των δύο συσκευών δεν οφείλεται στη διασταύρωση, αλλά σε όσα θέλουμε να μπορούμε να αποφασίσουμε και στην ακρίβεια που είναι πραγματικά εφικτή.
Οι δηλώσεις «η ιατρική είναι ταξινόμηση» ή «τα χρηματοοικονομικά είναι παλινδρόμηση» δεν έχουν κανένα θεμέλιο. Η ίδια νοσοκομειακή υπηρεσία παράγει προβλήματα ταξινόμησης (διάγνωση) και παλινδρόμησης (διάρκεια νοσηλείας, δοσολογία, βιολογικό ποσοστό).
Σωστή διατύπωση : «Ο τύπος του προβλήματος καθορίζεται από τη δομή του συνόλου των τιμών που μπορεί να λάβει η μεταβλητή στόχος, ανεξάρτητα από το πεδίο εφαρμογής.»
Οι μείζονες αλγοριθμικές οικογένειες — δέντρα, δάση, ενίσχυση, k-NN, SVM, νευρωνικά δίκτυα — υπάρχουν και στις δύο παραλλαγές. Η επιλογή του αλγορίθμου παρεμβαίνει μετά τον χαρακτηρισμό και επομένως δεν μπορεί να τον καθορίσει.
Σωστή διατύπωση : «Ο στόχος χαρακτηρίζει το πρόβλημα· το πρόβλημα περιορίζει το σύνολο των αποδεκτών αλγορίθμων· ο αλγόριθμος επιλέγεται εντός αυτού του συνόλου.»
Η λογιστική παλινδρόμηση είναι μοντέλο ταξινόμησης. Ο όρος «παλινδρόμηση» δηλώνει εκεί τη γραμμική παλινδρόμηση που επιτελείται επί του logit της πιθανότητας, όχι τη φύση του στόχου, που είναι κατηγορική. Το κεφάλαιο 036 λεπτομερεί αυτό το σημείο.
Σωστή διατύπωση : «Η λογιστική παλινδρόμηση μοντελοποιεί γραμμικά τον λογάριθμο των πιθανοτήτων ενός δυαδικού στόχου· ανήκει στην ταξινόμηση.»
Ένας ταχυδρομικός κωδικός, ένα αναγνωριστικό σειράς προϊόντος ή ένας κωδικός νομού
αποθηκεύονται ως ακέραιοι χωρίς να αποτελούν ποσότητες. Αντιστρόφως, ένας αριθμός
ζημιών αποθηκευμένος ως ακέραιος αποτελεί ποσότητα. Η επιθεώρηση του dtype δεν
υποκαθιστά τη σημασιολογική ανάλυση.
Σωστή διατύπωση : «Ο πληροφορικός τύπος της στήλης είναι ιδιότητα της μορφής αποθήκευσης· η δομή του συνόλου άφιξης είναι ιδιότητα του πεδίου.»
Η διαίρεση ενός αριθμητικού στόχου σε ζώνες πριν από την εκπαίδευση μειώνει τη στατιστική ισχύ, εισάγει αυθαίρετα φαινόμενα κατωφλίου και καθιστά το μοντέλο άχρηστο μόλις εξελιχθούν τα επιχειρηματικά κατώφλια. Η αναγνωσιμότητα για τις επιχειρηματικές ομάδες επιτυγχάνεται με διακριτοποίηση της πρόβλεψης, όχι του στόχου.
Σωστή διατύπωση : «Το μοντέλο μαθαίνεται επί του αριθμητικού στόχου· η τοποθέτηση σε κλάσεις εφαρμόζεται στην έξοδο, στο στρώμα απόδοσης.»
Ένας δυαδικός ταξινομητής παράγει συνεχή βαθμολογία στο [0, 1]. Αυτή η συνεχής έξοδος είναι εκτίμηση της δεσμευμένης πιθανότητας ένταξης στη θετική κλάση. Το σύνολο άφιξης του προβλήματος παραμένει πεπερασμένο.
Σωστή διατύπωση : «Ο χαρακτηρισμός αφορά τον παρατηρημένο στόχο στην εκπαίδευση, όχι τη μορφή της ενδιάμεσης εξόδου του μοντέλου.»
Ο περιορισμός του δείγματος στους εξοπλισμούς που όντως υπέστησαν βλάβη, ή η αντικατάσταση των λογοκριμένων διαρκειών από τη διάρκεια παρακολούθησης, μεροληπτεί συστηματικά την εκτίμηση προς υπερβολικά βραχείες διάρκειες.
Σωστή διατύπωση : «Παρουσία δεξιάς λογοκρισίας, το κατάλληλο πλαίσιο είναι η ανάλυση επιβίωσης· η ταξινόμηση σε σταθερό ορίζοντα αποτελεί έγκυρη εναλλακτική αν η παρακολούθηση κάθε υποκειμένου καλύπτει τον επιλεγμένο ορίζοντα.»
Ένα MAE 18,5 ημερών και ένα F1 0,60 δεν είναι συγκρίσιμα. Η διαιτησία μεταξύ μιας διατύπωσης ταξινόμησης και μιας διατύπωσης παλινδρόμησης απαιτεί να αναχθούν και οι δύο σε απόφαση και να αξιολογηθούν στην ίδια συνάρτηση κόστους, στο ίδιο σύνολο ελέγχου.
Σωστή διατύπωση : «Δύο διατυπώσεις της ίδιας ανάγκης συγκρίνονται επί της απόφασης που παράγουν και επί του κόστους της, ποτέ επί των αντίστοιχων εγγενών μετρικών τους.»
ΜΟΝΑΔΙΚΟ ΚΡΙΤΗΡΙΟ ΧΑΡΑΚΤΗΡΙΣΜΟΥ
Η δομή του συνόλου άφιξης της μεταβλητής στόχου.
Ούτε το πεδίο, ούτε ο αλγόριθμος, ούτε ο τύπος των μεταβλητών εισόδου,
ούτε η μορφή αποθήκευσης.
ΤΑΞΙΝΟΜΗΣΗ
f : X -> {c1, ..., cK}, σύνολο ΠΕΠΕΡΑΣΜΕΝΟ και ΜΗ ΔΙΑΤΕΤΑΓΜΕΝΟ.
Μόνον η ισότητα ορίζεται. Το σφάλμα καταμετράται.
ΠΑΛΙΝΔΡΟΜΗΣΗ
f : X -> διάστημα του R, σύνολο ΔΙΑΤΕΤΑΓΜΕΝΟ και ΜΕΤΡΙΚΟ.
Η απόκλιση y - y_pred έχει νόημα. Το σφάλμα μετράται.
Ο ΕΛΕΓΧΟΣ ΤΩΝ ΤΡΙΩΝ ΠΡΑΞΕΩΝ
Ισότητα μόνον -> ταξινόμηση
Ισότητα + διάταξη -> τακτική περίπτωση, αντιμετωπίζεται ως ταξινόμηση
Ισότητα + διάταξη + απόκλιση -> παλινδρόμηση
ΟΙ ΠΕΝΤΕ ΑΜΦΙΣΗΜΕΣ ΠΕΡΙΠΤΩΣΕΙΣ
Τακτικός -> ταξινόμηση, μετρική ευαίσθητη στη διάταξη
Καταμέτρηση -> παλινδρόμηση, απώλεια Poisson
Λογοκριμένη διάρκεια -> ανάλυση επιβίωσης, ή ταξινόμηση σε σταθερό ορίζοντα
Πιθανότητα -> σύμφωνα με την ΠΑΡΑΤΗΡΗΜΕΝΗ ετικέτα: δυαδική ή αναλογία
Διακριτοποιημένος αριθμητικός -> παλινδρόμηση, κατόπιν κατώφλι στην πρόβλεψη
ΤΙ ΚΑΘΟΡΙΖΕΙ ΚΑΤΟΠΙΝ Η ΕΠΙΛΟΓΗ
Αποδεκτοί αλγόριθμοι, συνάρτηση απώλειας, μετρικές αξιολόγησης,
μορφή της εξόδου, γραμμή βάσης, στρωματοποίηση, διάγνωση σφάλματος,
μοχλός ρύθμισης μετά την εκπαίδευση, δείκτες επιτήρησης.
ΑΝΑΔΙΑΤΥΠΩΣΗ
Μια επιχειρηματική ανάγκη μπορεί να διατυπωθεί και στα δύο πλαίσια.
Οι δύο διατυπώσεις συγκρίνονται στην ΙΔΙΑ συνάρτηση κόστους
και στο ΙΔΙΟ σύνολο ελέγχου, ποτέ επί των εγγενών μετρικών τους.Δήλωση σύνθεσης
Ένα πρόβλημα επιβλεπόμενης μάθησης είναι ταξινόμηση όταν ο στόχος του λαμβάνει τις τιμές του σε πεπερασμένο μη διατεταγμένο σύνολο, και παλινδρόμηση όταν ο στόχος του λαμβάνει τις τιμές του σε αριθμητική κλίμακα όπου η απόκλιση μεταξύ δύο τιμών είναι ερμηνεύσιμη· αυτός ο χαρακτηρισμός εξαρτάται αποκλειστικά από τη φύση της επιλεγμένης μεταβλητής στόχου, και καθορίζει κατόπιν ολόκληρη την αλυσίδα μοντελοποίησης, από τους αποδεκτούς αλγορίθμους έως τους δείκτες επιτήρησης στην παραγωγή.
Σχετικά κουίζ
010.1-quiz-critere-de-qualification.md010.2-quiz-classification.md010.3-quiz-regression.md010.4-quiz-arbre-de-decision.md010.5-quiz-cas-ambigus.md010.6-quiz-consequences-du-choix.md010.7-quiz-reformulation.mdΕπόμενο κεφάλαιο : 011-types-de-classification.md