Ταξινόμηση ή παλινδρόμηση: χαρακτηρισμός του προβλήματος

28 λεπτά
Μπλοκ 2 — Ταυτοποίηση του προβλήματος
Στόχος
να είστε σε θέση να χαρακτηρίσετε κάθε πρόβλημα επιβλεπόμενης μάθησης ως ταξινόμηση ή παλινδρόμηση από τη μόνη δομή της μεταβλητής στόχου, να αντιμετωπίσετε τις πέντε αμφίσημες διαμορφώσεις που αντιστέκονται σε αυτόν τον χαρακτηρισμό, να διατυπώσετε τις συνέπειες της επιλογής σε ολόκληρη την αλυσίδα μοντελοποίησης, και να διαιτητεύσετε μεταξύ δύο ανταγωνιστικών διατυπώσεων της ίδιας επιχειρηματικής ανάγκης.
Εκτιμώμενη διάρκεια
40 λεπτά
Προαπαιτούμενα
κεφάλαια 001 έως 009, ιδίως 004 (επιβλεπόμενη μάθηση), 006 (ερμηνευτικές μεταβλητές και στόχος) και 007 (X, y, ετικέτα, κλάση)
Σχετικά κουίζ
010.1-quiz-critere-de-qualification.md έως 010.7-quiz-reformulation.md

1. Το κριτήριο χαρακτηρισμού: η δομή του συνόλου άφιξης

1.1 Θέση του προβλήματος

Οι ακόλουθες διατυπώσεις χρησιμοποιούνται συχνά για να δικαιολογήσουν την επιλογή μεταξύ ταξινόμησης και παλινδρόμησης. Καμία δεν είναι έγκυρη.

Διατύπωση που ακούγεταιΚατάστασηΆμεσο αντιπαράδειγμα
«Είναι ιατρικό πρόβλημα, άρα ταξινόμηση»ΛάθοςΗ πρόβλεψη της γλυκαιμίας σε 3 μήνες είναι παλινδρόμηση σε ιατρικό πλαίσιο
«Χρησιμοποιώ Random Forest, άρα ταξινόμηση»ΛάθοςΤο RandomForestRegressor υπάρχει και αντιμετωπίζει πραγματικούς στόχους
«Οι μεταβλητές εισόδου μου είναι κατηγορικές, άρα ταξινόμηση»ΛάθοςΟ τύπος των εισόδων είναι ανεξάρτητος από τον τύπο του στόχου
«Ο στόχος αποθηκεύεται ως ακέραιος, άρα ταξινόμηση»ΛάθοςΈνας αριθμός μηνιαίων επισκέψεων είναι ακέραιος και ανήκει στην παλινδρόμηση
«Υπάρχουν μόνον δύο δυνατές τιμές εξόδου, άρα δυαδική παλινδρόμηση»ΛάθοςΔύο μη διατεταγμένοι τρόποι ορίζουν δυαδική ταξινόμηση

Το μοναδικό κριτήριο είναι η μαθηματική δομή του συνόλου στο οποίο η μεταβλητή στόχος λαμβάνει τις τιμές της. Ούτε το πεδίο εφαρμογής, ούτε ο προβλεπόμενος αλγόριθμος, ούτε ο τύπος των ερμηνευτικών μεταβλητών, ούτε η μορφή αποθήκευσης παρεμβαίνουν σε αυτόν τον χαρακτηρισμό.

1.2 Το κοινό τυπικό πλαίσιο

Η επιβλεπόμενη μάθηση, ορισμένη στο κεφάλαιο 004, συνίσταται στην επαγωγή από ένα επισημειωμένο δείγμα μιας συνάρτησης

f : X → Y

όπου X δηλώνει τον χώρο των ερμηνευτικών μεταβλητών και Y το σύνολο άφιξης, δηλαδή το σύνολο των τιμών που μπορεί να λάβει η μεταβλητή στόχος.

Ταξινόμηση και παλινδρόμηση μοιράζονται πλήρως αυτό το πλαίσιο. Μοιράζονται επίσης το δείγμα εκπαίδευσης, την έννοια της γενίκευσης, τον διαχωρισμό εκπαίδευσης/ελέγχου (κεφάλαιο 026) και τον κίνδυνο υπερπροσαρμογής (κεφάλαιο 031). Διακρίνονται σε ένα μόνον σημείο: τη δομή του Y.

ΟΡΙΣΜΟΣ — Σύνολο άφιξης (χώρος εξόδου, output space)

Αυστηρός ορισμός

Σύνολο Y στο οποίο η συνάρτηση στόχος λαμβάνει τις τιμές της, θεωρούμενο όχι ως απλό σύνολο συμβόλων αλλά ως αλγεβρική δομή: μας ενδιαφέρουν οι σχέσεις και οι πράξεις που ορίζονται σε αυτό — ισότητα, ολική διάταξη, απόσταση, πρόσθεση, προσδοκία.

Μετάφραση σε καθημερινή γλώσσα

Το σύνολο όλων των δυνατών απαντήσεων, και τι επιτρέπεται να κάνουμε με αυτές τις απαντήσεις: μπορούμε μόνον να πούμε ότι είναι ταυτόσημες ή διαφορετικές, μπορούμε να τις ταξινομήσουμε, μπορούμε να μετρήσουμε την απόκλιση μεταξύ δύο από αυτές.

Σημείο προσοχής

Η δομή του Y δεν είναι ποτέ ορατή στο αρχείο δεδομένων. Μια στήλη που περιέχει τις τιμές 1, 2, 3 μπορεί να αναπαριστά τρία φυτικά είδη (ονομαστική δομή) ή τρία περάσματα στο εργαστήριο (αριθμητική δομή). Μόνον η γνώση του πεδίου αποφασίζει. Ο χαρακτηρισμός είναι πράξη ανάλυσης, όχι επιθεώρηση πληροφορικού τύπου.

1.3 Η θεμελιώδης διακλάδωση

Κατευθυντήρια δήλωση του κεφαλαίου

Ο τύπος του προβλήματος καθορίζεται από τη φύση της μεταβλητής στόχου. Δεν καθορίζεται ούτε από το επιχειρηματικό πεδίο, ούτε από τον προβλεπόμενο αλγόριθμο, ούτε από τον τύπο των ερμηνευτικών μεταβλητών.


2. Η ταξινόμηση

ΟΡΙΣΜΟΣ — Ταξινόμηση (supervised classification)

Αυστηρός ορισμός

Έργο επιβλεπόμενης μάθησης που συνίσταται στην επαγωγή, από ένα δείγμα επισημειωμένων παρατηρήσεων, μιας συνάρτησης f : X → Y όπου το σύνολο άφιξης Y = {c₁, c₂, …, cKc_K} είναι πεπερασμένο και μη εφοδιασμένο με εγγενή σχέση διάταξης. Τα στοιχεία του Y ονομάζονται κλάσεις, κατηγορίες ή τρόποι. K δηλώνει τον αριθμό των κλάσεων· K = 2 ορίζει τη δυαδική ταξινόμηση, K > 2 την πολυκλασική ταξινόμηση (κεφάλαιο 011).

Δομή του συνόλου άφιξης

Η μόνη σχέση ορισμένη στο Y είναι η ισότητα. Δύο κλάσεις είναι ταυτόσημες ή διακριτές· καμία δεν είναι «ανώτερη», και καμία απόσταση δεν ορίζεται μεταξύ τους. Η πρόταση «η κλάση σκύλος είναι πλησιέστερη στην κλάση γάτα από ό,τι στην κλάση άλογο» δεν έχει κανένα μαθηματικό καθεστώς στο τυπικό πλαίσιο.

Μετάφραση σε καθημερινή γλώσσα

Να τοποθετήσετε κάθε περίπτωση σε ένα από τα συρτάρια ενός συνόλου καθορισμένου εκ των προτέρων, χωρίς αυτά τα συρτάρια να είναι ταξινομημένα από το μικρότερο στο μεγαλύτερο.

Σημείο προσοχής

Το σύνολο των κλάσεων καθορίζεται πριν από την εκπαίδευση και αποτελεί μέρος της προδιαγραφής του προβλήματος. Ένα μοντέλο ταξινόμησης δεν μπορεί ποτέ να προβλέψει κλάση απόυσα από το δείγμα εκπαίδευσης. Η εμφάνιση νέου τρόπου στην παραγωγή αποτελεί ρήξη προδιαγραφής, όχι σφάλμα πρόβλεψης.

2.1 Επιτρεπτές και μη επιτρεπτές πράξεις επί του στόχου

Πράξη επί δύο τιμών στόχουΤαξινόμησηΑιτιολόγηση
Έλεγχος ισότητας y₁ = y₂ΕπιτρεπτήΗ ισότητα είναι η θεμελιώδης σχέση του Y
Διάταξη y₁ < y₂Μη επιτρεπτήΚαμία εγγενής διάταξη σε ονομαστικό σύνολο
Υπολογισμός απόκλισης y₁ − y₂Μη επιτρεπτήΗ αφαίρεση δεν ορίζεται
Υπολογισμός μέσου των τιμών στόχουΜη επιτρεπτήΗ προσδοκία ονομαστικής μεταβλητής δεν έχει νόημα
Καταμέτρηση εμφανίσεων μιας κλάσηςΕπιτρεπτήΠαρέχει την κατανομή των κλάσεων (κεφάλαιο 050)

Άμεση συνέπεια : το σφάλμα ενός μοντέλου ταξινόμησης δεν μετράται με απόκλιση αλλά με καταμέτρηση διαφωνιών, τυποποιημένη από τον πίνακα σύγχυσης (κεφάλαιο 052). Δεν υπάρχει «μικρό» ή «μεγάλο» σφάλμα σε μία μοναδική πρόβλεψη: είναι ορθή ή εσφαλμένη.

2.2 Μορφή της εξόδου

Ένας ταξινομητής παράγει στην πραγματικότητα δύο διακριτές εξόδους, των οποίων η σύγχυση είναι συχνή πηγή σφάλματος.

ΈξοδοςΦύσηΜέθοδος scikit-learnΣύνολο άφιξης
Βαθμολογία ή πιθανότητα ανά κλάσηΔιάνυσμα K πραγματικών που αθροίζουν σε 1predict_proba()[0, 1]^K
Προβλεπόμενη κλάσηΈνας τρόποςpredict(){c₁, …, cKc_K}

Η μετάβαση από την πρώτη στη δεύτερη γίνεται με εφαρμογή κανόνα απόφασης, συχνότερα κατώφλι στο δυαδικό (κεφάλαιο 062) ή το όρισμα του μεγίστου στο πολυκλασικό. Η παραγωγή ενδιάμεσης πραγματικής βαθμολογίας δεν μετατρέπει το πρόβλημα σε παλινδρόμηση: το σύνολο άφιξης του προβλήματος παραμένει το πεπερασμένο σύνολο των κλάσεων, η βαθμολογία είναι μόνον υπολογιστικός ενδιάμεσος.

ΟΡΙΣΜΟΣ — Σύνορο απόφασης (decision boundary)

Αυστηρός ορισμός

Υποσύνολο του χώρου των ερμηνευτικών μεταβλητών X που διαχωρίζει τις περιοχές που συνδέονται με διαφορετικές προβλεπόμενες κλάσεις. Τυπικά, για δυαδικό ταξινομητή θεμελιωμένο σε συνάρτηση βαθμολογίας s(x) και κατώφλι t, το σύνορο είναι το σύνολο {x ∈ X : s(x) = t}.

Μετάφραση σε καθημερινή γλώσσα

Η γραμμή, η επιφάνεια ή το όριο πέρα από το οποίο το μοντέλο αλλάζει γνώμη για την κατηγορία που πρέπει να αποδοθεί.

Σημείο προσοχής

Το γεωμετρικό αντικείμενο που μαθαίνεται στην ταξινόμηση είναι μια διαμέριση του χώρου εισόδου. Στην παλινδρόμηση, το εκμαθημένο αντικείμενο είναι μια επιφάνεια απόκρισης ορισμένη σε ολόκληρο τον χώρο εισόδου. Αυτή η διαφορά φύσης εξηγεί γιατί ορισμένοι αλγόριθμοι μετατίθενται δύσκολα από το ένα πλαίσιο στο άλλο.

ΑΝΑΛΟΓΙΑ — Το ταχυδρομικό κέντρο διαλογής

Ένα κέντρο διαλογής διαθέτει σταθερό αριθμό συρταριών, ένα ανά περιοχή προορισμού. Κάθε δέμα πρέπει να τοποθετηθεί σε ακριβώς ένα συρτάρι. Ο διαλογέας δεν μπορεί να εφεύρει συρτάρι, ούτε να τοποθετήσει δέμα «μεταξύ» δύο συρταριών.

Το λάθος συρτάρι είναι σφάλμα, χωρίς βαθμό: ένα δέμα προορισμένο για τη Λυών τοποθετημένο στο συρτάρι Μασσαλίας και ένα δέμα προορισμένο για τη Λυών τοποθετημένο στο συρτάρι Λιλ είναι δύο ισοδύναμα σφάλματα από την άποψη της διαλογής, ακόμη και αν οι λειτουργικές συνέπειες διαφέρουν.

Η διστακτικότητα του διαλογέα — «αυτό το δέμα είναι πιθανώς για τη Λυών, ίσως για τη Γκρενόμπλ» — αντιστοιχεί στη βαθμολογία πιθανότητας. Η τελική απόφαση να το εναποθέσει σε ένα συρτάρι αντιστοιχεί στην προβλεπόμενη κλάση.

2.3 Αντιπροσωπευτικά παραδείγματα

ΠεδίοΕπιχειρηματική ερώτησηΣύνολο άφιξηςK
ΠληρωμήΕίναι αυτή η συναλλαγή δόλια;{απάτη, κανονική}2
ΑλληλογραφίαΕίναι αυτό το μήνυμα ανεπιθύμητο;{spam, νόμιμο}2
ΥγείαΠαρουσιάζει αυτός ο ασθενής την παθολογία;{άρρωστος, υγιής}2
ΤηλεπικοινωνίεςΘα αποχωρήσει αυτός ο πελάτης;{αποχώρηση, διατήρηση}2
ΒοτανικήΣε ποιο είδος ανήκει;{setosa, versicolor, virginica}3
ΒιομηχανίαΠοιος τύπος ελαττώματος επηρεάζει αυτό το τεμάχιο;{γρατσουνιά, ρωγμή, πορώδες, κανένα}4

3. Η παλινδρόμηση

ΟΡΙΣΜΟΣ — Παλινδρόμηση (supervised regression)

Αυστηρός ορισμός

Έργο επιβλεπόμενης μάθησης που συνίσταται στην επαγωγή, από ένα δείγμα επισημειωμένων παρατηρήσεων, μιας συνάρτησης f : X → Y όπου το σύνολο άφιξης Y είναι υποσύνολο του ℝ — συχνότερα ολόκληρο το ℝ, το ℝ⁺, ή ένα φραγμένο διάστημα. Το σύνολο άφιξης είναι επομένως εφοδιασμένο με ολική διάταξη και απόσταση, πράγμα που προσδίδει νόημα στην ποσότητα y − ŷ, που ονομάζεται υπόλοιπο (κεφάλαιο 066).

Στατιστική διατύπωση

Η παλινδρόμηση εκτιμά ένα χαρακτηριστικό της δεσμευμένης κατανομής του Y δεδομένου του X. Η παλινδρόμηση ελαχίστων τετραγώνων εκτιμά τη δεσμευμένη προσδοκία E[Y | X = x]· η ποσοστημοριακή παλινδρόμηση εκτιμά ένα δεσμευμένο ποσοστημόριο· η παλινδρόμηση επί της απόλυτης τιμής εκτιμά τη δεσμευμένη διάμεσο.

Μετάφραση σε καθημερινή γλώσσα

Να εκτιμήσετε μια ποσότητα, δηλαδή να παράγετε έναν αριθμό τοποθετημένο σε βαθμονομημένη κλίμακα, στην οποία είναι δυνατό να πείτε κατά πόσο κάνατε λάθος.

Ετυμολογικό σημείο

Ο όρος προέρχεται από τον Francis Galton (1886), που παρατηρεί την «παλινδρόμηση προς τη μετριότητα» — σήμερα παλινδρόμηση προς τον μέσο — στη μετάδοση του αναστήματος μεταξύ γενεών. Η λέξη δηλώνει σήμερα, κατ' επέκταση, κάθε εκτίμηση αριθμητικού στόχου. Δεν εκφράζει καμία έννοια επιστροφής προς τα πίσω.

3.1 Επιτρεπτές πράξεις και σημασία του σφάλματος

Πράξη επί δύο τιμών στόχουΠαλινδρόμησηΠρακτική συνέπεια
Έλεγχος ισότητας y₁ = y₂Επιτρεπτή αλλά χωρίς ενδιαφέρονΗ πιθανότητα ακριβούς ισότητας είναι μηδενική σε συνεχή μεταβλητή
Διάταξη y₁ < y₂ΕπιτρεπτήΕπιτρέπει μετρικές θεμελιωμένες στις τάξεις
Υπολογισμός απόκλισης y₁ − y₂ΕπιτρεπτήΘεμελιώνει την έννοια του υπολοίπου
Υπολογισμός μέσουΕπιτρεπτήΘεμελιώνει τη γραμμή βάσης «πρόβλεψη του μέσου»
Ύψωση της απόκλισης στο τετράγωνοΕπιτρεπτήΘεμελιώνει MSE και RMSE (κεφάλαια 068 και 069)

Άμεση συνέπεια : στην παλινδρόμηση, το σφάλμα είναι βαθμονομημένο. Η πρόβλεψη 248 000 € για ένα αγαθό που πωλήθηκε 250 000 € είναι αποτέλεσμα ποιότητας· η πρόβλεψη 90 000 € για το ίδιο αγαθό είναι αποτυχία. Η διάκριση μεταξύ αυτών των δύο καταστάσεων είναι αδύνατη να διατυπωθεί στο πλαίσιο της ταξινόμησης, όπου οι δύο προβλέψεις θα ήταν εξίσου «εσφαλμένες».

3.2 Μορφή της εξόδου

ΈξοδοςΦύσηΧρήση
Σημειακή πρόβλεψηΈνας πραγματικός ŷΤυπική έξοδος του predict()
Διάστημα πρόβλεψηςΈνα ζεύγος [y^inf\hat{y}_{\mathrm{inf}}, y^sup\hat{y}_{\mathrm{sup}}]Επικοινωνία της αβεβαιότητας
Δεσμευμένα ποσοστημόριαΠολλοί πραγματικοίΑσύμμετρη απόφαση, διαχείριση αποθέματος

Ένας παλινδρομητής δεν διαθέτει κανένα ισοδύναμο του predict_proba(): δεν υπάρχει «πιθανότητα κάθε δυνατής τιμής» όταν το σύνολο άφιξης είναι συνεχές. Αυτή η ασυμμετρία αναπτύσσεται στο κεφάλαιο 029.

ΑΝΑΛΟΓΙΑ — Το συρτάρι και ο βαθμονομημένος κανόνας

Ένας φαρμακοποιός ταξινομεί κουτιά σε επισημειωμένα συρτάρια: αντιβιοτικά, αναλγητικά, αντιισταμινικά. Ένα κουτί είναι στο σωστό συρτάρι ή στο λάθος. Δεν υπάρχει «σχεδόν σωστό συρτάρι». Είναι ταξινόμηση.

Ο ίδιος φαρμακοποιός ζυγίζει ένα magistral παρασκεύασμα και στοχεύει 250 mg. Λαμβάνει 248 mg: η απόκλιση είναι 2 mg, ποσοτικοποιήσιμη, και αποδεκτή ως προς την φαρμακευτική ανοχή. Λαμβάνει 90 mg: η απόκλιση είναι 160 mg, και το παρασκεύασμα είναι άχρηστο. Είναι παλινδρόμηση.

Το συρτάρι δεν δέχεται βαθμό. Η ζυγαριά δέχεται έναν. Όλη η διαφορά μεταξύ των δύο πλαισίων έγκειται σε αυτή την ιδιότητα της κλίμακας εξόδου.

3.3 Αντιπροσωπευτικά παραδείγματα και διασταυρωμένα παραδείγματα

Ο ακόλουθος πίνακας τοποθετεί δίπλα-δίπλα, για το ίδιο επιχειρηματικό πεδίο, έναν στόχο που ανήκει στην ταξινόμηση και έναν στόχο που ανήκει στην παλινδρόμηση. Διαπιστώνει ότι το πεδίο δεν καθορίζει τίποτε.

ΠεδίοΚατηγορικός στόχος → ταξινόμησηΑριθμητικός στόχος → παλινδρόμηση
ΑκίνηταΘα πωληθεί το αγαθό εντός 90 ημερών;Τιμή πώλησης σε ευρώ
ΥγείαΕίναι ο ασθενής διαβητικός;Ποσοστό HbA1c σε ποσοστό
ΕνέργειαΘα ξεπεραστεί η κορυφή κατανάλωσης;Κατανάλωση σε kWh της ημέρας
ΜετεωρολογίαΘα βρέξει αύριο;Μέγιστη θερμοκρασία σε °C
ΠληρωμήΕίναι η συναλλαγή δόλια;Ποσό της απώλειας σε περίπτωση απάτης
Ανθρώπινοι πόροιΘα αποδεχθεί ο υποψήφιος την προσφορά;Μισθός αποδοχής σε ευρώ
ΒιομηχανίαΕίναι το τεμάχιο σύμφωνο;Μετρημένη διάσταση σε χιλιοστά
ΜάρκετινγκΘα εγγραφεί ο πελάτης;Κύκλος εργασιών σε 12 μήνες

Ανάγνωση του πίνακα : κάθε γραμμή περιγράφει ένα μοναδικό πεδίο, συχνά ένα μοναδικό σύνολο δεδομένων, με τις ίδιες ερμηνευτικές μεταβλητές. Μόνον η στήλη που επιλέγεται ως στόχος αλλάζει, και μαζί της ο τύπος του προβλήματος.


4. Η ερώτηση χαρακτηρισμού και το δέντρο απόφασής της

4.1 Η ερώτηση που πρέπει να τεθεί

Τι ακριβώς επιδιώκουμε να παράγουμε, και ποιας φύσης είναι η παραγόμενη τιμή: μια κατηγορία ληφθείσα από καθορισμένη λίστα, ή ένας αριθμός τοποθετημένος σε μια κλίμακα;

Η συντομευμένη μορφή της, χρησιμοποιήσιμη σε συνάντηση πλαισίωσης:

Μορφή της επιχειρηματικής ερώτησηςΤύπος προβλήματος
«Ποια κατηγορία;», «Ποιο;», «Είναι …;», «Ναι ή όχι;»Ταξινόμηση
«Πόσο;», «Ποια ποσότητα;», «Ποιο ποσό;», «Ποια διάρκεια;»Παλινδρόμηση

Σημείο προσοχής : η ερώτηση πρέπει να αφορά την τιμή που παράγεται από το μοντέλο, όχι την απόφαση που λαμβάνεται κατόπιν από τον οργανισμό. Ένα μοντέλο που εκτιμά ποσό απώλειας (παλινδρόμηση) μπορεί να τροφοδοτήσει δυαδική απόφαση αποδοχής ή απόρριψης. Η κατάντη απόφαση δεν τροποποιεί τη φύση της εξόδου του μοντέλου.

4.2 Ο έλεγχος των τριών πράξεων

Όταν η επιχειρηματική ερώτηση παραμένει αμφίσημη, ο ακόλουθος έλεγχος αποφασίζει μηχανικά. Εφαρμόζεται στις παρατηρημένες τιμές του στόχου.

Ελεγχόμενη πράξηΕρμηνεία αν το αποτέλεσμα έχει επιχειρηματικό νόημα
1. y₁ = y₂;Πάντα αληθές: ελάχιστη συνθήκη, δεν διακρίνει
2. y₁ < y₂;Υπάρχει διάταξη: ο στόχος είναι τουλάχιστον τακτικός
3. y₁ − y₂ ερμηνεύσιμο ως απόκλιση;Υπάρχει μετρική: ο στόχος είναι αριθμητικός

Κανόνας ανάγνωσης

  • Μόνον η πράξη 1 έχει νόημα: ταξινόμηση (ονομαστικός στόχος).
  • Οι πράξεις 1 και 2 έχουν νόημα, η 3 όχι: τακτική περίπτωση, αντιμετωπίζεται στο 5.1.
  • Και οι τρεις πράξεις έχουν νόημα: παλινδρόμηση.

Παράδειγμα εφαρμογής στον ταχυδρομικό κωδικό: δύο ταχυδρομικοί κωδικοί μπορούν να συγκριθούν με ισότητα· η διάταξη 69001 < 75015 δεν εκφράζει τίποτε επιχειρηματικό· η διαφορά 75015 − 69001 = 6014 δεν είναι απόσταση. Ο ταχυδρομικός κωδικός είναι ονομαστική μεταβλητή παρά την αριθμητική αποθήκευσή του.

4.3 Το πλήρες δέντρο απόφασης

4.4 Διακριτή μεταβλητή και συνεχής μεταβλητή

ΟΡΙΣΜΟΣ — Διακριτή μεταβλητή και συνεχής μεταβλητή

Αυστηρός ορισμός

Μια τυχαία μεταβλητή λέγεται διακριτή όταν το σύνολο των δυνατών τιμών της είναι πεπερασμένο ή άπειρο αριθμήσιμο. Λέγεται συνεχής όταν αυτό το σύνολο είναι μη εκφυλισμένο διάστημα του ℝ και η συνάρτηση κατανομής της είναι συνεχής, οπότε η πιθανότητα μιας σημειακής τιμής είναι μηδενική.

Μετάφραση σε καθημερινή γλώσσα

Διακριτό: οι τιμές μετράνται μία προς μία, και μεταξύ δύο γειτονικών τιμών δεν υπάρχει τίποτε. Συνεχές: μεταξύ δύο τιμών, όσο κοντινές κι αν είναι, υπάρχει άπειρο πλήθος άλλων.

Σημείο προσοχής — η κεντρική σύγχυση

Διακριτό δεν είναι συνώνυμο του κατηγορικού. Ένας αριθμός μηνιαίων επισκέψεων είναι διακριτός (0, 1, 2, …) και ωστόσο απολύτως αριθμητικός: η διάταξη και η απόκλιση έχουν νόημα. Η χρήσιμη διχοτομία για τον χαρακτηρισμό ενός προβλήματος μάθησης δεν είναι διακριτό/συνεχές αλλά ονομαστικό/αριθμητικό.

Σημείο προσοχής — η φυσική μέτρηση

Κάθε καταγεγραμμένη μέτρηση είναι διακριτή εκ κατασκευής, λόγω της τελικής ανάλυσης του οργάνου και της αναπαράστασης κινητής υποδιαστολής. Μια θερμοκρασία καταγεγραμμένη στο δέκατο του βαθμού λαμβάνει πεπερασμένο αριθμό τιμών. Αντιμετωπίζεται ως συνεχής, διότι η υποκείμενη δομή της είναι διάστημα του ℝ.

ΣτόχοςΔιακριτός ή συνεχήςΟνομαστικός ή αριθμητικόςΤύπος προβλήματος
Είδος ίριδαςΔιακριτόςΟνομαστικόςΤαξινόμηση
Κατάσταση συναλλαγήςΔιακριτόςΟνομαστικόςΤαξινόμηση
Ταχυδρομικός κωδικόςΔιακριτόςΟνομαστικόςΤαξινόμηση
Αριθμός μηνιαίων επισκέψεωνΔιακριτόςΑριθμητικόςΠαλινδρόμηση
Αριθμός δηλωμένων ζημιώνΔιακριτόςΑριθμητικόςΠαλινδρόμηση
Μέγιστη θερμοκρασίαΣυνεχήςΑριθμητικόςΠαλινδρόμηση
Τιμή πώλησηςΣυνεχήςΑριθμητικόςΠαλινδρόμηση

4.5 Ενόργανη επαλήθευση της φύσης του στόχου

Η scikit-learn εκθέτει μια συνάρτηση επιθεώρησης του τύπου στόχου. Αποτελεί χρήσιμο έλεγχο, υπό τον όρο να γνωρίζουμε τα όριά της.

python
import numpy as np
from sklearn.utils.multiclass import type_of_target

cibles = {
    "statut_transaction    ": np.array(["normal", "fraude", "normal", "fraude"]),
    "espece_iris           ": np.array(["setosa", "versicolor", "virginica", "setosa"]),
    "temperature_celsius   ": np.array([18.4, 21.0, 19.7, 23.2]),
    "prix_vente_eur        ": np.array([245000.0, 312500.0, 189900.0, 405000.0]),
    "nb_visites_mensuelles ": np.array([0, 3, 1, 12]),
    "note_satisfaction_1_5 ": np.array([1, 3, 2, 5]),
}

for nom, y in cibles.items():
    print(f"{nom} dtype={str(y.dtype):8s} -> type_of_target = {type_of_target(y)}")

Έξοδος

statut_transaction     dtype=<U6      -> type_of_target = binary
espece_iris            dtype=<U10     -> type_of_target = multiclass
temperature_celsius    dtype=float64  -> type_of_target = continuous
prix_vente_eur         dtype=float64  -> type_of_target = multiclass
nb_visites_mensuelles  dtype=int64    -> type_of_target = multiclass
note_satisfaction_1_5  dtype=int64    -> type_of_target = multiclass

Ερμηνεία

Οι τρεις πρώτες γραμμές είναι σύμφωνες με την επιχειρηματική ανάλυση. Οι τρεις επόμενες δεν είναι:

  • το prix_vente_eur είναι στόχος παλινδρόμησης, χαρακτηριζόμενος multiclass διότι οι τέσσερις τιμές, αν και κινητής υποδιαστολής, είναι ακέραιες και λίγες·
  • το nb_visites_mensuelles είναι στόχος παλινδρόμησης με την έννοια του ελέγχου των τριών πράξεων, χαρακτηριζόμενος multiclass διότι είναι ακέραιος·
  • το note_satisfaction_1_5 είναι τακτικός στόχος, τον οποίο η συνάρτηση δεν διακρίνει από ονομαστικό στόχο.

Λειτουργικό συμπέρασμα : το type_of_target εφαρμόζει συντακτική ευρετική θεμελιωμένη στον τύπο αποθήκευσης και στον αριθμό των διακριτών τιμών. Ανιχνεύει ασυνέπειες μορφής· δεν χαρακτηρίζει ένα πρόβλημα. Ο χαρακτηρισμός παραμένει πράξη ανάλυσης θεμελιωμένη στη γνώση του πεδίου.


5. Οι πέντε αμφίσημες περιπτώσεις και η αντιμετώπισή τους

Πέντε διαμορφώσεις αντιστέκονται στον άμεσο χαρακτηρισμό. Καθεμία απαιτεί τεκμηριωμένη απόφαση, όχι επιλογή εξ ορισμού.

5.1 Τακτικός στόχος

Φύση : πεπερασμένο σύνολο, εφοδιασμένο με σημαίνουσα επιχειρηματική διάταξη, χωρίς ερμηνεύσιμη απόσταση μεταξύ διαδοχικών τρόπων. Παραδείγματα: επίπεδο κινδύνου {χαμηλό, μέτριο, υψηλό}, βαθμός ικανοποίησης από 1 έως 5, ογκολογικό στάδιο I έως IV, χρηματοοικονομική αξιολόγηση από AAA έως D.

Το δίλημμα : η αντιμετώπιση του στόχου ως πολυκλασικής ταξινόμησης ισοδυναμεί με καταστροφή της πληροφορίας διάταξης — η σύγχυση «υψηλό» με «χαμηλό» και με «μέτριο» μετρά ως το ίδιο σφάλμα. Η αντιμετώπισή του ως παλινδρόμησης ισοδυναμεί με υπόθεση ισαποστάσεων μεταξύ τρόπων, υπόθεση γενικά ψευδής: η απόκλιση σοβαρότητας μεταξύ των σταδίων I και II δεν ισούται με εκείνη μεταξύ III και IV.

Επιλεγμένη επιλογή : ταξινόμηση, ως χαρακτηρισμός του προβλήματος, διότι το σύνολο άφιξης παραμένει πεπερασμένο. Δύο προσαρμογές συνιστώνται:

ΠροσαρμογήΥλοποίησηΑιτιολόγηση
Μετρική ευαίσθητη στη διάταξηΤετραγωνικά σταθμισμένο κάππα, MAE επί των τάξεωνΤιμωρεί περισσότερο τα απομακρυσμένα σφάλματα στη διάταξη
Αφιερωμένο τακτικό μοντέλοΜοντέλο αναλογικών πιθανοτήτων (McCullagh, 1980), αποσύνθεση σε K−1 σωρευτικούς δυαδικούς ταξινομητέςΑξιοποιεί τη διάταξη χωρίς να υποθέτει ισαποστάσεις

Προσφυγή στην παλινδρόμηση : αποδεκτή όταν ο αριθμός των τρόπων είναι υψηλός (από περίπου δέκα) και η ισαπόσταση υπερασπίσιμη, οπότε η πραγματική πρόβλεψη στρογγυλοποιείται. Αυτή η επιλογή πρέπει να αιτιολογείται ρητά. Η τακτική ταξινόμηση λεπτομερείται στο κεφάλαιο 011.

5.2 Στόχος καταμέτρησης

Φύση : σύνολο των φυσικών ακεραίων, άπειρο αριθμήσιμο, διατεταγμένο, εφοδιασμένο με ερμηνεύσιμη απόσταση. Παραδείγματα: αριθμός ετήσιων ζημιών, αριθμός επισκέψεων, αριθμός ελαττωμάτων ανά παρτίδα.

Επιλεγμένη επιλογή : παλινδρόμηση. Οι τρεις πράξεις του ελέγχου έχουν νόημα· το σύνολο άφιξης δεν είναι πεπερασμένο. Το γεγονός ότι οι τιμές είναι ακέραιες δεν αποτελεί κριτήριο ταξινόμησης.

Σημείο προσοχήςΣυνιστώμενη αντιμετώπιση
Θετικό στήριγμα και ισχυρή ασυμμετρίαΑπώλεια απόκλισης Poisson ή αρνητικής διωνυμικής μάλλον παρά MSE
Υπερδιασπορά (διακύμανση μεγαλύτερη από τον μέσο)Αρνητικό διωνυμικό μοντέλο
Πλεόνασμα μηδενικώνΜοντέλο πληθωρισμού μηδενικών, ή αποσύνθεση σε ταξινομητή «μηδέν ή όχι» ακολουθούμενο από παλινδρομητή επί των μη μηδενικών
Μη ακέραιη πραγματική πρόβλεψηΣτρογγυλοποίηση στην μετεπεξεργασία, ποτέ στη συνάρτηση απώλειας

Συχνό σφάλμα : αντιμετώπιση πρακτικά φραγμένης καταμέτρησης (0, 1, 2, 3 ζημιές) ως ταξινόμησης τεσσάρων κλάσεων. Αυτή η διατύπωση απαγορεύει στο μοντέλο να προβλέψει 4, καταστρέφει τη διάταξη και καθιστά το υπόλοιπο μη ερμηνεύσιμο.

5.3 Διάρκεια με λογοκρισία

Φύση : διάρκεια έως την εμφάνιση ενός γεγονότος, παρατηρημένη ατελώς για μέρος των υποκειμένων — το συμβόλαιο είναι ακόμη ενεργό, ο ασθενής είναι ακόμη εν ζωή, το μηχάνημα δεν έχει ακόμη υποστεί βλάβη στο τέλος της περιόδου παρατήρησης.

ΟΡΙΣΜΟΣ — Δεξιά λογοκρισία (right censoring)

Αυστηρός ορισμός

Κατάσταση στην οποία η διάρκεια ενδιαφέροντος T ενός υποκειμένου δεν παρατηρείται απευθείας, διαθέσιμο ον μόνον το ζεύγος (min(T, C), 1{T ≤ C}), όπου C δηλώνει τη διάρκεια παρακολούθησης. Η διαθέσιμη πληροφορία είναι τότε «το T είναι μεγαλύτερο από το C» και όχι η τιμή του T.

Μετάφραση σε καθημερινή γλώσσα

Γνωρίζουμε ότι το γεγονός δεν είχε ακόμη συμβεί όταν σταματήσαμε να παρατηρούμε, χωρίς να γνωρίζουμε πότε θα συμβεί.

Μεθοδολογική συνέπεια

Ο αποκλεισμός των λογοκριμένων παρατηρήσεων μεροληπτεί την εκτίμηση προς τις βραχείες διάρκειες, διότι τα υποκείμενα μεγάλης διάρκειας ζωής είναι ακριβώς εκείνα που λογοκρίνονται. Η αντικατάσταση της λογοκριμένης διάρκειας από τη διάρκεια παρακολούθησης μεροληπτεί επίσης την εκτίμηση προς τα κάτω. Το κατάλληλο πλαίσιο είναι η ανάλυση επιβίωσης: εκτιμητής Kaplan-Meier (1958), μοντέλο αναλογικών κινδύνων του Cox (1972), δάση επιβίωσης.

Σημείο προσοχής

Η λογοκρισία δεν είναι απόυσα τιμή με την έννοια του κεφαλαίου 018. Μια λογοκριμένη διάρκεια φέρει μερική εκμεταλλεύσιμη πληροφορία, όχι απουσία πληροφορίας.

Επιλεγμένη επιλογή : ούτε ταξινόμηση ούτε παλινδρόμηση με την αυστηρή έννοια όταν η λογοκρισία είναι ουσιαστική. Ο ακόλουθος πίνακας καθορίζει την ακολουθητέα συμπεριφορά.

ΚατάστασηΔιατηρούμενη διατύπωσηΑιτιολόγηση
Πλήρες ιστορικό, όλα τα γεγονότα παρατηρημέναΠαλινδρόμηση επί της διάρκειαςΚαμία λογοκρισία, εφαρμόσιμο τυπικό πλαίσιο
Παρούσα λογοκρισία, απαιτείται εκτίμηση της διάρκειαςΑνάλυση επιβίωσηςΜοναδικό πλαίσιο που αξιοποιεί ορθά τις λογοκριμένες παρατηρήσεις
Παρούσα λογοκρισία, απόφαση σε σταθερό ορίζοντα HΔυαδική ταξινόμηση «γεγονός πριν από H»Έγκυρη υπό τον όρο να κρατηθούν μόνον τα υποκείμενα των οποίων η παρακολούθηση φτάνει το H
Σημαντική λογοκρισία και ετερογενής παρακολούθησηΥποχρεωτική ανάλυση επιβίωσηςΟ περιορισμός του πεδίου θα κατέστρεφε μείζον μέρος του δείγματος

5.4 Πιθανότητα ως στόχος

Φύση : η τιμή προς παραγωγή είναι αριθμός του διαστήματος [0, 1]. Ο χαρακτηρισμός εξαρτάται εξ ολοκλήρου από όσα παρατηρούνται στο δείγμα εκπαίδευσης, όχι από όσα ζητούνται στην έξοδο.

Τι παρατηρείται για κάθε γραμμήΤύπος προβλήματοςΜοντελοποίηση
Δυαδικό αποτέλεσμα, 0 ή 1Δυαδική ταξινόμησηΠιθανοτικός ταξινομητής, έξοδος predict_proba, απώλεια log loss (κεφάλαιο 061), επαληθευμένη βαθμονόμηση
Μετρημένη αναλογία, π.χ. ρυθμός μετατροπής ανά κατάστημαΠαλινδρόμηση στο [0, 1]Παλινδρόμηση βήτα, ή παλινδρόμηση επί του μετασχηματισμού logit, ή απώλεια προσαρμοσμένη στο φραγμένο στήριγμα

Κεντρικό σημείο : το να ζητείται πιθανότητα στην έξοδο δεν καθιστά ένα πρόβλημα παλινδρόμηση. Ένα μοντέλο ανίχνευσης απάτης που επιστρέφει p = 0,83 παραμένει μοντέλο ταξινόμησης: ο παρατηρημένος στόχος στην εκπαίδευση ισούται με 0 ή 1. Η συνεχής έξοδος είναι εκτίμηση του P(Y = 1 | X = x), όχι αριθμητικός στόχος εκμαθημένος ως τέτοιος.

Σημείο προσοχής : μια βαθμολογία πιθανότητας παραγόμενη από ταξινομητή δεν είναι αναγκαστικά βαθμονομημένη. Βαθμολογία 0,83 δεν σημαίνει ότι το 83 % των περιπτώσεων που λαμβάνουν αυτή τη βαθμολογία είναι θετικές, εκτός ρητής επαλήθευσης (κεφάλαιο 061).

5.5 Αριθμητικός στόχος εκούσια διακριτοποιημένος

Φύση : ο διαθέσιμος στόχος είναι αριθμητικός — ποσό, ηλικία, ποσοστό — και ο οργανισμός ζητεί έξοδο σε κλάσεις ορισμένες από κατώφλια: «πελάτης χαμηλού, μέτριου ή υψηλού δυναμικού», «αποδεκτός ή μη αποδεκτός κίνδυνος».

Επιλεγμένη επιλογή : παλινδρόμηση επί του αριθμητικού στόχου, κατόπιν εφαρμογή του κατωφλίου στην πρόβλεψη. Η προκαταρκτική διακριτοποίηση του στόχου καταστρέφει πληροφορία και υποβαθμίζει τη στατιστική ισχύ· αυτή η πρακτική τεκμηριώνεται στη μεθοδολογική βιβλιογραφία ως καταχρηστική διχοτόμηση (Royston, Altman και Sauerbrei, 2006).

ΚριτήριοΔιακριτοποίηση του στόχου πριν από την εκπαίδευσηΠαλινδρόμηση και κατόπιν κατώφλι
Διατηρημένη πληροφορίαΑπώλεια της ενδοκλασικής μεταβολήςΠλήρης διατήρηση
Φαινόμενο κατωφλίουΔύο τιμές χωρισμένες από 1 € γίνονται δύο διαφορετικές κλάσειςΚανένα: συνεχής αντιμετώπιση
Αλλαγή επιχειρηματικού κατωφλίουΠλήρης επαναεπισημείωση και επανεκπαίδευσηΤροποποίηση μιας σταθεράς, χωρίς επανεκπαίδευση
Πολλαπλά ταυτόχρονα κατώφλιαΈνα μοντέλο ανά διαμέρισηΈνα μοναδικό μοντέλο
Αναγνωσιμότητα για το επιχειρηματικό πεδίοΆμεσηΑπαιτεί στρώμα απόδοσης

Αποδεκτή εξαίρεση : όταν ο υποκείμενος αριθμητικός στόχος δεν είναι παρατηρήσιμος και μόνον η κλάση καταγράφεται στο σύστημα πηγής — δηλωτική κλίμακα εισοδήματος, επίπεδο κινδύνου αποδοθέν από εμπειρογνώμονα. Το διαθέσιμο δεδομένο είναι τότε εγγενώς κατηγορικό και το πρόβλημα είναι ταξινόμηση, χωρίς δυνατή αναδιατύπωση.

5.6 Συνοπτικός πίνακας των αμφίσημων περιπτώσεων

ΠερίπτωσηΔομή του στόχουΕπιλεγμένη επιλογήΚαθοριστικό κίνητρο
ΤακτικόςΠεπερασμένος, διατεταγμένος, μη μετρικόςΤαξινόμηση, με μετρική και μοντέλο ευαίσθητα στη διάταξηΤο σύνολο άφιξης παραμένει πεπερασμένο
ΚαταμέτρησηΑκέραιοι, άπειρο, μετρικόΠαλινδρόμηση, απώλεια PoissonΟι τρεις πράξεις έχουν νόημα
Λογοκριμένη διάρκειαℝ⁺ μερικώς παρατηρημένοΑνάλυση επιβίωσης, ή ταξινόμηση σε σταθερό ορίζονταΗ λογοκρισία ακυρώνει την αφελές παλινδρόμηση
Πιθανότητα[0, 1]Ταξινόμηση αν η παρατηρημένη ετικέτα είναι δυαδική, παλινδρόμηση αν μετράται αναλογίαΟ χαρακτηρισμός εξαρτάται από τον παρατηρημένο στόχο
Διακριτοποιημένος αριθμητικόςℝ ανακωδικοποιημένο σε κλάσειςΠαλινδρόμηση κατόπιν κατώφλι, εκτός εγγενώς κατηγορικού στόχουΗ διακριτοποίηση καταστρέφει πληροφορία

6. Συνέπειες της επιλογής σε ολόκληρη την αλυσίδα

Ο χαρακτηρισμός παρεμβαίνει στο βήμα 3 του κύκλου ζωής (κεφάλαιο 012). Όλα τα μεταγενέστερα βήματα εξαρτώνται από αυτόν.

6.1 Πλήρης συγκριτικός πίνακας

ΔιάστασηΤαξινόμησηΠαλινδρόμηση
Σύνολο άφιξης{c₁, …, cKc_K}, πεπερασμένο, μη διατεταγμένοΥποσύνολο του ℝ, διατεταγμένο και μετρικό
Εκμαθημένο αντικείμενοΔιαμέριση του χώρου εισόδου, σύνορο απόφασηςΕπιφάνεια απόκρισης ορισμένη σε ολόκληρο τον χώρο εισόδου
Εκτιμώμενη ποσότηταP(Y = c δεδομένου X = x), δεσμευμένη πιθανότητα κάθε κλάσηςE[Y δεδομένου X = x], δεσμευμένη προσδοκία, ή δεσμευμένο ποσοστημόριο
Ακατέργαστη έξοδος του μοντέλουΔιάνυσμα K βαθμολογιώνΈνας πραγματικός
Παραδιδόμενη έξοδοςΜια κλάση, μετά εφαρμογή κατωφλίου ή argmaxΗ τιμή, ενδεχομένως περιβαλλόμενη από διάστημα
Έννοια σφάλματοςΔυαδική διαφωνία, καταμετρημένηΠροσημασμένο υπόλοιπο, βαθμονομημένο
Συνήθεις συναρτήσεις απώλειαςΔιασταυρούμενη εντροπία, log loss, hinge, focal loss· κριτήρια διαίρεσης Gini και εντροπίαMSE, MAE, Huber, ποσοστημοριακό pinball, απόκλιση Poisson, RMSLE
Μετρικές αξιολόγησηςΟρθότητα, ακρίβεια, ανάκληση, ειδικότητα, F1, F-βήτα, ισορροπημένη ορθότητα, log loss, ROC-AUC, PR-AUCMAE, MSE, RMSE, R², προσαρμοσμένο R², MAPE, sMAPE, MedAE, RMSLE
Αντιπροσωπευτικοί αλγόριθμοιΛογιστική παλινδρόμηση, δέντρο, τυχαίο δάσος, ενίσχυση, SVC, k-NN, Naive Bayes, MLPΓραμμική παλινδρόμηση, Ridge, Lasso, ElasticNet, δέντρο, τυχαίο δάσος, ενίσχυση, SVR, k-NN, MLP
Επίθημα scikit-learn…Classifier…Regressor
Γραμμή βάσης αναφοράςΣυστηματική πρόβλεψη της πλειοψηφικής κλάσηςΣυστηματική πρόβλεψη του μέσου ή της διαμέσου
Διαχωρισμός των δεδομένωνΣυνιστώμενη στρωματοποίηση επί του στόχου (κεφάλαιο 027)Τυχαίος διαχωρισμός, στρωματοποίηση ανά ζώνες αν ο στόχος είναι πολύ ασύμμετρος
Παθολογία κατανομήςΑνισορροπία κλάσεων (κεφάλαια 050 και 051)Ασυμμετρία, ακραίες τιμές, ετεροσκεδαστικότητα
Ρύθμιση μετά την εκπαίδευσηΚατώφλι απόφασης (κεφάλαιο 062)Κανένα άμεσο ισοδύναμο· ενδεχόμενη επαναβαθμονόμηση της κλίμακας
Διάγνωση σφάλματοςΠίνακας σύγχυσης, ανάλυση FP/FNΓράφημα υπολοίπων, υπόλοιπα έναντι προβλεπόμενων τιμών
Φύση της επιχειρηματικής διαιτησίαςΠοιο σφάλμα κοστίζει περισσότερο, ψευδώς θετικό ή ψευδώς αρνητικόΠοιο σφάλμα κοστίζει περισσότερο, υπερεκτίμηση ή υποεκτίμηση
Επιτήρηση στην παραγωγήΑπόκλιση της κατανομής των προβλεπόμενων κλάσεωνΑπόκλιση της κατανομής και του μέσου των προβλέψεων

6.2 Δύο δομικά σημεία

Η συνάρτηση απώλειας δεν είναι η μετρική. Η απώλεια βελτιστοποιείται κατά την εκπαίδευση και πρέπει να είναι παραγωγίσιμη για τους αλγορίθμους κλίσης· η μετρική αξιολογεί το μοντέλο και απαντά σε επιχειρηματική ερώτηση. Ένας ταξινομητής βελτιστοποιεί τη log loss και κρίνεται στην ανάκληση· ένας παλινδρομητής βελτιστοποιεί το MSE και κρίνεται στο MAE. Αυτή η διάκριση αναπτύσσεται στο κεφάλαιο 030.

Το κατώφλι απόφασης υπάρχει μόνον στη δυαδική ταξινόμηση. Αποτελεί ισχυρό μοχλό μετά την εκπαίδευση: με αμετάβλητο μοντέλο, η μεταβολή του κατωφλίου μετατοπίζει την ισορροπία μεταξύ ψευδώς θετικών και ψευδώς αρνητικών. Η παλινδρόμηση δεν προσφέρει κανέναν ισοδύναμο μοχλό επί του ίδιου του μοντέλου· το κατώφλι που ενδεχομένως εφαρμόζεται στην έξοδό της ανήκει στον κατάντη κανόνα απόφασης, όχι στο μοντέλο.


7. Η αναδιατύπωση: μία επιχειρηματική ανάγκη, δύο δυνατά πλαίσια

7.1 Η αρχή

Μια επιχειρηματική ανάγκη δεν είναι πρόβλημα μάθησης. Γίνεται πρόβλημα μάθησης τη στιγμή που επιλέγεται μια μεταβλητή στόχος. Όταν πολλοί στόχοι είναι διαθέσιμοι για την ίδια ανάγκη, συνυπάρχουν πολλές διατυπώσεις, ενδεχομένως σε διαφορετικά πλαίσια.

Η περίπτωση αναφοράς: η προβλεπτική συντήρηση. Ένας εκμεταλλευτής επιτηρεί έναν στόλο βιομηχανικών αντλιών με όργανα. Η ανάγκη είναι μοναδική: παρέμβαση πριν από την αστοχία χωρίς πολλαπλασιασμό άχρηστων ακινητοποιήσεων. Δύο στόχοι είναι κατασκευάσιμοι από το ίδιο ιστορικό και τους ίδιους αισθητήρες.

ΟΡΙΣΜΟΣ — Υπολειπόμενη διάρκεια ζωής (Remaining Useful Life, RUL)

Αυστηρός ορισμός

Διάρκεια που χωρίζει τη στιγμή παρατήρησης από τη στιγμή αστοχίας ενός εξοπिपμού, δεσμευτικά στην διαπιστωμένη κατάστασή του και στο ιστορικό εκμετάλλευσής του. Αποτελεί τον στόχο αναφοράς των προγνωστικών προσεγγίσεων στη συντήρηση βάσει κατάστασης.

Μετάφραση σε καθημερινή γλώσσα

Ο αριθμός ημερών που απομένουν στο μηχάνημα πριν από τη βλάβη, εκτιμώμενος από την τρέχουσα κατάστασή του.

Σημείο προσοχής

Η επισημείωση μιας υπολειπόμενης διάρκειας ζωής απαιτεί πλήρεις κύκλους ζωής: η τιμή είναι γνωστή μόνον για τους εξοπλισμούς που όντως έφτασαν στην αστοχία. Οι εξοπλισμοί ακόμη σε υπηρεσία στο τέλος της περιόδου παρατήρησης είναι λογοκριμένοι με την έννοια της ενότητας 5.3. Ένα σύνολο δεδομένων συντήρησης περιλαμβάνει σχεδόν συστηματικά λογοκρισία, πράγμα που αποτελεί το πρώτο πρακτικό εμπόδιο στη διατύπωση ως παλινδρόμηση.

7.2 Συγκριτική κοστολόγηση των δύο διατυπώσεων

Το ακόλουθο πρωτόκολλο κατασκευάζει σύνολο δεδομένων υποβάθμισης, παράγει τους δύο στόχους από τις ίδιες ερμηνευτικές μεταβλητές, εκπαιδεύει τα δύο μοντέλα, και ρυθμίζει για καθένα το δικό του κατώφλι απόφασης σε διαμέριση επικύρωσης, ως προς ρητή συνάρτηση κόστους: 800 € για προληπτική παρέμβαση, 12 000 € για υποστείσα αστοχία.

python
import numpy as np
from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import precision_score, recall_score, mean_absolute_error

rng = np.random.default_rng(42)
n = 6000

# Parc de pompes industrielles : les MEMES variables explicatives
heures    = rng.uniform(0, 20000, n)                            # heures cumulées
vibration = 1.2 + 0.00018 * heures + rng.normal(0, 0.35, n)     # mm/s RMS
temp      = 55 + 0.0011 * heures + rng.normal(0, 3.0, n)        # °C au palier
delta_p   = 2.6 - 0.00007 * heures + rng.normal(0, 0.20, n)     # bar
nb_maint  = rng.poisson(0.5 + heures / 9000)                    # interventions passées

usure = 0.55 * vibration + 0.035 * temp - 0.9 * delta_p + 0.00004 * heures
rul = 300 * np.exp(-0.5 * usure) * np.exp(rng.normal(0, 0.22, n))   # jours restants

X = np.column_stack([heures, vibration, temp, delta_p, nb_maint])
y_reg = rul                        # cible continue -> RÉGRESSION
y_clf = (rul <= 30).astype(int)    # cible binaire  -> CLASSIFICATION

Xtr, Xte, yr_tr, yr_te, yc_tr, yc_te = train_test_split(
    X, y_reg, y_clf, test_size=0.3, random_state=0, stratify=y_clf)
Xtr, Xva, yr_tr, yr_va, yc_tr, yc_va = train_test_split(
    Xtr, yr_tr, yc_tr, test_size=0.25, random_state=0, stratify=yc_tr)

C_PREV, C_PANNE = 800, 12000       # euros : intervention préventive / défaillance subie

def cout(y_vrai, pred):
    return int(pred.sum()) * C_PREV + int(((y_vrai == 1) & (pred == 0)).sum()) * C_PANNE

clf = RandomForestClassifier(n_estimators=300, min_samples_leaf=5, random_state=0).fit(Xtr, yc_tr)
reg = RandomForestRegressor(n_estimators=300, min_samples_leaf=5, random_state=0).fit(Xtr, yr_tr)

p_va, p_te = clf.predict_proba(Xva)[:, 1], clf.predict_proba(Xte)[:, 1]
r_va, r_te = reg.predict(Xva), reg.predict(Xte)

# Chaque formulation reçoit son seuil de décision, calé sur le coût, en validation
seuil_a = min(np.arange(0.02, 0.61, 0.01), key=lambda s: cout(yc_va, (p_va >= s).astype(int)))
seuil_b = min(np.arange(10, 121, 1),       key=lambda t: cout(yc_va, (r_va <= t).astype(int)))

print(f"Seuils calés sur la validation : A p >= {seuil_a:.2f}   B RUL_pred <= {seuil_b} jours")
print(f"MAE de B sur la durée de vie résiduelle : {mean_absolute_error(yr_te, r_te):.1f} jours")
print(f"Coût de référence, aucune alerte : {int(yc_te.sum()) * C_PANNE} EUR\n")

for nom, pred in [("A - classification binaire     ", (p_te >= seuil_a).astype(int)),
                  ("B - régression sur la durée vie", (r_te <= seuil_b).astype(int))]:
    print(f"{nom} precision={precision_score(yc_te, pred, zero_division=0):.3f}  "
          f"rappel={recall_score(yc_te, pred):.3f}  alertes={int(pred.sum()):3d}  "
          f"manquées={int(((yc_te == 1) & (pred == 0)).sum()):2d}  coût={cout(yc_te, pred):6d} EUR")

print("\nB - horizon d'intervention modifié sans réentraînement :")
for h in (60, 90):
    cible_h, pred_h = (yr_te <= h).astype(int), (r_te <= h).astype(int)
    print(f"   horizon {h:2d} j : precision={precision_score(cible_h, pred_h):.3f}  "
          f"rappel={recall_score(cible_h, pred_h):.3f}  alertes={int(pred_h.sum()):3d}")

Έξοδος

Seuils calés sur la validation : A p >= 0.05   B RUL_pred <= 40 jours
MAE de B sur la durée de vie résiduelle : 18.5 jours
Coût de référence, aucune alerte : 2076000 EUR

A - classification binaire      precision=0.431  rappel=0.954  alertes=383  manquées= 8  coût=402400 EUR
B - régression sur la durée vie precision=0.486  rappel=0.913  alertes=325  manquées=15  coût=440000 EUR

B - horizon d'intervention modifié sans réentraînement :
   horizon 60 j : precision=0.900  rappel=0.888  alertes=668
   horizon 90 j : precision=0.932  rappel=0.927  alertes=979

Ερμηνεία

ΠαρατήρησηΑνάγνωση
Οι δύο διατυπώσεις μειώνουν το κόστος από 2 076 000 € σε περίπου 0,4 M€Η ανάγκη είναι αντιμετωπίσιμη και στα δύο πλαίσια· ο χαρακτηρισμός δεν κρίνεται στην εφικτότητα
Η A λαμβάνει 402 400 € έναντι 440 000 € για τη B στον ορίζοντα των 30 ημερώνΗ ταξινόμηση βελτιστοποιεί απευθείας τον διαχωρισμό στον θεωρούμενο ορίζοντα· η παλινδρόμηση βελτιστοποιεί το σφάλμα σε ολόκληρη την κλίμακα των διαρκειών, συμπεριλαμβανομένων σημείων όπου καμία απόφαση δεν παίζεται
Η B εμφανίζει ελαφρώς ανώτερη ακρίβεια και 58 λιγότερες ειδοποιήσεις, για 7 περισσότερες χαμένες αστοχίεςΟι δύο διατυπώσεις δεν καταλαμβάνουν το ίδιο σημείο του συμβιβασμού ακρίβειας-ανάκλησης· η σύγκριση έχει νόημα μόνον με καθορισμένη συνάρτηση κόστους
Το βέλτιστο κατώφλι της B είναι 40 ημέρες, όχι 30Η έξοδος ενός παλινδρομητή δεν χρησιμοποιείται με το ακατέργαστο επιχειρηματικό κατώφλι: είναι παλινδρομημένη προς τον μέσο και πρέπει να επαναρυθμιστεί εμπειρικά
Η B αντιμετωπίζει τους ορίζοντες 60 και 90 ημερών με το ίδιο εκπαιδευμένο μοντέλοΗ αλλαγή ορίζοντα στη διατύπωση A επιβάλλει πλήρη επαναεπισημείωση και επανεκπαίδευση
Το MAE της B είναι 18,5 ημέρεςΈνα μέσο σφάλμα 18,5 ημερών καθιστά τη διατύπωση B μη εκμεταλλεύσιμη για ορίζοντα 7 ή 14 ημερών, πληροφορία που η μόνη μετρική ταξινόμησης δεν αποκαλύπτει

7.3 Κριτήρια διαιτησίας μεταξύ των δύο διατυπώσεων

ΚριτήριοΚατευθύνει προς την ταξινόμησηΚατευθύνει προς την παλινδρόμηση
Ορίζοντας απόφασηςΜοναδικός, σταθερός, σταθερός στον χρόνοΠολλαπλός, μεταβλητός, ή διαπραγματευόμενος κατά περίπτωση
Διαθεσιμότητα των ετικετώνΚαταγράφεται μόνον η εμφάνιση του γεγονότοςΤεκμηριώνονται οι πλήρεις κύκλοι ζωής
Λογοκρισία στο ιστορικόΣημαντική: η ταξινόμηση σε σταθερό ορίζοντα είναι πιο εύρωστηΑσθενής ή αντιμετωπίσιμη με ανάλυση επιβίωσης
Όγκος γεγονότωνΧαμηλός: συγκέντρωση της ικανότητας του μοντέλου στο σύνοροΥψηλός: ο πλούτος του συνεχούς στόχου είναι εκμεταλλεύσιμος
Φύση της κατάντη απόφασηςΔυαδική, άμεση, χωρίς προτεραιοποίησηΤαξινόμηση, προγραμματισμός, κατανομή πόρων
Ανάγκη ιεράρχησης των περιπτώσεωνΙκανοποιείται από τη βαθμολογία πιθανότηταςΙκανοποιείται από την προβλεπόμενη τιμή, απευθείας ερμηνεύσιμη
Επικοινωνία προς το επιχειρηματικό πεδίο«83 % κίνδυνος εντός 30 ημερών»«περίπου 45 ημέρες απομένουν»
Ευαισθησία στην αλλαγή πολιτικήςΧαμηλή: κάθε αλλαγή κατωφλίου επιβάλλει επανεκπαίδευσηΙσχυρή: μια αλλαγή ορίζοντα είναι σταθερά προς τροποποίηση
Έλεγχος του συμβιβασμού σφαλμάτωνΆμεσος, μέσω του κατωφλίου απόφασηςΈμμεσος, μέσω του κατωφλίου εφαρμοζόμενου στην έξοδο

Κανόνας συμπεριφοράς : όταν οι δύο διατυπώσεις είναι πραγματοποιήσιμες, να τις κατασκευάσετε και τις δύο, να τις αξιολογήσετε στην ίδια επιχειρηματική συνάρτηση κόστους και στο ίδιο σύνολο ελέγχου, κατόπιν να αποφασίσετε επί αυτού του αποτελέσματος. Η σύγκριση ετερογενών μετρικών — ένα MAE έναντι ενός F1 — δεν αποτελεί διαιτησία.

ΑΝΑΛΟΓΙΑ — Το φανάρι και η αντίστροφη μέτρηση

Μια διασταύρωση μπορεί να σηματοδοτηθεί με δύο τρόπους. Το τρίχρωμο φανάρι παρέχει κατηγορία: κόκκινο, πορτοκαλί, πράσινο. Η αντίστροφη μέτρηση εμφανίζει αριθμό δευτερολέπτων που απομένουν.

Το φανάρι αρκεί για να αποφασιστεί αν πρέπει να σταματήσουμε: η απόφαση είναι δυαδική και ο ορίζοντάς της άμεσος. Η αντίστροφη μέτρηση επιτρέπει επιπλέον την πρόβλεψη, τη διαμόρφωση της ταχύτητας και τον συντονισμό πολλών οχημάτων· απαιτεί όμως πλουσιότερη και δυσκολότερη στην παραγωγή πληροφορία.

Η επιλογή μεταξύ των δύο συσκευών δεν οφείλεται στη διασταύρωση, αλλά σε όσα θέλουμε να μπορούμε να αποφασίσουμε και στην ακρίβεια που είναι πραγματικά εφικτή.


8. Συχνά σφάλματα συλλογισμού

ΣΦΑΛΜΑ — Χαρακτηρισμός του προβλήματος από το επιχειρηματικό πεδίο

Οι δηλώσεις «η ιατρική είναι ταξινόμηση» ή «τα χρηματοοικονομικά είναι παλινδρόμηση» δεν έχουν κανένα θεμέλιο. Η ίδια νοσοκομειακή υπηρεσία παράγει προβλήματα ταξινόμησης (διάγνωση) και παλινδρόμησης (διάρκεια νοσηλείας, δοσολογία, βιολογικό ποσοστό).

Σωστή διατύπωση : «Ο τύπος του προβλήματος καθορίζεται από τη δομή του συνόλου των τιμών που μπορεί να λάβει η μεταβλητή στόχος, ανεξάρτητα από το πεδίο εφαρμογής.»

ΣΦΑΛΜΑ — Χαρακτηρισμός του προβλήματος από τον προβλεπόμενο αλγόριθμο

Οι μείζονες αλγοριθμικές οικογένειες — δέντρα, δάση, ενίσχυση, k-NN, SVM, νευρωνικά δίκτυα — υπάρχουν και στις δύο παραλλαγές. Η επιλογή του αλγορίθμου παρεμβαίνει μετά τον χαρακτηρισμό και επομένως δεν μπορεί να τον καθορίσει.

Σωστή διατύπωση : «Ο στόχος χαρακτηρίζει το πρόβλημα· το πρόβλημα περιορίζει το σύνολο των αποδεκτών αλγορίθμων· ο αλγόριθμος επιλέγεται εντός αυτού του συνόλου.»

ΣΦΑΛΜΑ — Σύγχυση λογιστικής παλινδρόμησης και παλινδρόμησης

Η λογιστική παλινδρόμηση είναι μοντέλο ταξινόμησης. Ο όρος «παλινδρόμηση» δηλώνει εκεί τη γραμμική παλινδρόμηση που επιτελείται επί του logit της πιθανότητας, όχι τη φύση του στόχου, που είναι κατηγορική. Το κεφάλαιο 036 λεπτομερεί αυτό το σημείο.

Σωστή διατύπωση : «Η λογιστική παλινδρόμηση μοντελοποιεί γραμμικά τον λογάριθμο των πιθανοτήτων ενός δυαδικού στόχου· ανήκει στην ταξινόμηση.»

ΣΦΑΛΜΑ — Εξαγωγή του τύπου προβλήματος από τον τύπο αποθήκευσης του στόχου

Ένας ταχυδρομικός κωδικός, ένα αναγνωριστικό σειράς προϊόντος ή ένας κωδικός νομού αποθηκεύονται ως ακέραιοι χωρίς να αποτελούν ποσότητες. Αντιστρόφως, ένας αριθμός ζημιών αποθηκευμένος ως ακέραιος αποτελεί ποσότητα. Η επιθεώρηση του dtype δεν υποκαθιστά τη σημασιολογική ανάλυση.

Σωστή διατύπωση : «Ο πληροφορικός τύπος της στήλης είναι ιδιότητα της μορφής αποθήκευσης· η δομή του συνόλου άφιξης είναι ιδιότητα του πεδίου.»

ΣΦΑΛΜΑ — Αντιμετώπιση προβλήματος παλινδρόμησης ως ταξινόμησης από άνεση

Η διαίρεση ενός αριθμητικού στόχου σε ζώνες πριν από την εκπαίδευση μειώνει τη στατιστική ισχύ, εισάγει αυθαίρετα φαινόμενα κατωφλίου και καθιστά το μοντέλο άχρηστο μόλις εξελιχθούν τα επιχειρηματικά κατώφλια. Η αναγνωσιμότητα για τις επιχειρηματικές ομάδες επιτυγχάνεται με διακριτοποίηση της πρόβλεψης, όχι του στόχου.

Σωστή διατύπωση : «Το μοντέλο μαθαίνεται επί του αριθμητικού στόχου· η τοποθέτηση σε κλάσεις εφαρμόζεται στην έξοδο, στο στρώμα απόδοσης.»

ΣΦΑΛΜΑ — Συμπέρασμα ότι ένα μοντέλο που παράγει πιθανότητες κάνει παλινδρόμηση

Ένας δυαδικός ταξινομητής παράγει συνεχή βαθμολογία στο [0, 1]. Αυτή η συνεχής έξοδος είναι εκτίμηση της δεσμευμένης πιθανότητας ένταξης στη θετική κλάση. Το σύνολο άφιξης του προβλήματος παραμένει πεπερασμένο.

Σωστή διατύπωση : «Ο χαρακτηρισμός αφορά τον παρατηρημένο στόχο στην εκπαίδευση, όχι τη μορφή της ενδιάμεσης εξόδου του μοντέλου.»

ΣΦΑΛΜΑ — Εφαρμογή παλινδρόμησης σε διάρκεια χωρίς αντιμετώπιση της λογοκρισίας

Ο περιορισμός του δείγματος στους εξοπλισμούς που όντως υπέστησαν βλάβη, ή η αντικατάσταση των λογοκριμένων διαρκειών από τη διάρκεια παρακολούθησης, μεροληπτεί συστηματικά την εκτίμηση προς υπερβολικά βραχείες διάρκειες.

Σωστή διατύπωση : «Παρουσία δεξιάς λογοκρισίας, το κατάλληλο πλαίσιο είναι η ανάλυση επιβίωσης· η ταξινόμηση σε σταθερό ορίζοντα αποτελεί έγκυρη εναλλακτική αν η παρακολούθηση κάθε υποκειμένου καλύπτει τον επιλεγμένο ορίζοντα.»

ΣΦΑΛΜΑ — Σύγκριση δύο ανταγωνιστικών διατυπώσεων επί ετερογενών μετρικών

Ένα MAE 18,5 ημερών και ένα F1 0,60 δεν είναι συγκρίσιμα. Η διαιτησία μεταξύ μιας διατύπωσης ταξινόμησης και μιας διατύπωσης παλινδρόμησης απαιτεί να αναχθούν και οι δύο σε απόφαση και να αξιολογηθούν στην ίδια συνάρτηση κόστους, στο ίδιο σύνολο ελέγχου.

Σωστή διατύπωση : «Δύο διατυπώσεις της ίδιας ανάγκης συγκρίνονται επί της απόφασης που παράγουν και επί του κόστους της, ποτέ επί των αντίστοιχων εγγενών μετρικών τους.»


9. Σύνθεση

ΜΟΝΑΔΙΚΟ ΚΡΙΤΗΡΙΟ ΧΑΡΑΚΤΗΡΙΣΜΟΥ
    Η δομή του συνόλου άφιξης της μεταβλητής στόχου.
    Ούτε το πεδίο, ούτε ο αλγόριθμος, ούτε ο τύπος των μεταβλητών εισόδου,
    ούτε η μορφή αποθήκευσης.

ΤΑΞΙΝΟΜΗΣΗ
    f : X -> {c1, ..., cK}, σύνολο ΠΕΠΕΡΑΣΜΕΝΟ και ΜΗ ΔΙΑΤΕΤΑΓΜΕΝΟ.
    Μόνον η ισότητα ορίζεται. Το σφάλμα καταμετράται.

ΠΑΛΙΝΔΡΟΜΗΣΗ
    f : X -> διάστημα του R, σύνολο ΔΙΑΤΕΤΑΓΜΕΝΟ και ΜΕΤΡΙΚΟ.
    Η απόκλιση y - y_pred έχει νόημα. Το σφάλμα μετράται.

Ο ΕΛΕΓΧΟΣ ΤΩΝ ΤΡΙΩΝ ΠΡΑΞΕΩΝ
    Ισότητα μόνον            -> ταξινόμηση
    Ισότητα + διάταξη        -> τακτική περίπτωση, αντιμετωπίζεται ως ταξινόμηση
    Ισότητα + διάταξη + απόκλιση  -> παλινδρόμηση

ΟΙ ΠΕΝΤΕ ΑΜΦΙΣΗΜΕΣ ΠΕΡΙΠΤΩΣΕΙΣ
    Τακτικός             -> ταξινόμηση, μετρική ευαίσθητη στη διάταξη
    Καταμέτρηση          -> παλινδρόμηση, απώλεια Poisson
    Λογοκριμένη διάρκεια -> ανάλυση επιβίωσης, ή ταξινόμηση σε σταθερό ορίζοντα
    Πιθανότητα           -> σύμφωνα με την ΠΑΡΑΤΗΡΗΜΕΝΗ ετικέτα: δυαδική ή αναλογία
    Διακριτοποιημένος αριθμητικός -> παλινδρόμηση, κατόπιν κατώφλι στην πρόβλεψη

ΤΙ ΚΑΘΟΡΙΖΕΙ ΚΑΤΟΠΙΝ Η ΕΠΙΛΟΓΗ
    Αποδεκτοί αλγόριθμοι, συνάρτηση απώλειας, μετρικές αξιολόγησης,
    μορφή της εξόδου, γραμμή βάσης, στρωματοποίηση, διάγνωση σφάλματος,
    μοχλός ρύθμισης μετά την εκπαίδευση, δείκτες επιτήρησης.

ΑΝΑΔΙΑΤΥΠΩΣΗ
    Μια επιχειρηματική ανάγκη μπορεί να διατυπωθεί και στα δύο πλαίσια.
    Οι δύο διατυπώσεις συγκρίνονται στην ΙΔΙΑ συνάρτηση κόστους
    και στο ΙΔΙΟ σύνολο ελέγχου, ποτέ επί των εγγενών μετρικών τους.

Δήλωση σύνθεσης

Ένα πρόβλημα επιβλεπόμενης μάθησης είναι ταξινόμηση όταν ο στόχος του λαμβάνει τις τιμές του σε πεπερασμένο μη διατεταγμένο σύνολο, και παλινδρόμηση όταν ο στόχος του λαμβάνει τις τιμές του σε αριθμητική κλίμακα όπου η απόκλιση μεταξύ δύο τιμών είναι ερμηνεύσιμη· αυτός ο χαρακτηρισμός εξαρτάται αποκλειστικά από τη φύση της επιλεγμένης μεταβλητής στόχου, και καθορίζει κατόπιν ολόκληρη την αλυσίδα μοντελοποίησης, από τους αποδεκτούς αλγορίθμους έως τους δείκτες επιτήρησης στην παραγωγή.


Σχετικά κουίζ

  • 010.1-quiz-critere-de-qualification.md
  • 010.2-quiz-classification.md
  • 010.3-quiz-regression.md
  • 010.4-quiz-arbre-de-decision.md
  • 010.5-quiz-cas-ambigus.md
  • 010.6-quiz-consequences-du-choix.md
  • 010.7-quiz-reformulation.md

Επόμενο κεφάλαιο : 011-types-de-classification.md