- Bloc 15 — Toutes les métriques de classification
- Objectif
- séparer rigoureusement le modèle, qui produit un score, de la
règle de décision, qui applique un seuil ; établir pourquoi 0,50 n'est qu'une
valeur par défaut et à quelles conditions elle est optimale ; dériver le seuil
de coût minimal au sens de Bayes et le calculer sur un cas chiffré ; maîtriser
les cinq grandes familles de critères de sélection du seuil et leur mise en
œuvre ; imposer la discipline de sélection sur validation et mesurer
l'optimisme d'une sélection sur le test ; étendre le raisonnement aux seuils
multiples, à l'abstention et au multiclasse ; et surveiller la dérive du seuil
optimal quand la prévalence change.
- Durée estimée
- 65 minutes
- Prérequis
- chapitres 026 (train/validation/test), 028 (fuite de données),
029 (
predict et predict_proba), 030 (erreur, perte, métrique),
034 (validation croisée), 050 et 051 (déséquilibre), 052 (matrice de
confusion), 054 (précision), 055 (rappel), 059 (F-bêta), 061 (log loss) - Quiz associés
062.1-quiz-modele-vs-regle-decision.md à
062.8-quiz-stabilite-operationnelle.md