- Bloque 15 — Todas las métricas de clasificación
- Objetivo
- separar rigurosamente el modelo, que produce un score, de la
regla de decisión, que aplica un umbral; establecer por qué 0,50 no es más que
un valor por defecto y en qué condiciones es óptimo; derivar el umbral de coste
mínimo en el sentido de Bayes y calcularlo sobre un caso con cifras; dominar
las cinco grandes familias de criterios de selección del umbral y su puesta en
práctica; imponer la disciplina de selección sobre validación y medir el
optimismo de una selección sobre el test; extender el razonamiento a los
umbrales múltiples, a la abstención y al multiclase; y vigilar la deriva del
umbral óptimo cuando la prevalencia cambia.
- Duración estimada
- 65 minutos
- Prerrequisitos
- capítulos 026 (train/validación/test), 028 (fuga de datos),
029 (
predict y predict_proba), 030 (error, pérdida, métrica),
034 (validación cruzada), 050 y 051 (desequilibrio), 052 (matriz de
confusión), 054 (precisión), 055 (exhaustividad), 059 (F-beta), 061 (log loss) - Quizzes asociados
062.1-quiz-modele-vs-regle-decision.md a
062.8-quiz-stabilite-operationnelle.md