Evaluación, calibración e interpretabilidad

Objetivo: evaluar el sistema esperado, no solo una puntuación media.

Tres niveles de evaluación

1. Pérdida: señal optimizada durante el aprendizaje.
2. Métricas ML: precisión, recall, F1, ROC-AUC, MAE, etc.
3. Métricas de sistema/negocio: costo del error, latencia, tasa de abstención, impacto.

La elección depende del costo de los falsos positivos y falsos negativos. Con una clase rara, la accuracy puede ser casi perfecta para un modelo inútil.

Calibración

Un modelo está calibrado si, entre las predicciones anunciadas al 80 %, aproximadamente el 80 % son correctas. La confianza softmax no es automáticamente una probabilidad fiable. El diagrama de fiabilidad, el Brier score y la calibración por temperatura pueden ayudar.