Avaliação, calibração e explicabilidade

Objetivo: avaliar o sistema esperado, não apenas um score médio.

Três níveis de avaliação

1. Perda: sinal otimizado durante o aprendizado.
2. Métricas de ML: precisão, recall, F1, ROC-AUC, MAE etc.
3. Métricas de sistema/negócio: custo do erro, latência, taxa de abstenção, impacto.

A escolha depende do custo dos falsos positivos e falsos negativos. Com uma classe rara, a accuracy pode ser quase perfeita para um modelo inútil.

Calibração

Um modelo está calibrado se, entre as predições anunciadas a 80 %, cerca de 80 % estão corretas. A confiança softmax não é automaticamente uma probabilidade confiável. Diagrama de confiabilidade, Brier score e calibração de temperatura podem ajudar.