Valores faltantes: identificar e compreender

Bloco 5 — Limpeza de dados

Objetivo

definir rigorosamente o valor ausente, distingui-lo do valor sentinela e do campo não aplicável, dominar a tipologia de Rubin (MCAR, MAR, MNAR) e suas consequências sobre a validade dos tratamentos, diagnosticar o mecanismo de ausência e produzir uma auditoria completa.

Duração estimada

45 minutos

Pré-requisitos

capítulos 005, 013, 014 e 015

Quizzes associados

018.1-quiz-nature-de-l-absence.md a 018.7-quiz-audit-python.md

1. O que é um valor ausente

Um conjunto de dados tabular supõe implicitamente que cada célula contém um valor. Os dados reais contradizem essa hipótese, e a maioria dos estimadores do scikit-learn recusa uma matriz que contenha NaN: o praticante é obrigado a agir. O erro constante consiste em agir antes de ter compreendido — o tratamento (capítulo 019) só é legítimo após a identificação da natureza e do mecanismo da ausência.