Programação determinística e aprendizado indutivo

Definição rigorosa

Aplicação determinística de um espaço de descrições X para um espaço de decisões Y, associando a toda descrição x de X uma decisão única de Y: formalmente, uma função h : X → Y. Em classificação, Y é um conjunto finito de modalidades; em regressão, um intervalo de números reais.

Tradução em linguagem corrente

Um procedimento que, para toda situação descrita, devolve uma decisão e apenas uma.

Ponto essencial

Esta definição não pressupõe nada sobre a origem da regra. Uma cláusula SE ... ENTÃO ..., uma tabela regulamentar, uma árvore aprendida com 200 000 dossiês e uma rede neural são todas regras de decisão no sentido desta definição; elas diferem apenas pela forma como h foi obtida.

Ponto de atenção

Um modelo não é menos uma regra do que uma cláusula escrita à mão: é uma regra cujo enunciado ninguém redigiu. Essa propriedade fundamenta ao mesmo tempo sua potência e sua dificuldade de auditoria.

Dedução

Modo de inferência pelo qual uma conclusão é derivada de premissas segundo regras de transformação que preservam a verdade. Se as premissas são verdadeiras e a derivação é válida, a conclusão é necessariamente verdadeira. Ilustração: "Todo envio contendo um anexo executável é bloqueado. Este envio contém um. Logo, ele é bloqueado."

Indução

Modo de inferência pelo qual uma proposição geral é formada a partir de um conjunto finito de observações particulares. A conclusão excede o conteúdo das premissas: ela não é garantida, apenas mais ou menos provável à luz das observações. Ilustração: "Em 40 000 e-mails observados, aqueles que apresentavam certas combinações de termos foram sinalizados como indesejados em 96 % dos casos. Logo, um novo envio que apresente essas combinações é provavelmente indesejado."

O problema da indução

A indução não fornece nenhuma garantia lógica. A teoria estatística do aprendizado (Vapnik e Chervonenkis, anos 1970) não elimina essa objeção: ela a limita por garantias probabilísticas condicionadas a hipóteses explícitas, cuja principal é que os dados futuros provêm da mesma distribuição que os dados de treinamento.

Consequência operacional

Um sistema determinístico está errado quando sua regra está errada. Um sistema indutivo está errado parte do tempo por construção, inclusive quando tudo foi corretamente realizado.

Definição rigorosa

Postula-se a existência de uma função-alvo f : X → Y, desconhecida, ligando o espaço das descrições X ao espaço dos valores a prever Y; ela só é acessível por meio de uma amostra finita de pares observados (x₁, y₁), ..., (xₙ, yₙ). O algoritmo seleciona, em um conjunto de hipóteses H fixado pela escolha da família de modelos, uma hipótese f̂ ("f chapéu") que minimiza uma medida de erro na amostra, na esperança de que f̂ se aproxime de f em todo o domínio.

Tradução em linguagem corrente

Existe uma relação real entre o que se observa e o que se quer prever. Ninguém conhece seu enunciado; constrói-se uma imitação dela a partir dos exemplos disponíveis.

As três lacunas entre f̂ e f

• H pode não conter nenhuma função próxima de f — erro de aproximação, ligado à escolha do modelo.
• A amostra é finita e ruidosa — erro de estimação, ligado aos dados.
• A relação pode variar no tempo — deriva (drift), tratada no capítulo 082.

Ponto de atenção

A existência de f é uma hipótese de trabalho, não um fato estabelecido. Quando o alvo depende de fatores ausentes das descrições x, nenhuma função de X para Y é exata, qualquer que seja o algoritmo. Este ponto é desenvolvido na seção 5.

Definição rigorosa

Agente cuja função-objetivo inclui contornar o sistema de decisão, e que dispõe de um sinal de observação sobre as decisões desse sistema que lhe permite ajustar seu comportamento.

Tradução em linguagem corrente

Um ator que tem interesse em enganar o sistema, que vê o que passa e o que é bloqueado, e adapta seus envios em consequência.

A propriedade crítica: a assimetria dos ciclos

O emissor testa uma variante e observa o resultado em algumas horas, a um custo quase nulo; a equipe precisa constatar a queda, diagnosticar o vetor, redigir a regra, verificar sua inocuidade e implantá-la, ou seja, vários dias. Enquanto o atacante iterar mais rápido que o defensor, o desempenho tende ao de um sistema que só filtra campanhas obsoletas.

Ponto de atenção

Essa propriedade não é exclusiva dos sistemas baseados em regras: um modelo confrontado com um adversário adaptativo também se degrada. A diferença está no custo unitário da atualização — retreinar é instrumentado e repetível, reescrever 1 800 regras não é.

Definição rigorosa

Propriedade de um sistema de decisão que permite reconstituir, para toda decisão produzida, a cadeia de justificativa que a ela conduziu e o estado exato do sistema naquela data, de forma reprodutível por um terceiro. Ela exige que a regra aplicada seja enunciável, que a versão em vigor seja conservada e que o resultado seja reprodutível de forma idêntica.

Ponto de atenção

Um modelo estatístico satisfaz a reprodutibilidade, mas torna difícil o enunciado da regra: os métodos de explicação a posteriori produzem uma justificativa aproximada da decisão, não seu enunciado. Quando a obrigação recai sobre a motivação individual, essa aproximação pode ser insuficiente.

Uma linha de produção não busca o defeito zero a qualquer preço: ela dimensiona uma taxa de defeito aceitável e depois concebe o dispositivo de detecção e de correção correspondente. Essa taxa não depende da máquina, mas do custo unitário de um defeito que sai, do custo do controle e do volume produzido. Um responsável que exige zero defeito sem dimensionar o controle não obtém zero defeito: ele obtém defeitos não detectados.

A taxa de erro aceitável de um modelo é, da mesma forma, uma decisão de engenharia, jamais uma propriedade do algoritmo.

Enunciado

Um algoritmo de aprendizado extrai regularidades presentes nas descrições fornecidas. Ele não pode fundamentar uma decisão em um fator que não aparece em nenhuma variável, nem diretamente nem por correlação.

Ilustração

Um modelo de avaliação imobiliária alimentado pela área e pelo número de quartos não pode valorizar nem a vista, nem a orientação solar, nem o estado do telhado, que no entanto determinam uma parte substancial do preço. O modelo não sinaliza essa insuficiência: ele produz uma estimativa cujo erro residual será atribuído ao "ruído" quando na verdade reflete uma informação faltante.

Consequência prática

O teto de desempenho é fixado pelo conteúdo informacional das variáveis, não pela escolha do algoritmo. Esse limite explica uma decepção frequente: passar de uma regressão para um método de ensemble sofisticado só traz alguns pontos quando a informação necessária está ausente do conjunto de dados.

Enunciado

Um modelo preditivo identifica associações estatísticas entre variáveis explicativas e variável-alvo. Uma associação não é uma relação de causa e efeito: um modelo de bom desempenho pode se basear em associações cuja interpretação causal é falsa, ou até invertida.

O caso documentado asma e pneumonia

Um estudo dos anos 1990 sobre pacientes internados por pneumonia visava prever o risco de óbito a fim de orientar os pacientes de baixo risco para um atendimento ambulatorial. O modelo aprendeu uma regra exata nos dados e perigosa na prática:

Os pacientes com pneumonia que têm antecedentes de asma apresentam um risco de óbito mais baixo.

A associação é real nos dados. Sua explicação: esses pacientes eram sistematicamente internados em terapia intensiva por causa de seu antecedente, recebiam ali um atendimento imediato e agressivo, e por isso sobreviviam mais. A regra induzida era uma consequência do protocolo de cuidados, não uma propriedade clínica; aplicada tal como estava, ela teria mandado para casa precisamente os pacientes que o protocolo existente protegia. O modelo não estava defeituoso — ele reproduzia fielmente os dados — e somente uma releitura por clínicos permitiu detectar a anomalia.

Esse caso é relatado notadamente por Cooper e coautores (1997), depois retomado e analisado por Caruana e coautores (2015) em seus trabalhos sobre modelos inteligíveis em saúde.

Formulação a lembrar

Um modelo prevê o que acontece nas condições em que os dados foram produzidos. Ele não prevê o que aconteceria se interviéssemos nessas condições. Toda decisão de intervenção baseada em um modelo puramente preditivo sai do domínio de validade desse modelo.

Enunciado

O arcabouço estatístico do aprendizado supervisionado supõe que os dados de operação provêm da mesma distribuição que os dados de treinamento. Quando essa hipótese deixa de ser verificada, as garantias de desempenho caem.

Duas formas de ruptura

• Deriva dos dados (data drift): a distribuição das variáveis explicativas muda, a relação entre variáveis e alvo permanecendo válida. Exemplo: a clientela rejuvenesce, os perfis observados diferem dos do corpus de treinamento.
• Deriva do conceito (concept drift): a própria relação muda. Exemplo: um comportamento de compra que sinalizava fidelidade torna-se, após uma mudança de oferta, um sinal de saída iminente.

Consequência prática

Causas usuais: mudança de comportamento dos clientes, modificação do produto ou do processo de negócio, evolução regulatória, adaptação de um adversário, modificação de um sensor, choque externo. Um modelo em produção não tem, portanto, um desempenho constante: ele possui uma duração de validade, que deve ser monitorada e não presumida. Uma colocação em produção sem dispositivo de monitoramento é uma decisão de operação incompleta. A deriva, sua detecção e as estratégias de retreinamento são tratadas no capítulo 082.

Enunciado

A qualidade da regra induzida é limitada pela qualidade e pela representatividade das observações fornecidas. Dados errados, enviesados ou mal rotulados produzem uma regra errada, enviesada ou mal calibrada.

O agravamento próprio do Machine Learning

Um programa determinístico alimentado com dados inválidos falha de forma visível: exceção, valor aberrante, rejeição de controle. Um algoritmo de aprendizado, por sua vez, não falha: ele converge, produz um modelo, e esse modelo produz previsões de aparência normal. A falha é silenciosa.

Ponto de atenção

A ausência de erro de execução nunca constitui uma prova de validade para um sistema indutivo. A validação exige um exame dos dados, uma análise dos erros por segmento e uma confrontação das regularidades aprendidas com o conhecimento de negócio.

Um espectrômetro produz medidas que nenhum operador saberia obter a olho nu: ele é insubstituível nesse segmento da cadeia. Ele não escolhe a pergunta de pesquisa, não coleta a amostra, não define o protocolo, não interpreta os resultados e não decide publicar. Um algoritmo de aprendizado ocupa exatamente a mesma posição.

Definição rigorosa

Posição de um sistema automatizado na escala que vai da simples produção de informação à decisão executada sem intervenção humana, caracterizada pelo papel atribuído ao operador no laço de decisão.

Os três regimes usuais

Ponto de atenção

O regime de autonomia é uma decisão de projeto, independente do desempenho do modelo. Um modelo de altíssimo desempenho pode ser implantado como apoio à decisão porque o contexto o exige; um modelo medíocre pode ser plenamente automatizado porque o erro ali é sem consequência.

Sintoma: formular a escolha como uma modernização, ou opor um método "ultrapassado" a um método "atual".

Razão: as duas abordagens respondem a duas configurações distintas. O Machine Learning não traz nada quando a regra é conhecida, exata e estável; ele introduz aí uma aproximação sem contrapartida.

Formulação correta: "A programação determinística e o aprendizado indutivo tratam de duas configurações diferentes. O critério de escolha é a disponibilidade de uma regra exata e estável, não a antiguidade do método."

Sintoma: descrever o projeto como "entregamos os dados ao algoritmo e ele encontra tudo sozinho".

Razão: o algoritmo executa apenas uma etapa em onze. A escolha do alvo, dos dados, da medida de desempenho e da família de modelos é humana, e condiciona integralmente o resultado obtido.

Formulação correta: "O algoritmo estima os parâmetros. O enquadramento do problema, a escolha dos dados, a definição da medida de desempenho e a validação continuam sendo decisões humanas."

Sintoma: decidir intervir em uma variável porque o modelo lhe atribui um peso importante — "o modelo mostra que os antecedentes de asma reduzem o risco, logo esses pacientes podem voltar para casa".

Razão: um modelo preditivo restitui as regularidades do processo que gerou os dados, protocolos e políticas inclusos. Ele não diz nada sobre o que ocorreria se modificássemos esse processo.

Formulação correta: "O modelo estabelece uma associação válida nas condições de produção dos dados. Toda decisão de intervenção em uma variável exige uma análise causal distinta, com um protocolo adequado."

Sintoma: concluir pela implantação com base apenas em um número global, sem examinar o volume nem a natureza dos erros restantes.

Razão: 95 % de exatidão em 100 000 decisões diárias representa 5 000 erros por dia. A pertinência da implantação depende de sua gravidade, de sua detectabilidade, de sua reversibilidade e do custo de seu tratamento.

Formulação correta: "A taxa de exatidão não basta. É preciso estabelecer o volume de erros esperado, a gravidade de cada tipo de erro, quem os detecta e a que custo eles são corrigidos."

Sintoma: entregar um modelo sem dispositivo de monitoramento, considerando o projeto encerrado na colocação em produção.

Razão: as garantias do aprendizado supõem que os dados de operação seguem a mesma distribuição que os dados de treinamento. Essa hipótese deixa de ser verificada assim que os usuários, o produto, a regulamentação ou um adversário evoluem.

Formulação correta: "Um modelo possui uma duração de validade. A colocação em produção inclui o monitoramento do desempenho e um procedimento de retreinamento." O assunto é tratado no capítulo 082.