Os três paradigmas de aprendizado

Sinal de aprendizado — definição rigorosa

Informação explorada por um algoritmo para avaliar a qualidade da hipótese corrente e dela derivar uma direção de correção de seus parâmetros. Ele assume a forma de um valor-alvo associado a cada observação, de um critério interno de coerência definido apenas sobre os dados, ou de um escalar de recompensa emitido por um ambiente em resposta a uma ação.

Paradigma de aprendizado — definição rigorosa

Classe de problemas definida pela natureza do sinal disponível e, por consequência, pela forma do problema de otimização colocado: minimização de um risco empírico sobre pares rotulados, otimização de um critério interno de estrutura, ou maximização de uma esperança de recompensa acumulada.

Tradução em linguagem corrente

O sinal é o que permite ao algoritmo saber se está errando; o paradigma é a família de problemas definida por aquilo de que dispomos para aprender.

Ponto de atenção

Na ausência de qualquer sinal, não há aprendizado no sentido de Mitchell (1997): sem medida de desempenho P, nenhuma experiência E pode melhorar coisa alguma.

Definição rigorosa

Seja um espaço de entrada X e um espaço de saída Y. Dispomos de uma amostra de treinamento de n pares

S = { (x_1, y_1), ..., (x_n, y_n) },  x_i ∈ X,  y_i ∈ Y

supostamente provenientes de um sorteio independente e identicamente distribuído segundo uma lei conjunta P(X, Y) desconhecida e fixa. O aprendizado supervisionado consiste em selecionar, em uma classe de hipóteses H, uma função f: X → Y que minimize o risco esperado R(f) = E[ L(f(X), Y) ], onde L é uma função de perda que mede a diferença entre valor previsto e valor observado. Como a lei P é desconhecida, o algoritmo minimiza na prática o risco empírico calculado sobre S, sob restrição de regularização.

Tradução em linguagem corrente

Fornecem-se exemplos cuja resposta correta é conhecida, e pede-se ao algoritmo que construa a função que melhor reproduz essa correspondência, a fim de aplicá-la a casos cuja resposta é desconhecida.

O termo "supervisionado"

Ele remete à presença de um supervisor — operador, processo ou observação posterior — que forneceu o valor correto para cada exemplo, durante a constituição do conjunto de dados e nunca durante o treinamento.

Ponto de atenção

A hipótese de distribuição fixa é estruturante. Quando P(X, Y) evolui entre o treinamento e a operação, o risco empírico deixa de estimar o risco esperado e o desempenho se degrada: fenômeno tratado no capítulo 082.

Definição rigorosa

Observação para a qual o valor da variável-alvo está preenchido, além das variáveis explicativas, sendo esse valor definido de maneira unívoca e homogênea em todo o conjunto de dados.

Tradução em linguagem corrente

Uma linha da tabela para a qual a resposta já é conhecida.

Proveniência dos rótulos

Observação diferida (o crédito foi reembolsado ou não), anotação humana (um radiologista qualifica uma imagem), registro de sistema (o cliente cancelou) ou medida física (a peça rompeu às 412 horas).

Ponto de atenção

O custo de obtenção dos rótulos é frequentemente o fator limitante de um projeto supervisionado: as variáveis explicativas são abundantes, os rótulos raramente.

Definição rigorosa

Problema de aprendizado supervisionado no qual o espaço de saída Y é um conjunto finito de modalidades { $c_1$, ..., $c_k$ }. O modelo estima geralmente a probabilidade condicional P(Y = $c_j$ | X = x), a classe prevista resultando da aplicação de uma regra de decisão a esse vetor de probabilidades.

Tradução em linguagem corrente

Colocar cada observação em uma das categorias previstas de antemão.

Subtipos: binária (2 modalidades exclusivas), multiclasse (k modalidades exclusivas), multirrótulo (k modalidades cumuláveis), ordinal (k modalidades ordenadas, por exemplo uma classificação de risco de A a E).

Ponto de atenção

As modalidades são definidas antes do treinamento e fazem parte da especificação do problema. Um modelo de classificação não pode produzir uma classe que nunca encontrou.

Definição rigorosa

Problema de aprendizado supervisionado no qual o espaço de saída Y é um subconjunto dos reais. O modelo estima uma função de regressão, na maioria das vezes a esperança condicional E[Y | X = x], por minimização de uma perda quadrática ou absoluta.

Tradução em linguagem corrente

Estimar um número em vez de uma categoria.

Advertência terminológica

A palavra "regressão" não carrega, em seu uso moderno, nenhum sentido de recuo ou de retorno ao passado. Ela é herdada dos trabalhos de Francis Galton (1886) sobre a transmissão da altura entre gerações, que descreviam uma regressão à média: os filhos de pais muito altos tendiam a ser, em média, menos altos que seus pais. O termo designava um fenômeno estatístico particular; foi em seguida estendido ao método de ajuste empregado para evidenciá-lo, e depois a toda previsão de uma grandeza numérica. Nenhuma inferência deve, portanto, ser tirada da própria palavra: "regressão" significa unicamente que o alvo é um número.

Confusão a não cometer

A regressão logística é um algoritmo de classificação, apesar de seu nome: ela regride o logaritmo da razão de chances sobre as variáveis explicativas e produz uma probabilidade de pertencimento a uma classe.

Um aluno prepara um exame a partir de provas anteriores. Cada prova contém um enunciado e um gabarito. O aluno resolve o enunciado, compara sua produção ao gabarito, identifica a diferença, ajusta seu método. Após um número suficiente de exercícios, ele enfrenta uma prova inédita cujo gabarito ainda não existe.

Prolongamentos

O aluno que memoriza os gabaritos sem adquirir o método acerta as provas anteriores e falha na prova inédita: é o sobreajuste (overfitting), tratado no capítulo 040. O aluno que dispõe do gabarito durante o exame obtém uma nota excelente que não mede nada: é o vazamento de dados (data leakage), tratado no capítulo 028.

Limite da analogia

O aluno compreende o que faz e transpõe para um domínio vizinho. O modelo estabelece apenas uma correspondência estatística e não transpõe para fora do domínio coberto por seus dados de treinamento.

Definição rigorosa

Classe de problemas nos quais dispomos de uma amostra { $x_1$, ..., $x_n$ }, $x_i$ ∈ X, sem variável-alvo associada. O objetivo é estimar uma estrutura da distribuição P(X): partição do espaço das observações, subvariedade de baixa dimensão que aproxima a nuvem de pontos, densidade, ou regularidades de coocorrência. A otimização recai sobre um critério definido exclusivamente a partir dos dados, sem referência a um valor esperado.

Tradução em linguagem corrente

Fornecem-se observações sem nenhuma resposta associada e pede-se ao algoritmo que faça aparecer a organização interna desses dados.

O termo "não supervisionado"

Ele indica a ausência de resposta de referência, não a ausência de intervenção humana: escolha das variáveis, da distância, do número de grupos e da normalização pertencem inteiramente ao analista.

Ponto de atenção

Um algoritmo não supervisionado sempre produz um resultado, inclusive quando os dados não contêm nenhuma estrutura: um particionamento em quatro grupos devolverá quatro grupos sobre uma nuvem perfeitamente uniforme. A produção de um resultado, portanto, nunca atesta a existência de uma estrutura.

Definição rigorosa

Problema que consiste em construir uma partição ou um recobrimento de um conjunto de observações em grupos tais que uma medida de similaridade intragrupo seja máxima e a similaridade intergrupos mínima, no sentido de uma distância especificada pelo analista. Um método de particionamento por inércia minimiza assim a soma dos quadrados dos desvios internos:

argmin  Σ      Σ      || x - μ_j ||²
   C   j=1..k  x ∈ C_j

onde $\mu_j$ designa o centro do grupo $C_j$.

Tradução em linguagem corrente

Agrupar as observações que se parecem, sem saber de antemão quais grupos existem nem quantos são.

Parâmetros a cargo do analista

Número de grupos, medida de distância, normalização, seleção das variáveis. Cada uma dessas escolhas modifica o resultado; não existe uma partição "verdadeira" que um algoritmo descobriria independentemente delas.

Ponto de atenção

Os grupos produzidos não têm nome. Sua denominação e sua interpretação são um ato de negócio posterior ao algoritmo, jamais uma saída dele.

Definição rigorosa

Problema que consiste em construir uma aplicação g: X → Z, com dim(Z) < dim(X), preservando o melhor possível uma propriedade da distribuição de origem: variância explicada para a análise de componentes principais, estrutura de vizinhança local para os métodos de imersão não linear, capacidade de reconstrução para os autoencoders. O critério otimizado é interno aos dados.

Tradução em linguagem corrente

Representar as mesmas observações com menos variáveis, perdendo o mínimo de informação possível.

Finalidades operacionais: visualização, compressão, remoção de ruído, pré-processamento de um modelo supervisionado, atenuação da maldição da dimensionalidade.

Ponto de atenção

Empregada antes de um modelo supervisionado, a redução de dimensionalidade deve ser ajustada apenas com os dados de treinamento e depois aplicada tal como está aos dados de validação e de teste. Ajustá-la sobre o conjunto de todos os dados constitui um vazamento de dados, tratado no capítulo 028.

Definição rigorosa

Arcabouço de aprendizado no qual um agente interage sequencialmente com um ambiente. A cada passo de tempo t, o agente observa um estado $s_t$, escolhe uma ação $a_t$ segundo uma política π, recebe uma recompensa escalar $r_{t+1}$ e observa um novo estado $s_{t+1}$. O problema é na maioria das vezes formalizado como um processo de decisão markoviano (S, A, P, R, γ), com γ ∈ [0, 1[ o fator de desconto. O objetivo é determinar uma política π que maximize a esperança do ganho acumulado descontado:

Referência de síntese: Sutton e Barto, Reinforcement Learning: An Introduction (1998, segunda edição 2018).

Tradução em linguagem corrente

O agente não aprende a partir de respostas corretas fornecidas de antemão, mas por tentativas sucessivas: ele age, o ambiente o penaliza ou o recompensa, e ele ajusta sua estratégia de modo a acumular o máximo de recompensa possível.

O que distingue a recompensa de um rótulo

O rótulo indica a resposta correta, preexiste ao treinamento e diz respeito a uma observação isolada. A recompensa avalia a resposta produzida, é gerada durante a interação, recai sobre uma sequência de ações e depende das ações do próprio modelo.

Ponto de atenção

O caráter diferido da recompensa gera o problema de atribuição de mérito: quando uma recompensa surge ao término de centenas de ações, determinar quais delas contribuíram constitui a dificuldade central do paradigma.

Aprender a andar de bicicleta não procede de um gabarito: ninguém pode fornecer, para cada milissegundo, o valor exato do ângulo do guidão e da inclinação do tronco. A instrução "mantenha o equilíbrio" não é um rótulo. O sinal disponível é uma consequência: o aprendiz fica de pé, ou cai. O vínculo entre o gesto errado e sua consequência é diferido em alguns segundos.

O que a analogia evidencia

A habilidade é adquirida por interação e não por memorização de pares pergunta-resposta: ela não pode ser transmitida por uma exposição, e sua aquisição exige um grande número de tentativas, inclusive malsucedidas. Uma criança cai algumas dezenas de vezes; um agente artificial requer correntemente milhões de episódios. Quando cada episódio tem um custo material ou humano, o treinamento em condições reais torna-se impraticável — daí a exigência de um simulador.

Definição rigorosa

Classe de problemas nos quais a amostra reúne um subconjunto rotulado $S_l$ = { ($x_i$, $y_i$) } de tamanho l e um subconjunto não rotulado $S_u$ = { $x_j$ } de tamanho u, com geralmente u >> l. Os métodos exploram a distribuição marginal P(X) estimada sobre $S_u$ para restringir a estimativa de P(Y | X) aprendida sobre $S_l$, sob hipóteses de regularidade: continuidade, agrupamento, variedade.

Tradução em linguagem corrente

Dispomos de muitas observações e de poucas respostas conhecidas; a massa não rotulada serve para tirar melhor proveito do pequeno número de rótulos disponíveis.

Ponto de atenção

As hipóteses de regularidade nem sempre são satisfeitas. Quando não o são, a adição de dados não rotulados pode degradar o desempenho em relação a um modelo treinado apenas com os dados rotulados.

Definição rigorosa

Classe de métodos nos quais a variável-alvo é construída automaticamente a partir da estrutura interna dos dados, sem intervenção de um anotador. Uma tarefa dita pretexto é definida de modo que seu rótulo seja dedutível do dado bruto; o modelo é treinado nessa tarefa por minimização de um risco empírico clássico, e depois a representação obtida é reutilizada para a tarefa-alvo.

Tradução em linguagem corrente

O algoritmo fabrica por si mesmo seus exercícios e seus gabaritos a partir dos dados brutos, o que elimina o custo de anotação.

Precisão determinante

A mecânica de aprendizado permanece estritamente supervisionada: existe um valor-alvo, uma função de perda, uma comparação entre previsão e alvo. Apenas a proveniência do rótulo muda — extraído dos dados em vez de ser fornecido por um operador. O autossupervisionado não é, portanto, um quarto paradigma, mas uma modalidade de obtenção dos rótulos.

Ponto de atenção

A qualidade da representação depende inteiramente da pertinência da tarefa pretexto. Uma tarefa resolvível por um artefato superficial produz uma representação sem valor para a tarefa-alvo.

Definição rigorosa

Problema que consiste em identificar as observações cuja geração é improvável à luz da distribuição das observações ditas normais. Conforme a disponibilidade de exemplos de anomalias rotulados, ele se formula como uma classificação supervisionada fortemente desbalanceada, como uma estimativa de densidade ou de suporte não supervisionada, ou como uma classificação de uma classe.

Tradução em linguagem corrente

Identificar o que sai do comum, quer disponhamos ou não de exemplos de casos anormais.

Posição taxonômica

A detecção de anomalias está entre dois paradigmas. Ela não constitui uma família adicional: designa uma finalidade de negócio tratável em um ou outro paradigma conforme os dados disponíveis.

Um departamento de marketing pede um modelo que preveja "os clientes de alto potencial". Nenhuma variável com esse nome existe no sistema de informação: a intenção de prever não basta para criar um problema supervisionado. Duas saídas são possíveis, e uma só deve ser escolhida explicitamente: definir um alvo mensurável e verificável no histórico — por exemplo "faturamento dos 12 meses seguintes superior a 5 000 $" — ou assumir uma abordagem exploratória não supervisionada que produza grupos a interpretar.

Formulação correta: "Um problema supervisionado requer uma variável-alvo definida, mensurável e presente no histórico. Enquanto ela não estiver constituída, não há problema supervisionado."

Os dois produzem grupos, o que basta para alimentar a confusão. O critério discriminante não é a saída, mas a entrada: as classes preexistem nos dados de treinamento? Uma consequência é regularmente observada: um clustering apresentado como um modelo preditivo, acompanhado de uma pretensa medida de exatidão, a qual é sem objeto na ausência de partição de referência.

Formulação correta: "A classificação atribui uma observação a classes definidas previamente e aprendidas com exemplos rotulados; o clustering constitui grupos a partir apenas das similaridades, sem classes preexistentes nem exatidão mensurável."

A ausência de rótulos alivia a coleta e dá a impressão de um problema menos exigente. É o inverso no plano da validação: sem verdade de referência, o projeto fica privado de critério objetivo de parada, e o número de grupos, a distância e a normalização pertencem a escolhas que nenhuma métrica decide. Um projeto supervisionado se conclui com um desempenho quantificado em um conjunto de teste; um projeto não supervisionado, com uma decisão de aceitação de negócio.

Formulação correta: "O aprendizado não supervisionado é menos exigente em dados rotulados e mais exigente em interpretação: sua dificuldade é deslocada da coleta para a validação."

A enumeração "supervisionado, não supervisionado, reforço, Deep Learning" mistura dois planos de classificação. Os três primeiros termos designam paradigmas, definidos pela natureza do sinal de aprendizado; o quarto designa uma classe de modelos, definida por uma arquitetura. Uma rede neural treinada com imagens rotuladas pertence ao supervisionado, um autoencoder ao não supervisionado, uma rede que otimiza uma política por recompensa ao reforço.

Formulação correta: "O Deep Learning é uma classe de modelos mobilizável nos três paradigmas; ele se situa em outro plano de classificação."

Para prever o cancelamento em 90 dias, uma equipe retém como variável explicativa o número de ligações ao serviço de cancelamento. O desempenho é excelente em validação e nulo em produção: no momento em que a previsão deve ser produzida, essa ligação ainda não ocorreu. A variável não é preditiva, ela é constitutiva do evento a prever. Essa forma de vazamento de dados, tratada no capítulo 028, não é detectável pelas métricas: ela as melhora.

Regra de controle: para cada variável explicativa, verificar que seu valor estaria efetivamente disponível no instante em que o modelo será consultado em produção.

Formulação correta: "O rótulo é posterior às variáveis explicativas; toda informação contemporânea ou posterior à realização do alvo deve ser excluída do conjunto de treinamento."

"Saúde é supervisionado" ou "marketing é clustering" são enunciados sem fundamento. A saúde dá origem à previsão de uma reinternação (supervisionado), à identificação de subgrupos de pacientes (não supervisionado) e à adaptação sequencial de um protocolo de dosagem (reforço). O marketing dá origem à previsão de um cancelamento, a uma segmentação e à alocação dinâmica de ofertas por bandits.

Formulação correta: "O paradigma é determinado pela natureza do sinal de aprendizado disponível, jamais pelo setor de atividade."