Algoritmo, modelo, treinamento e previsão

Definição rigorosa. Sequência finita e não ambígua de operações elementares que permite, a partir de entradas pertencentes a um domínio especificado, produzir uma saída em um número finito de etapas. A caracterização clássica retém cinco propriedades (Knuth, The Art of Computer Programming, 1968): finitude, definição não ambígua de cada etapa, entradas especificadas, saídas especificadas, efetividade das operações.

Tradução em linguagem corrente. Um método escrito de uma vez por todas, descrevendo o que deve ser feito e em que ordem, independentemente dos valores sobre os quais será executado.

Ponto de atenção. Um algoritmo é uma descrição de procedimento: não tem estado, não contém nenhum conhecimento sobre um domínio particular e não muda quando os dados mudam.

Definição rigorosa. Caso particular do anterior: procedimento que, aplicado a um conjunto de dados D = {(x₁, y₁), …, (xₙ, yₙ)} e a uma configuração de hiperparâmetros λ, seleciona um elemento ĥ de um espaço de hipóteses H segundo um critério explícito avaliado sobre D. Formalmente, A : (D, λ) ⟼ ĥ ∈ H.

Tradução em linguagem corrente. O método que, a partir de uma tabela de exemplos já rotulados, fabrica a regra de decisão. Ele descreve como buscar, não o que será encontrado. Três elementos devem ser nomeados para que ele seja especificado: o espaço de hipóteses percorrido (ponto 1.3), o critério avaliado sobre os dados, e a estratégia de busca (ponto 4.2).

Ponto de atenção. O algoritmo é idêntico para todos os projetos que o empregam: RandomForestClassifier é o mesmo para todos os usuários de uma versão dada do scikit-learn. O que difere de um projeto para outro é o modelo produzido, jamais o algoritmo.

Definição rigorosa. Conjunto H de todas as funções candidatas h : X → Y que o algoritmo é estruturalmente capaz de produzir, X designando o espaço das variáveis explicativas e Y o da variável-alvo. H é determinado conjuntamente pela família de funções escolhida e pelos hiperparâmetros que restringem sua forma: fixar max_depth=3 não modifica o algoritmo, mas restringe H às árvores de profundidade no máximo 3.

Tradução em linguagem corrente. O conjunto de todas as regras que o método tem o direito de fabricar: ele jamais produzirá uma regra ausente desse conjunto, qualquer que seja a quantidade de dados fornecida. Para uma regressão linear com duas variáveis, H é o conjunto das funções h(x) = β₀ + β₁x₁ + β₂x₂, de cardinalidade infinita mas parametrizado por três reais; nenhum conjunto de dados permitirá produzir nele uma função em escada ou periódica.

Ponto de atenção. Um modelo com baixo desempenho o é por duas razões distintas: a função correta não pertence a H (erro de aproximação, ligado à escolha do algoritmo), ou ela pertence a H sem ter sido encontrada (erro de estimação, ligado aos dados e à otimização) — capítulo 032.

Definição rigorosa (Mitchell, 1980). Conjunto das hipóteses suplementares, não dedutíveis dos dados de treinamento, que um algoritmo mobiliza para preferir certas generalizações a outras entre aquelas compatíveis com os dados observados. Manifesta-se sob duas formas: a restrição do espaço de hipóteses e a preferência dentro de H, por exemplo pela hipótese mais simples a desempenho igual.

Tradução em linguagem corrente. Um conjunto de exemplos jamais determina uma única regra: uma infinidade de regras passa pelos mesmos pontos. O viés indutivo é o conjunto das preferências integradas ao método, que decidem entre essas regras.

Resultado associado (Wolpert, 1996 — No Free Lunch). Em média sobre o conjunto de todos os problemas possíveis, nenhum algoritmo é superior a outro: seu desempenho em um problema dado provém da adequação entre seu viés indutivo e a estrutura real do fenômeno. Escolher um algoritmo equivale portanto a apostar nessa estrutura (capítulo 049).

Ponto de atenção. Um aprendizado sem viés indutivo é impossível: um algoritmo desprovido de toda preferência não poderia afirmar nada sobre uma observação ausente do conjunto de treinamento.

Definição rigorosa. Elemento ĥ ∈ H selecionado pelo algoritmo A ao final de sua execução sobre um conjunto de dados D com hiperparâmetros λ. O modelo é inteiramente especificado por dois componentes: uma estrutura — a forma funcional, fixada por A e λ — e um conjunto de valores de parâmetros ajustado a partir de D.

Definição operacional. Artefato de software que implementa uma função determinística das variáveis explicativas para o espaço de saída, cujo comportamento depende integralmente do conjunto de dados sobre o qual foi ajustado, e que pode ser serializado, versionado, transportado e avaliado independentemente do procedimento que o produziu.

Tradução em linguagem corrente. O resultado do treinamento: uma regra de decisão congelada, em memória ou em arquivo, que responde a uma pergunta precisa para uma observação dada.

Ponto de atenção. O modelo não é o arquivo: este não é senão um suporte de serialização, do mesmo modo que uma partitura não é a música. Um mesmo modelo se exporta em joblib, em ONNX ou em PMML sem mudar de natureza.

Uma receita é um texto: ela não se come, não vence, permanece idêntica qualquer que seja o número de vezes em que é executada e se fotocopia sem perda. O bolo é um objeto: resulta da execução da receita sobre ingredientes precisos, em um forno regulado de certa maneira, em um dia dado. Dois bolos oriundos da mesma receita diferem se os ingredientes diferem; o bolo se transporta, se data, vence.

Limites da analogia. O bolo é um objeto passivo, enquanto o modelo é uma função de entrada para saída (ponto 5.2); uma fatia consumida não está mais disponível, enquanto um modelo produz um número ilimitado de predições sem se esgotar; enfim o bolo vence por alteração física, enquanto o arquivo de um modelo não se degrada — é a distribuição dos dados de produção que se afasta da do treinamento (capítulo 082).

Definição rigorosa. Conversão do estado completo de um objeto em memória — estrutura e valores de parâmetros — em uma sequência de bytes persistente, permitindo sua reconstituição ulterior em um processo distinto com um comportamento funcionalmente idêntico.

Tradução em linguagem corrente. Gravar o modelo em um arquivo de maneira a poder recarregá-lo mais tarde, em outro lugar, sem ter que retreiná-lo. Os formatos usuais são joblib e pickle (ecossistema Python, dependentes das versões), ONNX (interoperável entre linguagens e motores de execução), PMML (padrão XML, famílias de modelos limitadas) e os formatos nativos de biblioteca, tal como Booster.save_model para XGBoost e LightGBM.

Ponto de atenção. Um arquivo joblib ou pickle reconstrói objetos Python arbitrários na leitura: carregá-lo sem dominar sua proveniência equivale a executar código não verificado. Além disso, a desserialização sob uma versão de biblioteca diferente não é garantida: a versão deve ser registrada nos metadados e verificada no carregamento.

Definição rigorosa. Execução do algoritmo A sobre um conjunto de dados D com hiperparâmetros λ, consistindo em selecionar em H a hipótese ĥ que otimiza um critério explícito avaliado sobre D, eventualmente acompanhado de um termo de regularização:

ĥ = argmin sobre h ∈ H de [ (1/n) · Σᵢ L(h(xᵢ), yᵢ) + Ω(h) ]

onde L designa a função de custo e Ω um termo que penaliza a complexidade da hipótese. Esse quadro é o da minimização do risco empírico (Vapnik). A quantidade minimizada é medida sobre a amostra de treinamento, não sobre a população: essa diferença é a origem do sobreajuste (capítulo 031).

Tradução em linguagem corrente. A fase de estudo: o algoritmo percorre os exemplos corrigidos, ajusta seus parâmetros para errar o menos possível sobre esses exemplos, e para quando o critério não melhora mais significativamente.

O que o treinamento não faz. Ele não modifica os hiperparâmetros, que permanecem tais como fornecidos; ele não acumula as chamadas sucessivas, um segundo fit sobrescrevendo integralmente o estado anterior salvo recurso a partial_fit ou warm_start; ele não avalia o modelo produzido, a avaliação exigindo dados não vistos.

Ponto de atenção. O critério otimizado durante o treinamento (a função de custo) e o critério de avaliação de negócio (a métrica) são distintos e coincidem raramente (capítulo 030).

Definição rigorosa. Avaliação da função ĥ em um ponto x do espaço das variáveis explicativas, produzindo um valor ŷ = ĥ(x) do espaço de saída. A observação x não pertence necessariamente ao conjunto de treinamento; o interesse operacional reside precisamente no caso em que ela não pertence a ele.

Tradução em linguagem corrente. Dar uma resposta para um caso novo, aplicando a regra aprendida. A convenção distingue y, valor real observado, e ŷ, valor produzido pelo modelo; sua diferença é o resíduo (capítulo 066).

Ponto de atenção. O termo não comporta nenhuma conotação temporal. Um modelo que diagnostica uma patologia sobre dados presentes produz uma predição no sentido técnico, embora nenhum futuro esteja em jogo.

Acepção 1 — inferência no sentido do Machine Learning (inference, serving). Operação que consiste em avaliar um modelo treinado sobre dados novos para produzir predições. Sinônimo de predição, o termo se opõe ao treinamento e domina o vocabulário da engenharia de produção: inference server, inference latency, batch inference.

Acepção 2 — inferência no sentido estatístico (statistical inference). Abordagem que consiste em estimar as características de uma população a partir de uma amostra e em quantificar a incerteza associada: estimação pontual, intervalo de confiança, teste de hipótese, significância. Tradição de Fisher, Neyman e Pearson.

Origem da ambiguidade. As duas comunidades empregam a mesma palavra para operações cujos objetos se opõem: uma observação individual de um lado, um parâmetro de população do outro. A distinção é desenvolvida por Breiman (2001, Statistical Modeling: The Two Cultures) e Shmueli (2010, To Explain or to Predict?).

Ponto de atenção. Um modelo muito eficiente em predição não fornece nenhuma garantia inferencial: um coeficiente elevado não estabelece nem a significância do efeito, nem sua direção causal (capítulo 016).

O que é implantado é um artefato — estrutura e valores de parâmetros — oriundo da execução do algoritmo Random Forest sobre um conjunto de dados determinado, em uma data determinada. O algoritmo reside na biblioteca instalada.

Formulação correta: « Implantamos o modelo attrition_v3, obtido por treinamento de uma floresta aleatória sobre os dados de janeiro a junho. »

O algoritmo executa um procedimento de busca e não conserva nada ao final de sua execução; o conhecimento induzido reside nos parâmetros do modelo produzido.

Formulação correta: « O algoritmo selecionou, no espaço de hipóteses, um modelo cujos coeficientes indicam uma associação negativa entre antiguidade e cancelamento. »

Retreinar consiste em reexecutar o mesmo algoritmo, com os mesmos hiperparâmetros, sobre dados atualizados: nenhuma linha de código é modificada. A confusão leva a subestimar o custo real do ciclo de manutenção.

Formulação correta: « O retreinamento mensal produz uma nova versão do modelo sem modificação do código de treinamento. »

As transformações de preparação comportam parâmetros aprendidos sobre os dados de treinamento: medianas de imputação, modalidades de codificação, médias e desvios-padrão. Um estimador serializado sozinho, alimentado por transformações reimplementadas manualmente, produz predições falsas sem erro visível.

Formulação correta: « O artefato serializado é o pipeline completo, do dado bruto à predição, acompanhado de seus metadados. »

O termo designa, segundo a comunidade, a produção de uma predição sobre uma observação ou a estimação de um parâmetro de população acompanhada de uma medida de incerteza: nem o mesmo objeto, nem os mesmos critérios de validade.

Formulação correta: « O servidor de inferência produz predições. As conclusões relativas à população pertenceriam a uma inferência estatística, que esse dispositivo não fornece. »