Algorithme, modèle, entraînement et prédiction

Définition rigoureuse. Suite finie et non ambiguë d'opérations élémentaires permettant, à partir d'entrées appartenant à un domaine spécifié, de produire une sortie en un nombre fini d'étapes. La caractérisation classique retient cinq propriétés (Knuth, The Art of Computer Programming, 1968) : finitude, définition non ambiguë de chaque étape, entrées spécifiées, sorties spécifiées, effectivité des opérations.

Traduction en langage courant. Une méthode écrite une fois pour toutes, décrivant ce qu'il faut faire et dans quel ordre, indépendamment des valeurs sur lesquelles elle sera exécutée.

Point de vigilance. Un algorithme est une description de procédure : il n'a pas d'état, ne contient aucune connaissance sur un domaine particulier et ne change pas lorsque les données changent.

Définition rigoureuse. Cas particulier du précédent : procédure qui, appliquée à un jeu de données D = {(x₁, y₁), …, (xₙ, yₙ)} et à une configuration d'hyperparamètres λ, sélectionne un élément ĥ d'un espace d'hypothèses H selon un critère explicite évalué sur D. Formellement, A : (D, λ) ⟼ ĥ ∈ H.

Traduction en langage courant. La méthode qui, à partir d'un tableau d'exemples déjà étiquetés, fabrique la règle de décision. Elle décrit comment chercher, non ce qui sera trouvé. Trois éléments doivent être nommés pour qu'elle soit spécifiée : l'espace d'hypothèses parcouru (point 1.3), le critère évalué sur les données, et la stratégie de recherche (point 4.2).

Point de vigilance. L'algorithme est identique pour tous les projets qui l'emploient : RandomForestClassifier est le même chez tous les utilisateurs d'une version donnée de scikit-learn. Ce qui diffère d'un projet à l'autre est le modèle produit, jamais l'algorithme.

Définition rigoureuse. Ensemble H de toutes les fonctions candidates h : X → Y que l'algorithme est structurellement capable de produire, X désignant l'espace des variables explicatives et Y celui de la variable cible. H est déterminé conjointement par la famille de fonctions retenue et par les hyperparamètres qui en contraignent la forme : fixer max_depth=3 ne modifie pas l'algorithme, mais restreint H aux arbres de profondeur au plus 3.

Traduction en langage courant. L'ensemble de toutes les règles que la méthode a le droit de fabriquer : elle ne produira jamais une règle absente de cet ensemble, quelle que soit la quantité de données fournie. Pour une régression linéaire à deux variables, H est l'ensemble des fonctions h(x) = β₀ + β₁x₁ + β₂x₂, de cardinal infini mais paramétré par trois réels ; aucun jeu de données ne permettra d'y produire une fonction en escalier ou périodique.

Point de vigilance. Un modèle sous-performant l'est pour deux raisons distinctes : la bonne fonction n'appartient pas à H (erreur d'approximation, liée au choix de l'algorithme), ou elle y appartient sans avoir été trouvée (erreur d'estimation, liée aux données et à l'optimisation) — chapitre 032.

Définition rigoureuse (Mitchell, 1980). Ensemble des hypothèses supplémentaires, non déductibles des données d'entraînement, qu'un algorithme mobilise pour préférer certaines généralisations à d'autres parmi celles compatibles avec les données observées. Il se manifeste sous deux formes : la restriction de l'espace d'hypothèses et la préférence au sein de H, par exemple pour l'hypothèse la plus simple à performance égale.

Traduction en langage courant. Un jeu d'exemples ne détermine jamais une seule règle : une infinité de règles passent par les mêmes points. Le biais inductif est l'ensemble des préférences intégrées à la méthode, qui tranchent entre ces règles.

Résultat associé (Wolpert, 1996 — No Free Lunch). Moyenné sur l'ensemble de tous les problèmes possibles, aucun algorithme n'est supérieur à un autre : sa performance sur un problème donné provient de l'adéquation entre son biais inductif et la structure réelle du phénomène. Choisir un algorithme revient donc à parier sur cette structure (chapitre 049).

Point de vigilance. Un apprentissage sans biais inductif est impossible : un algorithme dépourvu de toute préférence ne pourrait rien affirmer sur une observation absente du jeu d'entraînement.

Définition rigoureuse. Élément ĥ ∈ H sélectionné par l'algorithme A à l'issue de son exécution sur un jeu de données D avec des hyperparamètres λ. Le modèle est entièrement spécifié par deux composantes : une structure — la forme fonctionnelle, fixée par A et λ — et un jeu de valeurs de paramètres ajusté à partir de D.

Définition opérationnelle. Artefact logiciel implémentant une fonction déterministe des variables explicatives vers l'espace de sortie, dont le comportement dépend intégralement du jeu de données sur lequel il a été ajusté, et qui peut être sérialisé, versionné, transporté et évalué indépendamment de la procédure qui l'a produit.

Traduction en langage courant. Le résultat de l'entraînement : une règle de décision figée, en mémoire ou en fichier, qui répond à une question précise pour une observation donnée.

Point de vigilance. Le modèle n'est pas le fichier : celui-ci n'en est qu'un support de sérialisation, au même titre qu'une partition n'est pas la musique. Un même modèle s'exporte en joblib, en ONNX ou en PMML sans changer de nature.

Une recette est un texte : elle ne se mange pas, ne se périme pas, reste identique quel que soit le nombre de fois où elle est exécutée et se photocopie sans perte. Le gâteau est un objet : il résulte de l'exécution de la recette sur des ingrédients précis, dans un four réglé d'une certaine manière, un jour donné. Deux gâteaux issus de la même recette diffèrent si les ingrédients diffèrent ; le gâteau se transporte, se date, se périme.

Limites de l'analogie. Le gâteau est un objet passif, alors que le modèle est une fonction entrée vers sortie (point 5.2) ; une part consommée n'est plus disponible, alors qu'un modèle produit un nombre illimité de prédictions sans s'épuiser ; enfin le gâteau se périme par altération physique, alors que le fichier d'un modèle ne se dégrade pas — c'est la distribution des données de production qui s'écarte de celle de l'entraînement (chapitre 082).

Définition rigoureuse. Conversion de l'état complet d'un objet en mémoire — structure et valeurs de paramètres — en une séquence d'octets persistante, permettant sa reconstitution ultérieure dans un processus distinct avec un comportement fonctionnellement identique.

Traduction en langage courant. Enregistrer le modèle dans un fichier de manière à pouvoir le recharger plus tard, ailleurs, sans avoir à le réentraîner. Les formats usuels sont joblib et pickle (écosystème Python, dépendants des versions), ONNX (interopérable entre langages et moteurs d'exécution), PMML (standard XML, familles de modèles limitées) et les formats natifs de bibliothèque, tel Booster.save_model pour XGBoost et LightGBM.

Point de vigilance. Un fichier joblib ou pickle reconstruit des objets Python arbitraires à la lecture : le charger sans en maîtriser la provenance équivaut à exécuter du code non vérifié. Par ailleurs, la désérialisation sous une version de bibliothèque différente n'est pas garantie : la version doit être enregistrée dans les métadonnées et vérifiée au chargement.

Définition rigoureuse. Exécution de l'algorithme A sur un jeu de données D avec des hyperparamètres λ, consistant à sélectionner dans H l'hypothèse ĥ qui optimise un critère explicite évalué sur D, éventuellement assorti d'un terme de régularisation :

ĥ = argmin sur h ∈ H de [ (1/n) · Σᵢ L(h(xᵢ), yᵢ) + Ω(h) ]

où L désigne la fonction de coût et Ω un terme pénalisant la complexité de l'hypothèse. Ce cadre est celui de la minimisation du risque empirique (Vapnik). La quantité minimisée est mesurée sur l'échantillon d'entraînement, non sur la population : cet écart est l'origine du surapprentissage (chapitre 031).

Traduction en langage courant. La phase d'étude : l'algorithme parcourt les exemples corrigés, ajuste ses paramètres pour se tromper le moins possible sur ces exemples, et s'arrête lorsque le critère ne s'améliore plus significativement.

Ce que l'entraînement ne fait pas. Il ne modifie pas les hyperparamètres, qui restent tels que fournis ; il n'accumule pas les appels successifs, un second fit écrasant intégralement l'état antérieur sauf recours à partial_fit ou warm_start ; il n'évalue pas le modèle produit, l'évaluation exigeant des données non vues.

Point de vigilance. Le critère optimisé pendant l'entraînement (la fonction de coût) et le critère d'évaluation métier (la métrique) sont distincts et coïncident rarement (chapitre 030).

Définition rigoureuse. Évaluation de la fonction ĥ en un point x de l'espace des variables explicatives, produisant une valeur ŷ = ĥ(x) de l'espace de sortie. L'observation x n'appartient pas nécessairement au jeu d'entraînement ; l'intérêt opérationnel réside précisément dans le cas où elle n'y appartient pas.

Traduction en langage courant. Donner une réponse pour un cas nouveau, en appliquant la règle apprise. La convention distingue y, valeur réelle observée, et ŷ, valeur produite par le modèle ; leur différence est le résidu (chapitre 066).

Point de vigilance. Le terme ne comporte aucune connotation temporelle. Un modèle diagnostiquant une pathologie sur des données présentes produit une prédiction au sens technique, bien qu'aucun futur ne soit en jeu.

Acception 1 — inférence au sens du Machine Learning (inference, serving). Opération consistant à évaluer un modèle entraîné sur des données nouvelles pour produire des prédictions. Synonyme de prédiction, le terme s'oppose à l'entraînement et domine le vocabulaire de l'ingénierie de production : inference server, inference latency, batch inference.

Acception 2 — inférence au sens statistique (statistical inference). Démarche consistant à estimer les caractéristiques d'une population à partir d'un échantillon et à quantifier l'incertitude associée : estimation ponctuelle, intervalle de confiance, test d'hypothèse, significativité. Tradition de Fisher, Neyman et Pearson.

Origine de l'ambiguïté. Les deux communautés emploient le même mot pour des opérations dont les objets s'opposent : une observation individuelle d'un côté, un paramètre de population de l'autre. La distinction est développée par Breiman (2001, Statistical Modeling: The Two Cultures) et Shmueli (2010, To Explain or to Predict?).

Point de vigilance. Un modèle très performant en prédiction ne fournit aucune garantie inférentielle : un coefficient élevé n'établit ni la significativité de l'effet, ni sa direction causale (chapitre 016).

Ce qui est déployé est un artefact — structure et valeurs de paramètres — issu de l'exécution de l'algorithme Random Forest sur un jeu de données déterminé, à une date déterminée. L'algorithme réside dans la bibliothèque installée.

Formulation correcte : « Nous avons déployé le modèle attrition_v3, obtenu par entraînement d'une forêt aléatoire sur les données de janvier à juin. »

L'algorithme exécute une procédure de recherche et ne conserve rien à l'issue de son exécution ; la connaissance induite réside dans les paramètres du modèle produit.

Formulation correcte : « L'algorithme a sélectionné, dans l'espace d'hypothèses, un modèle dont les coefficients indiquent une association négative entre ancienneté et résiliation. »

Réentraîner consiste à réexécuter le même algorithme, avec les mêmes hyperparamètres, sur des données actualisées : aucune ligne de code n'est modifiée. La confusion conduit à sous-estimer le coût réel du cycle de maintenance.

Formulation correcte : « Le réentraînement mensuel produit une nouvelle version du modèle sans modification du code d'entraînement. »

Les transformations de préparation comportent des paramètres appris sur les données d'entraînement : médianes d'imputation, modalités d'encodage, moyennes et écarts-types. Un estimateur sérialisé seul, alimenté par des transformations réimplémentées manuellement, produit des prédictions fausses sans erreur visible.

Formulation correcte : « L'artefact sérialisé est le pipeline complet, de la donnée brute à la prédiction, accompagné de ses métadonnées. »

Le terme désigne, selon la communauté, la production d'une prédiction sur une observation ou l'estimation d'un paramètre de population assortie d'une mesure d'incertitude : ni le même objet, ni les mêmes critères de validité.

Formulation correcte : « Le serveur d'inférence produit des prédictions. Les conclusions relatives à la population relèveraient d'une inférence statistique, que ce dispositif ne fournit pas. »