Les trois paradigmes d'apprentissage

Signal d'apprentissage — définition rigoureuse

Information exploitée par un algorithme pour évaluer la qualité de l'hypothèse courante et en dériver une direction de correction de ses paramètres. Il prend la forme d'une valeur cible associée à chaque observation, d'un critère interne de cohérence défini sur les données seules, ou d'un scalaire de récompense émis par un environnement en réponse à une action.

Paradigme d'apprentissage — définition rigoureuse

Classe de problèmes définie par la nature du signal disponible et, par voie de conséquence, par la forme du problème d'optimisation posé : minimisation d'un risque empirique sur des couples étiquetés, optimisation d'un critère interne de structure, ou maximisation d'une espérance de récompense cumulée.

Traduction en langage courant

Le signal est ce qui permet à l'algorithme de savoir s'il se trompe ; le paradigme est la famille de problèmes définie par ce dont on dispose pour apprendre.

Point de vigilance

En l'absence de tout signal, il n'y a pas d'apprentissage au sens de Mitchell (1997) : sans mesure de performance P, aucune expérience E ne peut améliorer quoi que ce soit.

Définition rigoureuse

Soit un espace d'entrée X et un espace de sortie Y. On dispose d'un échantillon d'apprentissage de n couples

S = { (x_1, y_1), ..., (x_n, y_n) },  x_i ∈ X,  y_i ∈ Y

supposés issus d'un tirage indépendant et identiquement distribué selon une loi jointe P(X, Y) inconnue et fixe. L'apprentissage supervisé consiste à sélectionner, dans une classe d'hypothèses H, une fonction f: X → Y minimisant le risque espéré R(f) = E[ L(f(X), Y) ], où L est une fonction de perte mesurant l'écart entre valeur prédite et valeur observée. La loi P étant inconnue, l'algorithme minimise en pratique le risque empirique calculé sur S, sous contrainte de régularisation.

Traduction en langage courant

On fournit des exemples dont la bonne réponse est connue, et on demande à l'algorithme de construire la fonction qui reproduit au mieux cette correspondance, afin de l'appliquer à des cas dont la réponse est inconnue.

Le terme « supervisé »

Il renvoie à la présence d'un superviseur — opérateur, processus ou observation ultérieure — ayant fourni la valeur correcte pour chaque exemple, lors de la constitution du jeu de données et jamais pendant l'entraînement.

Point de vigilance

L'hypothèse de distribution fixe est structurante. Lorsque P(X, Y) évolue entre l'entraînement et l'exploitation, le risque empirique cesse d'estimer le risque espéré et la performance se dégrade : phénomène traité au chapitre 082.

Définition rigoureuse

Observation pour laquelle la valeur de la variable cible est renseignée, en sus des variables explicatives, cette valeur étant définie de manière univoque et homogène sur l'ensemble du jeu de données.

Traduction en langage courant

Une ligne du tableau pour laquelle la réponse est déjà connue.

Provenance des étiquettes

Observation différée (le crédit a été remboursé ou non), annotation humaine (un radiologue qualifie un cliché), enregistrement système (le client a résilié) ou mesure physique (la pièce a rompu à 412 heures).

Point de vigilance

Le coût d'obtention des étiquettes est fréquemment le facteur limitant d'un projet supervisé : les variables explicatives sont abondantes, les étiquettes rarement.

Définition rigoureuse

Problème d'apprentissage supervisé dans lequel l'espace de sortie Y est un ensemble fini de modalités { $c_1$, ..., $c_k$ }. Le modèle estime généralement la probabilité conditionnelle P(Y = $c_j$ | X = x), la classe prédite résultant de l'application d'une règle de décision à ce vecteur de probabilités.

Traduction en langage courant

Ranger chaque observation dans l'une des catégories prévues à l'avance.

Sous-types : binaire (2 modalités exclusives), multiclasse (k modalités exclusives), multi-étiquettes (k modalités cumulables), ordinale (k modalités ordonnées, par exemple une notation de risque de A à E).

Point de vigilance

Les modalités sont définies avant l'entraînement et font partie de la spécification du problème. Un modèle de classification ne peut pas produire une classe qu'il n'a jamais rencontrée.

Définition rigoureuse

Problème d'apprentissage supervisé dans lequel l'espace de sortie Y est un sous-ensemble des réels. Le modèle estime une fonction de régression, le plus souvent l'espérance conditionnelle E[Y | X = x], par minimisation d'une perte quadratique ou absolue.

Traduction en langage courant

Estimer un nombre plutôt qu'une catégorie.

Avertissement terminologique

Le mot « régression » ne comporte, dans son usage moderne, aucun sens de recul ou de retour en arrière. Il est hérité des travaux de Francis Galton (1886) sur la transmission de la taille entre générations, qui décrivaient une régression vers la moyenne : les enfants de parents de très grande taille tendaient à être, en moyenne, moins grands que leurs parents. Le terme désignait un phénomène statistique particulier ; il a ensuite été étendu à la méthode d'ajustement employée pour le mettre en évidence, puis à toute prédiction d'une grandeur numérique. Aucune inférence ne doit donc être tirée du mot lui-même : « régression » signifie uniquement que la cible est un nombre.

Confusion à ne pas commettre

La régression logistique est un algorithme de classification, malgré son nom : elle régresse le logarithme du rapport de cotes sur les variables explicatives et produit une probabilité d'appartenance à une classe.

Un élève prépare un examen à partir d'annales. Chaque annale comporte un énoncé et un corrigé. L'élève résout l'énoncé, compare sa production au corrigé, identifie l'écart, ajuste sa méthode. Après un nombre suffisant d'exercices, il affronte un sujet inédit dont le corrigé n'existe pas encore.

Prolongements

L'élève qui mémorise les corrigés sans acquérir la méthode réussit les annales et échoue au sujet inédit : c'est le surapprentissage, traité au chapitre 040. L'élève qui dispose du corrigé pendant l'examen obtient une note excellente qui ne mesure rien : c'est la fuite de données, traitée au chapitre 028.

Limite de l'analogie

L'élève comprend ce qu'il fait et transpose à un domaine voisin. Le modèle n'établit qu'une correspondance statistique et ne transpose pas hors du domaine couvert par ses données d'entraînement.

Définition rigoureuse

Classe de problèmes dans lesquels on dispose d'un échantillon { $x_1$, ..., $x_n$ }, $x_i$ ∈ X, sans variable cible associée. L'objectif est d'estimer une structure de la distribution P(X) : partition de l'espace des observations, sous-variété de faible dimension approchant le nuage de points, densité, ou régularités de co-occurrence. L'optimisation porte sur un critère défini exclusivement à partir des données, sans référence à une valeur attendue.

Traduction en langage courant

On fournit des observations sans aucune réponse associée et on demande à l'algorithme de faire apparaître l'organisation interne de ces données.

Le terme « non supervisé »

Il indique l'absence de réponse de référence, non l'absence d'intervention humaine : choix des variables, de la distance, du nombre de groupes et de la normalisation relèvent entièrement de l'analyste.

Point de vigilance

Un algorithme non supervisé produit toujours un résultat, y compris lorsque les données ne comportent aucune structure : un partitionnement en quatre groupes renverra quatre groupes sur un nuage parfaitement uniforme. La production d'un résultat n'atteste donc jamais l'existence d'une structure.

Définition rigoureuse

Problème consistant à construire une partition ou un recouvrement d'un ensemble d'observations en groupes tels qu'une mesure de similarité intra-groupe soit maximale et la similarité inter-groupes minimale, au sens d'une distance spécifiée par l'analyste. Une méthode de partitionnement par inertie minimise ainsi la somme des carrés des écarts internes :

argmin  Σ      Σ      || x - μ_j ||²
   C   j=1..k  x ∈ C_j

où $\mu_j$ désigne le centre du groupe $C_j$.

Traduction en langage courant

Regrouper les observations qui se ressemblent, sans savoir à l'avance quels groupes existent ni combien il y en a.

Paramètres à la charge de l'analyste

Nombre de groupes, mesure de distance, normalisation, sélection des variables. Chacun de ces choix modifie le résultat ; il n'existe pas de partition « vraie » qu'un algorithme découvrirait indépendamment d'eux.

Point de vigilance

Les groupes produits n'ont pas de nom. Leur dénomination et leur interprétation sont un acte métier postérieur à l'algorithme, jamais une sortie de celui-ci.

Définition rigoureuse

Problème consistant à construire une application g: X → Z, avec dim(Z) < dim(X), préservant au mieux une propriété de la distribution d'origine : variance expliquée pour l'analyse en composantes principales, structure de voisinage local pour les méthodes de plongement non linéaire, capacité de reconstruction pour les auto-encodeurs. Le critère optimisé est interne aux données.

Traduction en langage courant

Représenter les mêmes observations avec moins de variables, en perdant le moins d'information possible.

Finalités opérationnelles : visualisation, compression, débruitage, prétraitement d'un modèle supervisé, atténuation du fléau de la dimension.

Point de vigilance

Employée en amont d'un modèle supervisé, la réduction de dimension doit être ajustée sur les seules données d'entraînement puis appliquée telle quelle aux données de validation et de test. L'ajuster sur l'ensemble des données constitue une fuite de données, traitée au chapitre 028.

Définition rigoureuse

Cadre d'apprentissage dans lequel un agent interagit séquentiellement avec un environnement. À chaque pas de temps t, l'agent observe un état $s_t$, choisit une action $a_t$ selon une politique π, reçoit une récompense scalaire $r_{t+1}$ et observe un nouvel état $s_{t+1}$. Le problème est le plus souvent formalisé comme un processus de décision markovien (S, A, P, R, γ), avec γ ∈ [0, 1[ le facteur d'actualisation. L'objectif est de déterminer une politique π maximisant l'espérance du gain cumulé actualisé :

Référence de synthèse : Sutton et Barto, Reinforcement Learning: An Introduction (1998, seconde édition 2018).

Traduction en langage courant

L'agent n'apprend pas à partir de bonnes réponses fournies à l'avance mais par essais successifs : il agit, l'environnement le sanctionne ou le récompense, et il ajuste sa stratégie de façon à accumuler le plus de récompense possible.

Ce qui distingue la récompense d'une étiquette

L'étiquette indique la bonne réponse, préexiste à l'entraînement et concerne une observation isolée. La récompense évalue la réponse produite, est engendrée pendant l'interaction, porte sur une séquence d'actions et dépend des actions du modèle lui-même.

Point de vigilance

Le caractère différé de la récompense engendre le problème d'attribution du mérite : lorsqu'une récompense survient au terme de centaines d'actions, déterminer lesquelles y ont contribué constitue la difficulté centrale du paradigme.

Apprendre à faire du vélo ne procède pas d'un corrigé : personne ne peut fournir, pour chaque milliseconde, la valeur exacte de l'angle du guidon et de l'inclinaison du buste. La consigne « garde l'équilibre » n'est pas une étiquette. Le signal disponible est une conséquence : l'apprenti tient debout, ou il tombe. Le lien entre le geste fautif et sa conséquence est différé de quelques secondes.

Ce que l'analogie met en évidence

La compétence est acquise par interaction et non par mémorisation de couples question-réponse : elle ne peut pas être transmise par un exposé, et son acquisition exige un grand nombre d'essais, y compris infructueux. Un enfant tombe quelques dizaines de fois ; un agent artificiel requiert couramment des millions d'épisodes. Lorsque chaque épisode a un coût matériel ou humain, l'entraînement en conditions réelles devient impraticable — d'où l'exigence d'un simulateur.

Définition rigoureuse

Classe de problèmes dans lesquels l'échantillon réunit un sous-ensemble étiqueté $S_l$ = { ($x_i$, $y_i$) } de taille l et un sous-ensemble non étiqueté $S_u$ = { $x_j$ } de taille u, avec généralement u >> l. Les méthodes exploitent la distribution marginale P(X) estimée sur $S_u$ pour contraindre l'estimation de P(Y | X) apprise sur $S_l$, sous des hypothèses de régularité : continuité, groupement, variété.

Traduction en langage courant

On dispose de beaucoup d'observations et de peu de réponses connues ; la masse non étiquetée sert à mieux tirer parti du petit nombre d'étiquettes disponibles.

Point de vigilance

Les hypothèses de régularité ne sont pas toujours satisfaites. Lorsqu'elles ne le sont pas, l'ajout de données non étiquetées peut dégrader la performance par rapport à un modèle entraîné sur les seules données étiquetées.

Définition rigoureuse

Classe de méthodes dans lesquelles la variable cible est construite automatiquement à partir de la structure interne des données, sans intervention d'un annotateur. Une tâche dite prétexte est définie de sorte que son étiquette soit déductible de la donnée brute ; le modèle est entraîné sur cette tâche par minimisation d'un risque empirique classique, puis la représentation obtenue est réutilisée pour la tâche cible.

Traduction en langage courant

L'algorithme fabrique lui-même ses exercices et leurs corrigés à partir des données brutes, ce qui supprime le coût d'annotation.

Précision déterminante

La mécanique d'apprentissage demeure strictement supervisée : il existe une valeur cible, une fonction de perte, une comparaison entre prédiction et cible. Seule la provenance de l'étiquette change — extraite des données au lieu d'être fournie par un opérateur. L'auto-supervisé n'est donc pas un quatrième paradigme, mais une modalité d'obtention des étiquettes.

Point de vigilance

La qualité de la représentation dépend entièrement de la pertinence de la tâche prétexte. Une tâche résoluble par un artefact superficiel produit une représentation sans valeur pour la tâche cible.

Définition rigoureuse

Problème consistant à identifier les observations dont la génération est improbable au regard de la distribution des observations dites normales. Selon la disponibilité d'exemples d'anomalies étiquetés, il se formule comme une classification supervisée fortement déséquilibrée, comme une estimation de densité ou de support non supervisée, ou comme une classification à une classe.

Traduction en langage courant

Repérer ce qui sort de l'ordinaire, que l'on dispose ou non d'exemples de cas anormaux.

Position taxonomique

La détection d'anomalies est à cheval sur deux paradigmes. Elle ne constitue pas une famille supplémentaire : elle désigne une finalité métier traitable dans l'un ou l'autre paradigme selon les données disponibles.

Un service marketing demande un modèle prédisant « les clients à fort potentiel ». Aucune variable de ce nom n'existe dans le système d'information : l'intention de prédire ne suffit pas à créer un problème supervisé. Deux issues sont possibles, et une seule doit être choisie explicitement : définir une cible mesurable et vérifiable dans l'historique — par exemple « chiffre d'affaires des 12 mois suivants supérieur à 5 000 $ » — ou assumer une démarche exploratoire non supervisée produisant des groupes à interpréter.

Formulation correcte : « Un problème supervisé requiert une variable cible définie, mesurable et présente dans l'historique. Tant qu'elle n'est pas constituée, il n'y a pas de problème supervisé. »

Les deux produisent des groupes, ce qui suffit à entretenir la confusion. Le critère discriminant n'est pas la sortie mais l'entrée : les classes préexistent-elles dans les données d'entraînement ? Une conséquence est régulièrement observée : un clustering présenté comme un modèle prédictif, assorti d'une prétendue mesure d'exactitude, laquelle est sans objet en l'absence de partition de référence.

Formulation correcte : « La classification affecte une observation à des classes définies au préalable et apprises sur des exemples étiquetés ; le clustering constitue des groupes à partir des seules similarités, sans classes préexistantes ni exactitude mesurable. »

L'absence d'étiquettes allège la collecte et donne l'impression d'un problème moins exigeant. C'est l'inverse sur le plan de la validation : sans vérité de référence, le projet est privé de critère objectif d'arrêt, et le nombre de groupes, la distance et la normalisation relèvent de choix qu'aucune métrique ne tranche. Un projet supervisé se conclut par une performance chiffrée sur un jeu de test ; un projet non supervisé, par une décision d'acceptation métier.

Formulation correcte : « L'apprentissage non supervisé est moins exigeant en données étiquetées et plus exigeant en interprétation : sa difficulté est déplacée de la collecte vers la validation. »

L'énumération « supervisé, non supervisé, renforcement, Deep Learning » mélange deux plans de classement. Les trois premiers termes désignent des paradigmes, définis par la nature du signal d'apprentissage ; le quatrième désigne une classe de modèles, définie par une architecture. Un réseau de neurones entraîné sur des images étiquetées relève du supervisé, un auto-encodeur du non supervisé, un réseau optimisant une politique par récompense du renforcement.

Formulation correcte : « Le Deep Learning est une classe de modèles mobilisable dans les trois paradigmes ; il se situe sur un autre plan de classement. »

Pour prédire l'attrition à 90 jours, une équipe retient comme variable explicative le nombre d'appels au service de résiliation. La performance est excellente en validation et nulle en production : au moment où la prédiction doit être produite, cet appel n'a pas encore eu lieu. La variable n'est pas prédictive, elle est constitutive de l'événement à prédire. Cette forme de fuite de données, traitée au chapitre 028, n'est pas détectable par les métriques : elle les améliore.

Règle de contrôle : pour chaque variable explicative, vérifier que sa valeur serait effectivement disponible à l'instant où le modèle sera interrogé en production.

Formulation correcte : « L'étiquette est postérieure aux variables explicatives ; toute information contemporaine ou postérieure à la réalisation de la cible doit être exclue du jeu d'entraînement. »

« La santé, c'est du supervisé » ou « le marketing, c'est du clustering » sont des énoncés sans fondement. La santé donne lieu à la prédiction d'une réadmission (supervisé), à l'identification de sous-groupes de patients (non supervisé) et à l'adaptation séquentielle d'un protocole de dosage (renforcement). Le marketing donne lieu à la prédiction d'une résiliation, à une segmentation et à l'allocation dynamique d'offres par bandits.

Formulation correcte : « Le paradigme se détermine par la nature du signal d'apprentissage disponible, jamais par le secteur d'activité. »