Variables explicatives et variable cible

Un enquêteur ne dispose jamais de la réponse. Il dispose d'indices : une empreinte, un horaire, un témoignage, une trace bancaire. Chaque indice est une information partielle, incomplète, parfois trompeuse. L'enquêteur ne peut raisonner que sur ce qu'il a collecté.

Les variables explicatives sont exactement ces indices : ce sont les seules informations que le modèle possède pour se prononcer. La variable cible est l'identité du coupable, c'est-à-dire ce que l'enquête doit établir.

Trois conséquences de cette analogie, toutes exactes techniquement :

• Un indice indisponible n'existe pas. Un enquêteur ne peut pas fonder sa déduction sur une vidéosurveillance qui n'a jamais été installée. Un modèle ne peut pas utiliser une variable qui ne sera pas renseignée au moment de la prédiction.
• Un indice postérieur au crime n'est pas un indice, c'est un aveu. Si l'enquêteur « déduit » l'identité du coupable à partir de la confession signée, il ne déduit rien. C'est le mécanisme de la fuite de données, traité au chapitre 028.
• La qualité des indices détermine la qualité de l'enquête, davantage que la méthode d'interrogatoire. Ce point est développé au point 6.8.

Définition rigoureuse

Grandeur mesurée ou construite, associée à chaque observation d'un jeu de données, dont les valeurs sont soumises au modèle en entrée et à partir desquelles celui-ci produit une estimation de la variable cible.

Formulation équivalente en théorie de l'apprentissage

Composante du vecteur d'entrée x appartenant à l'espace des caractéristiques 𝒳, sur lequel est définie la fonction de prédiction f : 𝒳 → 𝒴 que l'algorithme d'apprentissage sélectionne dans une classe d'hypothèses.

Traduction en langage courant

Une information que l'on donne à la machine pour l'aider à répondre.

Nature du concept

La variable explicative désigne un rôle fonctionnel, non un type de donnée. Une colonne n'est pas une variable explicative par nature : elle le devient par une décision de conception, révocable. La même colonne peut être explicative dans un projet, cible dans un autre, exclue dans un troisième. Ce point est développé au point 4.4.

Point de vigilance

Le terme explicative est trompeur pris au pied de la lettre. Une variable explicative n'explique rien au sens causal : elle apporte une information statistiquement associée à la cible. Une variable fortement prédictive peut n'entretenir aucun lien causal avec la cible et n'être qu'un indicateur indirect d'une cause commune non observée.

Définition rigoureuse

Variable dont les valeurs sont utilisées pour estimer celles d'une autre variable, indépendamment de toute prétention explicative ou causale.

Intérêt du terme

C'est le terme le plus honnête épistémologiquement pour le Machine Learning : il nomme exactement ce qui est recherché, à savoir un pouvoir prédictif, sans suggérer une compréhension du mécanisme sous-jacent.

Point de vigilance

Ne pas confondre prédicteur au sens de variable d'entrée, et prédicteur au sens de modèle entier, acception rencontrée dans la littérature anglophone où a predictor désigne parfois le système de prédiction complet. Le contexte lève l'ambiguïté ; en français, réserver le terme à la variable.

Régresseur (économétrie)

Variable figurant au membre droit d'une équation de régression, associée à un coefficient estimé. Dans le modèle y = β₀ + β₁x₁ + … + $\beta_p$ $x_p$ + ε, les $x_j$ sont les régresseurs et la variable expliquée y est le régressande.

Le terme est indissociable d'un modèle paramétrique explicite. Parler de « régresseurs » à propos d'une forêt aléatoire est un abus de langage : aucun coefficient n'y est associé à une variable.

Covariable (biostatistique)

Variable mesurée dont l'effet est pris en compte dans le modèle afin d'isoler l'effet d'une variable d'intérêt, typiquement un traitement. Dans un essai clinique évaluant un médicament, l'âge et le sexe des patients sont des covariables : ils ne sont pas l'objet de l'étude mais influencent l'issue.

Point de vigilance

Le vocabulaire de la covariable présuppose une hiérarchie entre variables : une variable d'intérêt, des variables d'ajustement. Cette hiérarchie n'existe pas en Machine Learning prédictif, où toutes les variables explicatives ont le même statut fonctionnel. Reprendre ce vocabulaire dans un projet de ML importe une structure conceptuelle sans objet.

Définition rigoureuse

Grandeur dont la valeur est inconnue au moment où le système doit se prononcer, et dont l'estimation constitue la finalité du modèle. En apprentissage supervisé, sa valeur observée est disponible pour les observations du jeu d'entraînement, ce qui autorise la constitution d'un signal d'erreur et donc l'apprentissage.

Position dans le formalisme

Élément y de l'espace de sortie 𝒴. Le couple (x, y) constitue un exemple étiqueté ; l'ensemble d'entraînement est une collection de tels couples supposés issus d'une distribution jointe P(X, Y) inconnue et fixe.

Traduction en langage courant

Ce que l'on veut que la machine devine.

Le critère discriminant de l'apprentissage supervisé

C'est l'existence d'une variable cible observée qui définit l'apprentissage supervisé et le sépare de l'apprentissage non supervisé (chapitre 003). En l'absence de cible, il n'existe aucun signal d'erreur, donc rien à minimiser, donc aucun apprentissage supervisé possible.

Point de vigilance

La variable cible n'est pas donnée par la nature. Elle est construite par une décision de conception qui fixe ce qui compte comme le phénomène à prédire et à quel horizon. Ce point est développé au point 3.4.

Définition rigoureuse

Valeur catégorielle attribuée à une observation, désignant son appartenance à l'une des modalités d'un ensemble fini de classes prédéfinies.

Le point discriminant

Label n'est pas un synonyme exact de target. Tout label est une cible, toute cible n'est pas un label.

Traduction en langage courant

L'étiquette collée sur l'exemple : « ceci est un spam », « ceci est une fraude ».

Point de vigilance

L'expression données étiquetées (labeled data) est employée dans la littérature pour désigner tout jeu de données comportant une cible observée, y compris en régression. L'usage est donc plus large que la définition stricte du label. Le chapitre 007 précise l'articulation entre label, classe et codage numérique.

Définition rigoureuse

Valeur de la variable cible tenue pour exacte, établie par une procédure de référence indépendante du modèle, et servant de référentiel pour l'apprentissage et l'évaluation.

Origine du terme

L'expression provient de la télédétection : la validation des interprétations d'images satellitaires exigeait des relevés effectués sur le terrain, au sol.

Point de vigilance majeur

La vérité terrain n'est pas la vérité. C'est une mesure, produite par un protocole faillible : annotation humaine sujette à désaccord, diagnostic médical imparfait, transaction frauduleuse non détectée et donc étiquetée « normale ». La performance mesurée d'un modèle est bornée par la qualité de l'étiquetage. Un modèle ne peut apprendre correctement une distinction que ses étiquettes n'encodent pas correctement.

Conséquence opérationnelle

Avant d'imputer une contre-performance à l'algorithme, vérifier le protocole d'étiquetage : qui a étiqueté, selon quelle définition, avec quel taux d'accord inter-annotateurs.

Définition rigoureuse dans le cadre expérimental d'origine

Dans un plan d'expérience, la variable indépendante est la grandeur dont l'expérimentateur fixe délibérément les valeurs, indépendamment de tout autre facteur du dispositif ; la variable dépendante est la grandeur mesurée dont on cherche à établir si elle varie en fonction de la première.

Contexte historique

Cette terminologie provient de la méthodologie expérimentale formalisée par Ronald Fisher (The Design of Experiments, 1935) et diffusée par la psychologie expérimentale. Elle suppose un dispositif dans lequel l'expérimentateur manipule une variable, contrôle les autres et randomise l'affectation des unités, ce qui autorise une inférence causale.

Traduction en langage courant

Ce que l'on règle soi-même, et ce que l'on observe en conséquence.

Point de vigilance

Ces conditions ne sont pratiquement jamais réunies en Machine Learning appliqué, qui opère sur des données observationnelles collectées sans plan d'expérience. Le vocabulaire subsiste, sa justification a disparu.

Définition rigoureuse

Représentation d'une observation sous forme d'un p-uplet ordonné de valeurs, une par variable explicative retenue :

$\displaystyle x = (x_{1}, x_{2}, \dots , x_p)^{\top} \in \mathbb{R} ^p$

où p désigne le nombre de variables explicatives et $x_j$ la valeur prise par la j-ième variable pour cette observation.

Trois propriétés contraignantes

1. L'ordre est fixé et signifiant. La j-ième composante correspond toujours à la même variable, pour toutes les observations. Une permutation entre l'entraînement et la prédiction produit des prédictions numériquement valides et sémantiquement absurdes.
2. La dimension est constante. Toutes les observations sont décrites par le même nombre de composantes. Une observation à laquelle il manque une variable ne peut être traitée telle quelle : elle exige une imputation ou une exclusion (chapitre 019).
3. Les composantes sont numériques. Les variables catégorielles doivent avoir été encodées au préalable (chapitre 022).

Traduction en langage courant

Une ligne du tableau, réduite aux colonnes utiles et convertie en une suite de nombres.

Définition rigoureuse

Matrice X ∈ $\mathbb{R}^{\text{n×p}}$ dont la i-ième ligne est le vecteur de caractéristiques xᵢᵀ de la i-ième observation et la j-ième colonne le vecteur des valeurs prises par la j-ième variable explicative sur les n observations.

Le vecteur cible associé est y ∈ $\mathcal{Y}^n$, où 𝒴 = ℝ en régression et 𝒴 = {c₁, …, $c_k$} en classification.

Origine du terme

Design matrix provient de la littérature des plans d'expérience, où les lignes de la matrice décrivaient la configuration expérimentale de chaque essai. Le terme est conservé en régression et en apprentissage statistique.

Convention de notation

X majuscule pour la matrice, y minuscule pour le vecteur cible : la casse signale la différence de dimensionnalité, deux dimensions contre une. Cette convention est universelle dans la littérature et dans les bibliothèques logicielles.

Définition rigoureuse

Ensemble 𝒳 de toutes les valeurs admissibles du vecteur de caractéristiques. Dans le cas usuel de p variables à valeurs réelles, 𝒳 ⊆ $\mathbb{R}^p$, muni d'une structure d'espace vectoriel normé permettant de définir une distance entre observations.

Formulation géométrique

Chaque observation est un point de cet espace ; chaque variable explicative est un axe ; le jeu de données est un nuage de n points dans un espace de dimension p. La tâche d'apprentissage consiste à identifier dans cet espace une structure — une frontière séparant des régions en classification, une surface de réponse en régression — qui reproduit correctement le lien entre position et valeur cible.

Traduction en langage courant

L'ensemble de toutes les fiches signalétiques possibles, vues comme des points sur une carte à p dimensions.

Point de vigilance

L'intuition géométrique acquise en dimension 2 ou 3 cesse d'être fiable au-delà. En grande dimension, le volume se concentre dans les régions périphériques, les distances entre paires de points deviennent presque toutes équivalentes, et la notion de voisinage perd son pouvoir discriminant. Ce phénomène, dit fléau de la dimension, affecte particulièrement les méthodes fondées sur les distances (chapitre 040).

Une carte plane possède deux axes, longitude et latitude. Chaque ville y occupe un point unique. Deux villes voisines sur la carte le sont dans la réalité : la proximité dans l'espace de représentation a un sens.

L'espace des caractéristiques est cette carte, avec p axes au lieu de deux. Deux clients dont les vecteurs de caractéristiques sont proches sont des clients « semblables » au sens des variables retenues.

Trois prolongements exacts de l'analogie :

• Changer les variables revient à changer de carte. Une carte des reliefs et une carte des réseaux ferroviaires placent les mêmes villes différemment proches. C'est l'enjeu du feature engineering : construire la carte sur laquelle le phénomène devient lisible.
• Changer d'unité déforme la carte. Si un axe est gradué en mètres et l'autre en kilomètres, la notion de proximité est dominée par le premier. C'est la justification de la mise à l'échelle (chapitre 023).
• Une carte à 300 axes n'est pas consultable à l'oeil. La visualisation exige une projection en deux ou trois dimensions, opération qui perd nécessairement de l'information (chapitre 015).

Définition rigoureuse

Une variable est disponible à l'instant de prédiction $t_{\mathrm{pred}}$ si sa valeur est observée, accessible et définitive dans les systèmes d'information à cet instant, pour toute observation sur laquelle le modèle devra se prononcer.

Formulation opérationnelle

Soit $t_{\mathrm{pred}}$ l'instant où la prédiction doit être produite et $t_{\mathrm{obs}}$ l'instant où la valeur de la variable devient effectivement connue. La variable est recevable si et seulement si :

$t_{\mathrm{obs}}$ ≤ $t_{\mathrm{pred}}$, pour toutes les observations, sans exception

Traduction en langage courant

Aurai-je réellement cette information au moment de devoir répondre, ou seulement dans mon historique parce que je regarde le passé ?

Point de vigilance

Le jeu de données historique est constitué a posteriori : il contient naturellement des informations accumulées après l'instant de décision. Rien dans le fichier ne distingue une variable disponible d'une variable postérieure. Seule une connaissance du processus métier permet de trancher. Cette vérification ne peut pas être automatisée.

Définition rigoureuse

Présence, parmi les informations utilisées pour construire le modèle, d'une information qui ne sera pas légitimement disponible à l'instant de la prédiction, ou qui est déterminée par la valeur de la cible, entraînant une surestimation de la performance mesurée et une défaillance en production.

Traduction en langage courant

Le modèle a vu la réponse, directement ou indirectement, pendant son apprentissage.

Les deux grandes familles

Signal d'alerte le plus fiable

Une performance nettement supérieure aux attentes du métier. Un modèle qui atteint 0,99 d'AUC sur un problème réputé difficile doit être suspecté de fuite avant d'être célébré.

Point de vigilance

La fuite ne provoque aucune erreur d'exécution. Elle produit d'excellents résultats. C'est précisément ce qui la rend dangereuse : rien n'invite à la chercher.

La disponibilité d'une colonne dans un fichier historique n'établit ni sa disponibilité au moment de la prédiction, ni sa légitimité. Identifiants, variables de conséquence et variables consolidées tardivement doivent être écartés avant toute modélisation.

Formulation correcte : « Une colonne devient une variable explicative après avoir satisfait quatre critères : disponibilité à l'instant de prédiction, absence de fuite, plausibilité métier et licéité. »

Le qualificatif provient du cadre expérimental où la variable est fixée par l'expérimentateur indépendamment du dispositif. Il ne prescrit aucune indépendance statistique entre les variables d'entrée, lesquelles sont généralement corrélées.

Formulation correcte : « Le terme indépendante est un héritage du plan d'expérience ; la corrélation entre variables explicatives est un phénomène distinct, la multicolinéarité, traitée au chapitre 017. »

Label désigne une valeur catégorielle assignée à une observation. Une cible numérique continue est une target sans être un label. Parler du « label » d'un problème de régression est un abus de langage qui signale une maîtrise incomplète du vocabulaire.

Formulation correcte : « La cible est un label en classification et une valeur numérique en régression ; target couvre les deux cas, label seulement le premier. »

Aucune grandeur n'est explicative ou cible par nature. Le montant d'une transaction est cible dans un projet de prévision du panier moyen et explicative dans un projet de détection de fraude.

Formulation correcte : « Le rôle d'une variable est assigné par la question posée, non par la variable elle-même. »

L'ajout de variables non informatives augmente la dimension de l'espace des caractéristiques, accroît la variance de l'estimation, favorise le surapprentissage et alourdit la chaîne de production. La relation entre nombre de variables et performance en généralisation n'est pas monotone.

Formulation correcte : « L'information pertinente améliore le modèle ; le nombre de colonnes, en lui-même, ne l'améliore pas. »

L'encodage des variables catégorielles, la construction de variables dérivées et la sélection modifient la dimension p. Sept colonnes sources peuvent produire onze dimensions, ou plusieurs centaines avec des variables à forte cardinalité.

Formulation correcte : « p désigne le nombre de composantes du vecteur effectivement soumis au modèle, après préparation. »

L'ordre des leviers est établi : définition de la cible, élimination des fuites, enrichissement de l'information, puis seulement choix de l'algorithme et optimisation des hyperparamètres. Inverser cet ordre conduit à consommer un budget important pour un gain marginal.

Formulation correcte : « Avant de changer de modèle, vérifier que l'information nécessaire à la prédiction figure effectivement dans les entrées. »

L'étiquetage est produit par un protocole faillible. Les désaccords entre annotateurs, les diagnostics erronés et les fraudes non détectées introduisent un bruit dans la cible qui borne la performance atteignable.

Formulation correcte : « La vérité terrain est une mesure de référence, non la vérité ; la qualité de l'étiquetage conditionne le plafond de performance du modèle. »