Programmation déterministe et apprentissage inductif

33 min
Bloc 0 — Situer l'apprentissage supervisé
Objectif
maîtriser le renversement de paradigme qui fonde le Machine Learning, savoir décider si un problème relève d'une approche déterministe ou d'une approche inductive, et savoir justifier cette décision par le coût des erreurs et par la répartition des rôles entre humain et machine.
Durée estimée
35 minutes
Prérequis
chapitre 001
Quiz associés
002.1-quiz-renversement-paradigme.md à 002.7-quiz-roles-humain-machine.md

1. Le renversement de paradigme

Le chapitre 001 a posé que le Machine Learning est une approche de l'intelligence artificielle fondée sur l'induction. Ce chapitre établit ce que cette formule implique dans la conception d'un système.

1.1 Les deux schémas

Les deux paradigmes mobilisent les mêmes trois objets — règles, données, réponses — et n'en changent que la position dans la chaîne de production.

ParadigmeEntrées fourniesSortie produiteAuteur des règles
Programmation déterministeRègles + DonnéesRéponsesUn concepteur humain
Apprentissage inductifDonnées + RéponsesRèglesL'algorithme, à partir des observations

Le point discriminant : dans le premier paradigme, la règle est une entrée du système ; dans le second, elle en est la sortie.

1.2 Ce qu'est une règle de décision

DÉFINITION — Règle de décision

Définition rigoureuse

Application déterministe d'un espace de descriptions X vers un espace de décisions Y, associant à toute description x de X une décision unique de Y : formellement, une fonction h : X → Y. En classification, Y est un ensemble fini de modalités ; en régression, un intervalle de nombres réels.

Traduction en langage courant

Un procédé qui, pour toute situation décrite, renvoie une décision et une seule.

Point essentiel

Cette définition ne présuppose rien de l'origine de la règle. Une clause SI ... ALORS ..., un barème réglementaire, un arbre appris sur 200 000 dossiers et un réseau de neurones sont tous des règles de décision au sens de cette définition ; ils ne diffèrent que par la façon dont h a été obtenue.

Point de vigilance

Un modèle n'est pas moins une règle qu'une clause écrite à la main : c'est une règle dont personne n'a rédigé l'énoncé. Cette propriété fonde à la fois sa puissance et sa difficulté d'audit.

1.3 Déduction et induction

Les deux paradigmes relèvent de deux modes d'inférence distincts, identifiés par la logique bien avant l'informatique.

DÉFINITION — Déduction et induction

Déduction

Mode d'inférence par lequel une conclusion est dérivée de prémisses selon des règles de transformation préservant la vérité. Si les prémisses sont vraies et la dérivation valide, la conclusion est nécessairement vraie. Illustration : « Tout envoi contenant une pièce jointe exécutable est bloqué. Cet envoi en contient une. Donc il est bloqué. »

Induction

Mode d'inférence par lequel une proposition générale est formée à partir d'un ensemble fini d'observations particulières. La conclusion excède le contenu des prémisses : elle n'est pas garantie, seulement plus ou moins probable au vu des observations. Illustration : « Sur 40 000 courriels observés, ceux présentant certaines combinaisons de termes ont été signalés comme indésirables dans 96 % des cas. Donc un nouvel envoi présentant ces combinaisons est probablement indésirable. »

Le problème de l'induction

L'induction ne fournit aucune garantie logique. La théorie statistique de l'apprentissage (Vapnik et Chervonenkis, années 1970) ne lève pas cette objection : elle la borne par des garanties probabilistes conditionnées à des hypothèses explicites, dont la principale est que les données futures proviennent de la même distribution que les données d'apprentissage.

Conséquence opérationnelle

Un système déterministe est faux quand sa règle est fausse. Un système inductif est faux une partie du temps par construction, y compris lorsque tout a été correctement réalisé.

CritèreDéductionInduction
Sens de l'inférenceDu général au particulierDu particulier au général
Statut de la conclusionNécessaire si les prémisses sont vraiesProbable, révisable
Contenu de la conclusionContenu dans les prémissesExcède les prémisses
Effet d'une observation nouvelleAucun sur la règlePeut réviser la règle
Paradigme correspondantProgrammation déterministeMachine Learning
Mode de défaillanceRègle mal spécifiéeGénéralisation insuffisante

1.4 La fonction cible inconnue

DÉFINITION — Fonction cible f et hypothèse f chapeau

Définition rigoureuse

On postule l'existence d'une fonction cible f : X → Y, inconnue, reliant l'espace des descriptions X à l'espace des valeurs à prédire Y ; elle n'est accessible qu'à travers un échantillon fini de couples observés (x₁, y₁), ..., (xₙ, yₙ). L'algorithme sélectionne, dans un ensemble d'hypothèses H fixé par le choix de la famille de modèles, une hypothèse f̂ (« f chapeau ») minimisant une mesure d'erreur sur l'échantillon, dans l'espoir que f̂ approche f sur l'ensemble du domaine.

Traduction en langage courant

Il existe une relation réelle entre ce que l'on observe et ce que l'on veut prédire. Personne n'en connaît l'énoncé ; on en construit une imitation à partir des exemples disponibles.

Les trois écarts entre f̂ et f

  • H peut ne contenir aucune fonction proche de f — erreur d'approximation, liée au choix du modèle.
  • L'échantillon est fini et bruité — erreur d'estimation, liée aux données.
  • La relation peut varier dans le temps — dérive, traitée au chapitre 082.

Point de vigilance

L'existence de f est une hypothèse de travail, pas un fait établi. Lorsque la cible dépend de facteurs absents des descriptions x, aucune fonction de X vers Y n'est exacte, quel que soit l'algorithme. Ce point est développé au point 5.


2. Étude de cas : la dérive d'un système à base de règles

Le cas suivant reconstitue une trajectoire typique du filtrage de courriels entre le milieu des années 1990 et le milieu des années 2000. Les ordres de grandeur sont représentatifs.

2.1 Chronologie

Mois 1 — trois règles suffisent.

SI l'objet contient "viagra"        ALORS spam
SI l'objet contient "loterie"       ALORS spam
SI le corps contient "cliquez ici"  ALORS spam

Trois règles écrites en une demi-journée interceptent 82 % des envois indésirables, pour un coût de maintenance nul.

Mois 3 — l'obfuscation. Les émetteurs modifient l'orthographe des termes filtrés : V1AGRA, V-I-A-G-R-A, VÍAGRA, \/IAGRA, Vi@gra, ou la même graphie en caractères cyrilliques homoglyphes. Le taux d'interception tombe à 51 % en trois semaines ; l'équipe ajoute une règle par graphie observée et le corpus passe de 3 à 47 règles.

Mois 6 — les faux positifs. Les règles accumulées bloquent des envois légitimes : la correspondance d'une pharmacie partenaire, une lettre d'information médicale suivie par 4 000 clients, les campagnes du marketing interne qui contiennent « cliquez ici ». Trois incidents remontent à la direction en un mois. L'équipe n'ose plus supprimer de règles, chacune interceptant du spam réel : elle ajoute des exceptions, listes d'expéditeurs autorisés et dérogations par domaine. Le corpus passe à 210 règles, dont 60 règles d'exception à d'autres règles.

Mois 12 — les nouveaux vecteurs. Le texte passe en image, puis en pièce jointe, puis est fragmenté par des caractères invisibles ; chaque vecteur exige une famille de règles distincte : 610 règles.

Mois 24 — l'ingérabilité.

IndicateurMois 1Mois 6Mois 12Mois 24
Nombre de règles32106101 800
Taux d'interception82 %79 %77 %76 %
Taux de faux positifs0,1 %0,9 %1,6 %2,3 %
Personnes affectées à la maintenance0123
Délai de réaction à une campagne nouvelle1 jour3 jours7 jours11 jours
Part des règles dont l'auteur est identifiable100 %70 %35 %12 %

Aucune personne de l'équipe ne connaît l'ensemble des 1 800 règles et toute modification produit des régressions imprévisibles ailleurs dans le corpus. La performance a baissé malgré un effort de maintenance multiplié par trois.

2.2 Les trois mécanismes de dégradation

L'échec n'est pas imputable à l'incompétence de l'équipe. Il est structurel.

MécanismeEffet sur le corpus de règlesGrandeur en jeu
Explosion combinatoireLe nombre de cas à couvrir croît plus vite que la capacité d'écritureNombre de variantes d'un motif
Couplage entre règlesToute règle nouvelle modifie le comportement des règles existantesNombre de paires de règles
Obsolescence adversarialeLes règles se périment à un rythme imposé par un tiers hostileÉcart entre cycle d'attaque et cycle de correction

Mécanisme 1 — l'explosion combinatoire. Un unique terme de six caractères admet un nombre de graphies équivalentes qui croît multiplicativement : quatre substitutions plausibles pour la voyelle i, quatre pour le a, deux pour le g donnent déjà plusieurs dizaines de formes, et l'insertion facultative d'un séparateur entre chacune des cinq positions internes multiplie ce nombre par 2⁵ = 32. L'ordre de grandeur dépasse 10⁴ formes pour un seul mot. L'écriture manuelle progresse linéairement quand l'espace à couvrir croît exponentiellement : aucun effort de maintenance ne referme cet écart.

Mécanisme 2 — le couplage entre règles. Un corpus de n règles présente n(n−1)/2 paires susceptibles d'interagir.

Nombre de règles3472106101 800
Nombre de paires31 08121 945185 7451 619 100

Vérifier qu'une règle nouvelle n'entre en conflit avec aucune autre suppose d'examiner 1 800 interactions à chaque ajout. Cette vérification n'étant pas réalisable manuellement, elle n'est pas effectuée : les régressions sont découvertes en production, par les utilisateurs.

Mécanisme 3 — l'obsolescence face à un adversaire adaptatif.

DÉFINITION — Adversaire adaptatif

Définition rigoureuse

Agent dont la fonction objectif inclut le contournement du système de décision, et qui dispose d'un signal d'observation sur les décisions de ce système lui permettant d'ajuster son comportement.

Traduction en langage courant

Un acteur qui a intérêt à tromper le système, qui voit ce qui passe et ce qui est bloqué, et adapte ses envois en conséquence.

La propriété critique : l'asymétrie des cycles

L'émetteur teste une variante et observe le résultat en quelques heures, pour un coût quasi nul ; l'équipe doit constater la baisse, diagnostiquer le vecteur, rédiger la règle, vérifier son innocuité et la déployer, soit plusieurs jours. Tant que l'attaquant itère plus vite que le défenseur, la performance tend vers celle d'un système qui ne filtre plus que les campagnes obsolètes.

Point de vigilance

Cette propriété n'est pas propre aux systèmes à base de règles : un modèle confronté à un adversaire adaptatif se dégrade également. La différence tient au coût unitaire de la mise à jour — réentraîner est outillé et répétable, réécrire 1 800 règles ne l'est pas.

2.3 La reformulation inductive

Plutôt que de spécifier les motifs caractéristiques du spam, on constitue un corpus de courriels dont la nature est connue et l'algorithme identifie les régularités discriminantes.

DimensionSystème à base de règlesSystème inductif
Réaction à une graphie nouvelleÉcriture d'une règle dédiéeAbsorbée si le corpus est réactualisé
Effort d'adaptationProportionnel au nombre de variantesConstant : réentraîner
Source du signalL'analyste qui observeLes signalements des utilisateurs
Effet du volume de traficCharge de maintenance croissanteRessource supplémentaire pour le modèle
Lisibilité de la décisionÉlevée : la règle déclenchée est nomméeRéduite : pondération de nombreux indices

Point de vigilance : la reformulation inductive ne supprime pas le travail, elle le déplace vers la maintenance d'un corpus étiqueté, d'une chaîne de réentraînement et d'une surveillance de la performance. Le gain tient à ce que ce travail est outillable et répétable, non à sa disparition.


3. Critères de choix entre approche déterministe et approche inductive

3.1 Arbre de décision

L'ordre des questions n'est pas indifférent : la première n'est jamais « quel algorithme employer » mais « la règle est-elle connue ». Le Machine Learning n'est pertinent que lorsque la réponse est négative.

3.2 Les six conditions d'applicabilité

ConditionJustificationIllustration
La règle n'est pas formalisableLes critères de décision ne sont pas verbalisables, y compris par les experts qui les appliquentReconnaissance d'un visage, appréciation d'un risque composite
Les facteurs et interactions sont nombreuxL'écriture manuelle diverge et le couplage entre règles devient ingérableScoring de crédit sur 60 variables
L'environnement évolueLes règles écrites se périment ; le réentraînement absorbe l'évolution à coût constantDétection de fraude, filtrage de courriels
La personnalisation doit être massiveUne règle par individu est impossible à écrire et à maintenirRecommandation sur plusieurs millions de comptes
Une réponse approchée est acceptableLe modèle produit une estimation assortie d'une incertitude, jamais une certitudeEstimation de prix, prévision de demande
Un historique étiqueté suffisant existeL'induction requiert des observations dont la valeur cible est connueTransactions avec issue constatée

Ces six conditions sont conjointes : un problème qui en satisfait cinq et échoue sur la sixième — typiquement l'absence d'historique étiqueté — ne relève pas du Machine Learning en l'état.

3.3 Les cinq contre-indications

Contre-indicationRaisonAlternative
La règle exacte est connue, stable et vérifiableLe modèle substituerait une approximation à une réponse exacte, sans contrepartieImplémenter la formule
L'exactitude est une obligation légale ou contractuelleUne approximation statistique est juridiquement irrecevable sur un montant dûRègle explicite, auditée, versionnée
Le volume d'observations est insuffisantL'induction sur un échantillon trop petit produit une règle non généralisableExpertise métier, collecte préalable
L'erreur est catastrophique et non rattrapableAucun modèle n'atteint 100 % : la fraction résiduelle d'erreurs est structurelleSupervision humaine systématique
Aucun historique n'existe, le processus étant nouveauIl n'y a rien à induirePrototypage, règles provisoires, collecte instrumentée

3.4 Les trois situations où le déterministe l'emporte

DÉFINITION — Auditabilité d'une décision automatisée

Définition rigoureuse

Propriété d'un système de décision permettant de reconstituer, pour toute décision produite, la chaîne de justification qui y a conduit et l'état exact du système à cette date, de façon reproductible par un tiers. Elle exige que la règle appliquée soit énonçable, que la version en vigueur soit conservée et que le résultat soit reproductible à l'identique.

Point de vigilance

Un modèle statistique satisfait la reproductibilité mais rend l'énoncé de la règle difficile : les méthodes d'explication a posteriori produisent une justification approchée de la décision, non son énoncé. Lorsque l'obligation porte sur la motivation individuelle, cette approximation peut être insuffisante.

Situation 1 — la règle est connue, exacte et stable. Calcul d'une taxe de vente, conversion à un taux publié, échéance d'un prêt à taux fixe, contrôle d'un identifiant par clé. Un modèle entraîné à reproduire ces opérations atteindrait 99,7 % d'exactitude là où l'implémentation directe en atteint 100 % : la substitution est une régression pure.

Situation 2 — aucun historique n'est disponible. Un processus créé la semaine précédente ne dispose d'aucune observation dont la valeur cible soit connue. La question n'est pas de choisir un algorithme mais d'instrumenter le processus pour que les observations soient collectées et étiquetées.

Situation 3 — l'auditabilité est une obligation. Lorsqu'une décision doit être motivée individuellement devant l'intéressé ou un régulateur, la capacité à énoncer la règle appliquée devient une contrainte de conception au même titre que la performance. Un modèle reste alors pertinent en aide à la décision, la décision opposable étant produite par une règle explicite ou par un opérateur.


4. Le coût des erreurs comme critère de décision

Ce point est le plus important du chapitre : il distingue une compréhension technique d'une compréhension opérationnelle.

4.1 Le postulat de base

Aucun modèle de Machine Learning n'atteint 100 % d'exactitude sur des données nouvelles.

Cet énoncé découle de la nature inductive de l'inférence : la règle est extrapolée d'un échantillon fini vers un domaine qui le dépasse. Une exactitude de 100 % annoncée sur des données nouvelles signale, en pratique, une fuite de données, traitée au chapitre 028, ou une évaluation conduite sur les données d'apprentissage. La question pertinente n'est donc jamais « le modèle se trompe-t-il », mais :

Qui traite les erreurs, à quel coût, et dans quel délai ?

4.2 Le calcul à poser systématiquement

Un modèle atteignant 95 % d'exactitude est généralement présenté comme un bon modèle. Rapporté au volume traité :

Volume quotidien de décisions   : 100 000
Exactitude du modèle            : 95 %
Décisions correctes             :  95 000
Décisions erronées              :   5 000  par jour
Hypothèse de traitementCharge induiteConclusion
Aucun traitement, erreur sans conséquenceNulleModèle déployable tel quel
Traitement par l'utilisateur final, 30 secondes42 heures d'attention par jour, diffusesAcceptable si l'erreur est visible et corrigeable
Revue humaine interne, 4 minutes par cas333 heures par jour, environ 42 postes à temps pleinLe dispositif de reprise coûte plus que le modèle
Erreur non détectable par l'utilisateurCharge nulle, risque non bornéConfiguration la plus dangereuse

La dernière ligne est la plus importante : une erreur coûteuse mais visible est un problème de dimensionnement, une erreur silencieuse est un problème de conception.

4.3 Grille de lecture par contexte

ContexteNature de l'erreurGravitéRéversibilitéML approprié
Recommandation de contenuSuggestion non pertinenteFaibleImmédiate : l'utilisateur ignore la suggestionOui, sans réserve
Filtrage de courrielsFaux positif : envoi légitime mis en quarantaineMoyenneBonne si la quarantaine est consultableOui, sous réserve d'une quarantaine accessible
Maintenance prédictiveAlerte injustifiée ou panne non anticipéeMoyenne à élevéePartielle : coût d'intervention ou coût d'arrêtOui, avec seuil asymétrique
Octroi de créditRefus injustifié à un demandeur solvableÉlevéeFaible : préjudice subi, contentieux possibleOui, sous contrainte d'explicabilité et de recours
Modération automatiqueSuppression d'un contenu liciteÉlevéeConditionnée à l'existence d'une voie de recoursOui, avec réexamen humain garanti
Diagnostic médicalFaux négatif : pathologie non détectéeTrès élevéeFaible à nulleNon en décision autonome : aide à la décision
Calcul de paie ou de taxeMontant erronéÉlevéeCorrection possible, mais manquement à une obligation d'exactitudeNon : la règle exacte existe

Trois lectures doivent être maîtrisées.

Première lecture : la gravité dépend du contexte d'usage, non du taux d'erreur. Le même modèle à 95 % est excellent en recommandation et inacceptable en calcul de paie.

Deuxième lecture : la réversibilité est le critère opérationnel décisif. Une erreur grave mais rattrapable se gère par conception — seuil prudent, file de vérification, voie de recours ; une erreur irréversible ne se gère pas ainsi.

Troisième lecture : les deux types d'erreur d'un classifieur n'ont pas le même coût. Cette asymétrie est un paramètre de conception, réglable par le seuil de décision.

ANALOGIE — Le contrôle qualité en fin de chaîne

Une chaîne de production ne vise pas le défaut zéro à tout prix : elle dimensionne un taux de défaut acceptable, puis conçoit le dispositif de détection et de reprise correspondant. Ce taux ne dépend pas de la machine, mais du coût unitaire d'un défaut sortant, du coût du contrôle et du volume produit. Un responsable qui exige zéro défaut sans dimensionner le contrôle n'obtient pas zéro défaut : il obtient des défauts non détectés.

Le taux d'erreur acceptable d'un modèle est de même une décision d'ingénierie, jamais une propriété de l'algorithme.


5. Les limites structurelles du Machine Learning

Les quatre limites suivantes ne sont pas des défauts d'implémentation : elles découlent de la nature inductive de l'approche et ne sont levées par aucun algorithme, aucune architecture et aucun volume de données.

LIMITE 1 — Le modèle ne crée pas d'information absente des données

Énoncé

Un algorithme d'apprentissage extrait des régularités présentes dans les descriptions fournies. Il ne peut fonder une décision sur un facteur qui n'apparaît dans aucune variable, ni directement ni par corrélation.

Illustration

Un modèle d'estimation immobilière alimenté par la surface et le nombre de chambres ne peut valoriser ni la vue, ni l'exposition, ni l'état de la toiture, qui déterminent pourtant une part substantielle du prix. Le modèle ne signale pas cette insuffisance : il produit une estimation dont l'erreur résiduelle sera attribuée au « bruit » alors qu'elle reflète une information manquante.

Conséquence pratique

Le plafond de performance est fixé par le contenu informationnel des variables, non par le choix de l'algorithme. Cette limite explique une déception fréquente : passer d'une régression à une méthode d'ensemble sophistiquée n'apporte que quelques points quand l'information nécessaire est absente du jeu de données.

LIMITE 2 — Le modèle n'établit pas de causalité

Énoncé

Un modèle prédictif identifie des associations statistiques entre variables explicatives et variable cible. Une association n'est pas une relation de cause à effet : un modèle performant peut reposer sur des associations dont l'interprétation causale est fausse, voire inversée.

Le cas documenté asthme et pneumonie

Une étude des années 1990 sur des patients admis pour pneumonie visait à prédire le risque de décès afin d'orienter les patients à faible risque vers une prise en charge ambulatoire. Le modèle a appris une règle exacte sur les données et dangereuse en pratique :

Les patients pneumoniques ayant des antécédents d'asthme présentent un risque de décès plus faible.

L'association est réelle dans les données. Son explication : ces patients étaient systématiquement admis en soins intensifs en raison de leur antécédent, y recevaient une prise en charge immédiate et agressive, et survivaient donc davantage. La règle induite était une conséquence du protocole de soins, non une propriété clinique ; appliquée telle quelle, elle aurait orienté vers le domicile précisément les patients que le protocole existant protégeait. Le modèle n'était pas défaillant — il reproduisait fidèlement les données — et seule une relecture par des cliniciens a permis de détecter l'anomalie.

Ce cas est rapporté notamment par Cooper et ses coauteurs (1997), puis repris et analysé par Caruana et ses coauteurs (2015) dans leurs travaux sur les modèles intelligibles en santé.

Formulation à retenir

Un modèle prédit ce qui arrive dans les conditions où les données ont été produites. Il ne prédit pas ce qui arriverait si l'on intervenait sur ces conditions. Toute décision d'intervention fondée sur un modèle purement prédictif sort du domaine de validité de ce modèle.

LIMITE 3 — Le modèle suppose la stationnarité de la relation

Énoncé

Le cadre statistique de l'apprentissage supervisé suppose que les données d'exploitation proviennent de la même distribution que les données d'apprentissage. Lorsque cette hypothèse cesse d'être vérifiée, les garanties de performance tombent.

Deux formes de rupture

  • Dérive des données : la distribution des variables explicatives change, la relation entre variables et cible restant valable. Exemple : la clientèle se rajeunit, les profils observés diffèrent de ceux du corpus d'apprentissage.
  • Dérive du concept : la relation elle-même change. Exemple : un comportement d'achat qui signalait la fidélité devient, après un changement d'offre, un signal de départ imminent.

Conséquence pratique

Causes usuelles : changement de comportement des clients, modification du produit ou du processus métier, évolution réglementaire, adaptation d'un adversaire, modification d'un capteur, choc externe. Un modèle en production n'a donc pas une performance constante : il possède une durée de validité, qui doit être surveillée et non supposée. Une mise en production sans dispositif de surveillance est une décision d'exploitation incomplète. La dérive, sa détection et les stratégies de réentraînement sont traitées au chapitre 082.

LIMITE 4 — Garbage In, Garbage Out, aggravé par la défaillance silencieuse

Énoncé

La qualité de la règle induite est bornée par la qualité et la représentativité des observations fournies. Des données erronées, biaisées ou mal étiquetées produisent une règle erronée, biaisée ou mal calibrée.

L'aggravation propre au Machine Learning

Un programme déterministe alimenté par des données invalides échoue de façon visible : exception, valeur aberrante, rejet de contrôle. Un algorithme d'apprentissage, lui, n'échoue pas : il converge, produit un modèle, et ce modèle produit des prédictions d'apparence normale. La défaillance est silencieuse.

Défaut des donnéesEffet sur le modèleManifestation
Étiquettes partiellement erronéesLa règle induite reproduit l'erreur d'étiquetagePerformance apparente correcte, décisions fausses
Population non représentativeLa règle ne vaut que sur un sous-groupeÉcart de performance entre segments
Variable indisponible au moment de la décisionPerformance excellente en test, effondrement en productionFuite de données, chapitre 028
Classes fortement déséquilibréesLe modèle privilégie la classe majoritaireExactitude élevée, détection nulle sur la classe rare, chapitre 050

Point de vigilance

L'absence d'erreur d'exécution ne constitue jamais une preuve de validité pour un système inductif. La validation exige un examen des données, une analyse des erreurs par segment et une confrontation des régularités apprises à la connaissance métier.


6. Étude de cas chiffrée : l'estimation immobilière

L'objectif est d'estimer le prix de vente d'une maison, les deux approches étant conduites côte à côte sur les mêmes biens.

6.1 Version déterministe

Un expert du domaine propose une formule fondée sur son expérience :

prix = surface_m2 x 3 500 + nombre_de_chambres x 10 000
BienSurfaceChambresPrix calculéPrix réelErreurErreur relative
A90 m²3345 000 $352 000 $−7 000 $2,0 %
B120 m²4460 000 $448 000 $+12 000 $2,7 %
C75 m²2282 500 $291 000 $−8 500 $2,9 %
D140 m²4530 000 $690 000 $−160 000 $23,2 %

Sur les trois premiers biens la formule est acceptable ; sur le quatrième, elle échoue à hauteur de 160 000 dollars. Un écart de cet ordre disqualifie l'outil : aucun professionnel ne fonde une négociation sur une estimation dont l'erreur possible atteint le quart de la valeur.

6.2 Diagnostic du bien D

FacteurSituation du bien DEffet sur le prix
QuartierSecteur scolaire recherché, station de transport à 300 mètresFort, multiplicatif
RénovationCuisine et salle de bain refaites 18 mois avant la venteAdditif, substantiel
GarageGarage double, rare dans le secteurAdditif, modéré

La correction paraît simple : ajouter les termes manquants.

prix = surface_m2 x A + nombre_de_chambres x B + garage x C
     + renovation_recente x D + indice_de_quartier x E + F

La structure est plausible. Le problème est ailleurs :

Quelles sont les valeurs de A, B, C, D, E et F ?

Personne ne les connaît. Elles ne figurent dans aucun référentiel et varient selon la ville, le segment et la période. Un expert peut proposer un ordre de grandeur pour A ; il ne peut pas arbitrer entre 34 000 et 41 000 dollars pour la valeur d'une rénovation, ni quantifier l'indice de quartier sur une échelle cohérente avec les autres termes. S'y ajoutent les interactions — la valeur d'une rénovation dépend du quartier —, les non-linéarités et l'instabilité : les coefficients seront périmés dans dix-huit mois.

Conclusion : la structure du problème est identifiable par un expert ; ses paramètres ne le sont pas. C'est exactement la configuration qui appelle une approche inductive.

6.3 Version inductive

On rassemble les ventes conclues, décrites par les mêmes variables, avec le prix constaté.

SurfaceChambresGarageRénovéeIndice quartierPrix constaté
90 m²3003352 000 $
120 m²4103448 000 $
75 m²2003291 000 $
140 m²4117690 000 $
105 m²3105468 000 $
160 m²5116712 000 $
82 m²2014371 000 $

Le jeu réel comporte plusieurs milliers de lignes de cette forme, et la procédure d'apprentissage tient en trois instructions :

python
X = donnees[["surface", "chambres", "garage", "renovee", "indice_quartier"]]
y = donnees["prix"]

model.fit(X, y)

L'appel model.fit(X, y) est l'opération d'induction : l'algorithme recherche les coefficients minimisant l'écart entre prix calculés et prix constatés sur l'ensemble des ventes.

TermeCoefficient estiméLecture métier
Surface3 120 $ par m²Valeur marginale du mètre carré
Chambres6 400 $ par chambreEffet propre, la surface étant contrôlée
Garage14 900 $Prime pour un garage
Rénovation récente38 200 $Prime pour une rénovation récente
Indice de quartier21 500 $ par pointEffet du secteur
Constante18 700 $Ordonnée à l'origine

Aucune de ces valeurs n'a été fournie : elles ont été induites des ventes observées. Le coefficient de surface diffère de l'intuition de l'expert — 3 120 au lieu de 3 500 — parce que l'estimation initiale absorbait implicitement des effets désormais captés par les autres termes.

Prédiction sur un bien jamais vu :

Bien E : 110 m², 3 chambres, garage, non rénovée, indice de quartier 4

110 x 3 120 = 343 200
  3 x 6 400 =  19 200
     garage =  14 900
 rénovation =       0
 4 x 21 500 =  86 000
  constante =  18 700
-----------------------
 Estimation = 482 000 $

En usage professionnel, cette estimation ponctuelle est assortie d'un intervalle et d'une erreur moyenne établis lors de l'évaluation.

6.4 Comparaison des deux chaînes

CritèreApproche déterministeApproche inductive
Origine des coefficientsPostulés par un expert, non vérifiablesEstimés à partir des ventes constatées
Prise en compte d'un facteur nouveauRéécriture de la formule, arbitrage manuel du coefficientAjout d'une colonne et réentraînement
Adaptation à un marché différentReprise complète de l'expertiseRéentraînement sur les données locales
Mesure de la qualitéÉcart constaté a posteriori, sans protocoleErreur mesurée sur des ventes non utilisées pour l'apprentissage
Auditabilité de la décisionÉlevée : la formule est énonçableMoyenne à faible selon la famille de modèles

Lecture du tableau : l'approche inductive l'emporte sur quatre critères et perd sur l'auditabilité. Ce compromis est représentatif et se tranche par le contexte d'usage : une estimation indicative destinée à un agent immobilier tolère une auditabilité moyenne ; une valeur d'expertise opposable devant un tribunal ne la tolère pas.


7. La répartition des rôles entre humain et machine

Le vocabulaire de la presse — « l'algorithme décide », « la machine apprend seule » — entretient l'idée d'une automatisation intégrale de la chaîne de décision. L'examen du cycle réel d'un projet la contredit.

7.1 Qui décide quoi

Étape du cycleContenu de la décisionDécideur
1. Formuler le problème métierDéterminer quelle question mérite d'être poséeHumain
2. Statuer sur l'opportunité du MLConfronter le problème aux conditions du point 3Humain
3. Définir la variable cibleChoisir ce qui est prédit et comment il est mesuréHumain
4. Choisir et collecter les donnéesDéterminer sources, période, populationHumain
5. Définir la mesure de performance et le seuilFixer ce qui constitue un succès, arbitrer entre types d'erreurHumain
6. Préparer les données et construire les variablesNettoyer, encoder, agréger, dériverHumain, outillé
7. Choisir la famille d'algorithmesArbitrer performance, interprétabilité, coût, contraintesHumain
8. Ajuster les paramètres du modèleEstimer les coefficients minimisant l'erreur sur l'échantillonMachine
9. Évaluer et interpréter les résultatsAnalyser les erreurs, confronter au métier, détecter les anomaliesHumain
10. Décider de la mise en productionStatuer sur le déploiement et ses garde-fousHumain
11. Surveiller et arbitrer le réentraînementDétecter la dérive, décider de reprendre le cycleHumain

Sur onze étapes, la machine en couvre une, entièrement conditionnée par les décisions humaines qui la précèdent : les données de l'étape 4, la cible de l'étape 3, la mesure d'erreur de l'étape 5 et la famille de modèles de l'étape 7 déterminent intégralement ce que l'étape 8 peut produire.

7.2 Le cycle et ses zones de décision

Les blocs en teinte foncée relèvent de la décision humaine. Le bloc en teinte claire est la seule étape exécutée par la machine.

ANALOGIE — L'instrument de mesure et l'expérimentateur

Un spectromètre produit des mesures qu'aucun opérateur ne saurait obtenir à l'oeil : il est irremplaçable sur ce segment de la chaîne. Il ne choisit pas la question de recherche, ne prélève pas l'échantillon, ne définit pas le protocole, n'interprète pas les résultats et ne décide pas de publier. Un algorithme d'apprentissage occupe exactement la même position.

DÉFINITION — Degré d'autonomie d'un système de décision

Définition rigoureuse

Position d'un système automatisé sur l'échelle allant de la simple production d'information à la décision exécutée sans intervention humaine, caractérisée par le rôle assigné à l'opérateur dans la boucle de décision.

Les trois régimes usuels

RégimeRôle de l'humainContexte d'emploi
Aide à la décisionL'humain décide, le modèle informeErreur grave, décision motivée, expertise indispensable
Humain dans la boucle sur exceptionLe modèle décide, l'humain arbitre les cas incertainsVolume élevé, erreurs rattrapables, incertitude identifiable
Automatisation complèteLe modèle décide seul, l'humain surveille les agrégatsErreur de faible gravité, volume massif, réversibilité immédiate

Point de vigilance

Le régime d'autonomie est une décision de conception, indépendante de la performance du modèle. Un modèle très performant peut être déployé en aide à la décision parce que le contexte l'exige ; un modèle médiocre peut être pleinement automatisé parce que l'erreur y est sans conséquence.


8. Erreurs de raisonnement fréquentes

ERREUR — Présenter le Machine Learning comme supérieur à la programmation classique

Symptôme : formuler le choix comme une modernisation, ou opposer une méthode « dépassée » à une méthode « actuelle ».

Raison : les deux approches répondent à deux configurations distinctes. Le Machine Learning n'apporte rien lorsque la règle est connue, exacte et stable ; il y introduit une approximation sans contrepartie.

Formulation correcte : « La programmation déterministe et l'apprentissage inductif traitent deux configurations différentes. Le critère de choix est la disponibilité d'une règle exacte et stable, non l'ancienneté de la méthode. »

ERREUR — Croire que le modèle découvre les règles sans intervention humaine

Symptôme : décrire le projet comme « on donne les données à l'algorithme et il trouve tout seul ».

Raison : l'algorithme n'exécute qu'une étape sur onze. Le choix de la cible, des données, de la mesure de performance et de la famille de modèles est humain, et conditionne intégralement le résultat obtenu.

Formulation correcte : « L'algorithme estime les paramètres. Le cadrage du problème, le choix des données, la définition de la mesure de performance et la validation restent des décisions humaines. »

ERREUR — Traiter une association apprise comme une relation causale

Symptôme : décider d'intervenir sur une variable parce que le modèle lui attribue un poids important — « le modèle montre que les antécédents d'asthme réduisent le risque, donc ces patients peuvent rentrer chez eux ».

Raison : un modèle prédictif restitue les régularités du processus qui a généré les données, protocoles et politiques inclus. Il ne dit rien de ce qui se produirait si l'on modifiait ce processus.

Formulation correcte : « Le modèle établit une association valable dans les conditions de production des données. Toute décision d'intervention sur une variable exige une analyse causale distincte, avec un protocole adapté. »

ERREUR — Considérer un taux d'exactitude élevé comme une preuve d'adéquation

Symptôme : conclure au déploiement sur la seule base d'un chiffre global, sans examiner le volume ni la nature des erreurs restantes.

Raison : 95 % d'exactitude sur 100 000 décisions quotidiennes représente 5 000 erreurs par jour. La pertinence du déploiement dépend de leur gravité, de leur détectabilité, de leur réversibilité et du coût de leur traitement.

Formulation correcte : « Le taux d'exactitude ne suffit pas. Il faut établir le volume d'erreurs attendu, la gravité de chaque type d'erreur, qui les détecte et à quel coût elles sont reprises. »

ERREUR — Supposer qu'un modèle déployé conserve sa performance

Symptôme : livrer un modèle sans dispositif de surveillance, en considérant le projet comme terminé à la mise en production.

Raison : les garanties de l'apprentissage supposent que les données d'exploitation suivent la même distribution que les données d'apprentissage. Cette hypothèse cesse d'être vérifiée dès que les utilisateurs, le produit, la réglementation ou un adversaire évoluent.

Formulation correcte : « Un modèle possède une durée de validité. La mise en production inclut la surveillance de la performance et une procédure de réentraînement. » Le sujet est traité au chapitre 082.


9. Synthèse

LE RENVERSEMENT
    Programmation déterministe : Règles + Données   -> Réponses
    Apprentissage inductif     : Données + Réponses -> RÈGLES
    La règle est une ENTRÉE dans le premier cas, une SORTIE dans le second.

MODE D'INFÉRENCE
    Déterministe : déduction, conclusion nécessaire
    Inductif     : induction, conclusion probable et révisable

CADRE FORMEL
    f    fonction cible, inconnue, jamais observée
    f^   hypothèse retenue par l'algorithme, approximation de f
    Écarts : approximation (modèle), estimation (données), dérive (temps)

CRITÈRE DE CHOIX, DANS L'ORDRE
    1. La règle exacte est-elle connue et stable ?    -> déterministe
    2. Existe-t-il un historique étiqueté suffisant ? -> sinon, collecter
    3. Une réponse approchée est-elle acceptable ?    -> sinon, déterministe
    4. Le coût des erreurs est-il maîtrisable ?       -> sinon, aide à la décision
    5. Sinon                                          -> approche inductive

LE CALCUL À POSER SYSTÉMATIQUEMENT
    95 % d'exactitude sur 100 000 décisions = 5 000 erreurs par jour
    Question : qui les traite, à quel coût, dans quel délai ?
    Cas le plus dangereux : l'erreur non détectable.

LES QUATRE LIMITES STRUCTURELLES
    1. Aucune information n'est créée si elle est absente des données
    2. Association apprise n'est pas causalité établie
    3. La stationnarité de la relation est une hypothèse, non un fait
    4. Données défectueuses -> modèle défectueux, sans aucun signal d'erreur

RÉPARTITION DES RÔLES
    11 étapes dans le cycle. La machine en couvre 1 :
    l'ajustement des paramètres. Les 10 autres sont des décisions humaines.

Énoncé de synthèse

La programmation déterministe et l'apprentissage inductif se distinguent par la position de la règle de décision : spécifiée en entrée dans le premier cas, induite en sortie dans le second. L'approche inductive n'est pertinente que lorsque la règle exacte est inaccessible, qu'un historique étiqueté existe, qu'une réponse approchée est acceptable et que le coût des erreurs résiduelles est maîtrisé ; la machine n'y prend en charge qu'une étape, l'ajustement des paramètres, toutes les autres relevant de la décision humaine.


Quiz et questions d'entrevue : 002.1-quiz-renversement-paradigme.md à 002.7-quiz-roles-humain-machine.md

Chapitre suivant : 003-trois-familles-apprentissage.md