Que mettez-vous dans une carte de modèle ?

Questions d’entrevue Machine learning

Intermédiairemethodologieproduction

La réponse courte

Une carte de modèle (model card) est la documentation minimale qui permet à quelqu’un d’autre — un pair, un auditeur, le support, vous dans six mois — de savoir ce que c’est sans relancer le carnet. Ce n’est pas un mémoire. C’est une fiche d’identité.

Le minimum que je mets, toujours, tient sur une page.

  • L’usage prévu. Quelle décision, à quel instant, pour qui. Et l’usage non prévu : ce pour quoi on n’a pas le droit de l’invoquer.
  • La cible. La définition exacte de l’étiquette, son délai de constat, et si c’est un proxy.
  • Les données. Période, population, exclusions, sources. Ce qui n’était pas disponible à l’instant de prédire.
  • La mesure. Quelle métrique technique, quelle lecture métier, sur quelle réserve, à quelle date. Un chiffre sans protocole n’est pas une mesure.
  • Les limites. Populations mal couvertes, cas où l’on se tait, cas où une règle prime. L’honnêteté ici évite les détournements.
  • L’opération. Version, propriétaire, rythme de revue, comment on le coupe.

Ce que l’intervieweur vérifie

Que vous documentez pour décider, pas pour décorer. Une carte sans limites est une brochure. Une carte qui recopie le README du dépôt n’aide pas un juriste, ni un chef de produit, ni l’astreinte.

Vous n’avez pas à citer un standard par cœur. Vous avez à montrer que l’artefact ne se suffit pas. Un fichier sérialisé sans fiche, c’est une boîte noire avec une date.

La relance probable

« Qui la lit vraiment ? »

Celui qui devra dire oui à une bascule, celui qui enquête sur un cas bizarre, celui qui hérite du modèle. Si personne ne la lit, le problème n’est pas la fiche : c’est l’absence de propriétaire. La carte rend la propriété exercable.

« On a déjà le suivi d’expériences. »

Le suivi dit comment l’essai a été lancé. La carte dit ce qu’on autorise à faire de l’essai devenu service. Les deux se complètent. L’un est un journal ; l’autre est un contrat.

La phrase à retenir : si je ne peux pas remplir la carte, je ne suis pas prêt à servir le modèle.

Toutes les questions Machine learning