Régularisation et généralisation

Objectif : réduire l'écart entre mémorisation du train et performance réelle.

La généralisation se mesure sur des exemples non utilisés pour ajuster les paramètres ni choisir les hyperparamètres. Un train excellent et une validation dégradée signalent un surapprentissage, mais il faut aussi exclure une différence de distribution ou un bug de pipeline.

Leviers principaux

• Davantage de données utiles : souvent le levier le plus robuste.
• Augmentation : transformations qui préservent l'étiquette.
• Weight decay : pénalise les poids excessifs.
• Dropout : masque aléatoirement des activations pendant l'entraînement.
• Early stopping : conserve le meilleur état de validation.
• Réduire la capacité : moins de couches, canaux ou unités.