C'est quoi la descente de gradient ?

1 min

La descente de gradient, c'est comment un modèle s'améliore petit à petit, étape par étape, comme descendre prudemment une colline pour trouver le point le plus bas d'une vallée.

Imagine ça comme ceci : Imagine que tu es les yeux bandés sur une colline et que tu veux atteindre le fond de la vallée. Tu ne vois rien, mais tu sens quelle direction descend sous tes pieds. Alors tu fais un petit pas dans cette direction, tu sens à nouveau, tu fais un autre petit pas... Jusqu'à atteindre le fond !

Exemples :

  • Utilisée dans presque tous les réseaux de neurones pour réduire lentement leurs erreurs
  • Utilisée pour affiner la meilleure ligne droite de la régression linéaire

Donc ? La descente de gradient est le moteur « pratiquer, ajuster, repratiquer » qui rend les modèles plus intelligents avec le temps, un tout petit pas à la fois.