Calculer une attention miniature avec requête, clés, poids normalisés et somme de valeurs.
Preuve de réussite : explique « Attention : requêtes, clés et valeurs », réalise « Le mélange pondéré » et cite la limite de l’analogie.
Dans « Le robot range la tasse parce qu'elle est vide », Amine cherche à quoi « elle » se rapporte. Pour le token courant, le modèle construit une requête ; chaque token fournit une clé comparée à cette requête et une valeur contenant l'information à mélanger. Les similarités deviennent des poids par softmax. La sortie est une somme pondérée des valeurs. Une grande attention signale une forte influence dans ce calcul, pas une explication complète de la décision.
Aperçu — la suite de la leçon est réservée aux inscrits.
Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.
Se connecterPas encore de compte ? En créer unLes premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.