Mathématiques utiles au deep learning

2 min

Si X vaut B×D et W vaut D×H, quelle est la forme de XW ?
Quelle forme doit avoir ∂L/∂W ?
Pourquoi soustraire le logit maximal avant softmax ?
À quoi sert un gradient check ?
[E] Pourquoi les dimensions constituent-elles un test de raisonnement ?

Réponses. 1. B×H. 2. D×H, comme W. 3. À prévenir l'overflow sans changer les probabilités. 4. À comparer dérivée analytique et différence finie. 5. Une opération dont les dimensions ne se composent pas ne peut être le calcul annoncé.

Objectif : maîtriser les outils nécessaires pour raisonner sur un réseau sans transformer le cours en traité de mathématiques.

Aperçu — la suite de la leçon est réservée aux inscrits.

Déjà inscrit avec un code ?

Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.

Se connecter Pas encore de compte ? En créer un

Cette leçon fait partie du module « Approfondissements modernes »

Les premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.

M’abonner — 19 $ US/mois Retour au plan