Calcul, mémoire et performance

2 min

Objectif : raisonner sur le coût avant de grossir le modèle.

Le temps ne dépend pas seulement du nombre de paramètres : taille des activations, longueur de séquence, batch, opérations et transferts mémoire comptent aussi. Pendant l'entraînement, il faut stocker poids, gradients, états de l'optimiseur et activations nécessaires au backward.

GPU utile, GPU inutilisé

Un GPU accélère les calculs parallèles suffisamment grands. De petits batches, un chargement de données lent ou des transferts CPU↔GPU répétés peuvent le laisser inactif.

python
loader = DataLoader(dataset, batch_size=128, shuffle=True,
                    num_workers=4, pin_memory=True)

Mesurez avant d'optimiser. Sur Windows, le nombre de workers optimal dépend de la machine et le point d'entrée doit être protégé par if __name__ == "__main__":.

Aperçu — la suite de la leçon est réservée aux inscrits.

Déjà inscrit avec un code ?

Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.

Se connecterPas encore de compte ? En créer un
Cette leçon fait partie du module « Du modèle au système »

Les premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.

M’abonner — 19 $ US/moisRetour au plan
Vous êtes étudiant du cours ?

Le code se rattache à votre compte : connectez-vous ou créez un compte, il sera validé automatiquement au retour.

Pas encore de compte ? En créer un