Objectif : raisonner sur le coût avant de grossir le modèle.
Le temps ne dépend pas seulement du nombre de paramètres : taille des activations, longueur de séquence, batch, opérations et transferts mémoire comptent aussi. Pendant l'entraînement, il faut stocker poids, gradients, états de l'optimiseur et activations nécessaires au backward.
Un GPU accélère les calculs parallèles suffisamment grands. De petits batches, un chargement de données lent ou des transferts CPU↔GPU répétés peuvent le laisser inactif.
loader = DataLoader(dataset, batch_size=128, shuffle=True,
num_workers=4, pin_memory=True)Mesurez avant d'optimiser. Sur Windows, le nombre de workers optimal dépend de la machine et
le point d'entrée doit être protégé par if __name__ == "__main__":.
Aperçu — la suite de la leçon est réservée aux inscrits.
Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.
Se connecterPas encore de compte ? En créer unLes premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.