Initialisation et normalisation

Objectif : maintenir des activations et gradients dans une zone exploitable.

Tous les poids ne doivent pas être initialisés à zéro : les neurones d'une même couche resteraient symétriques et apprendraient la même chose. L'initialisation aléatoire brise cette symétrie, mais son échelle doit préserver le signal.

Xavier et He

• Xavier/Glorot convient aux activations symétriques comme tanh.
• He/Kaiming est conçu pour ReLU et ses variantes.

PyTorch initialise déjà les couches usuelles raisonnablement. Une initialisation manuelle doit avoir une justification et être consignée.

Batch Normalization

BatchNorm normalise les activations avec des statistiques de mini-batch, puis apprend une échelle et un décalage. En validation, elle utilise des moyennes mobiles apprises. Voilà pourquoi l'oubli de model.eval() change les résultats.