Transfert d'apprentissage et fine-tuning

Objectif : adapter un modèle préentraîné avec peu de données sans détruire ses acquis.

Le transfert part d'un modèle entraîné sur une grande source puis l'adapte à une tâche cible. Les premières représentations visuelles ou linguistiques sont souvent réutilisables.

Deux régimes

1. Extracteur figé : on remplace la tête et on entraîne seulement celle-ci.
2. Fine-tuning : on dégèle une partie ou tout le réseau avec un taux généralement plus faible.

from torchvision.models import resnet18, ResNet18_Weights
from torch import nn

model = resnet18(weights=ResNet18_Weights.DEFAULT)
for p in model.parameters():
    p.requires_grad = False
model.fc = nn.Linear(model.fc.in_features, 5)