Transferencia de aprendizaje y ajuste fino

Objetivo: adaptar un modelo preentrenado con pocos datos sin destruir lo que ya sabe.

La transferencia parte de un modelo entrenado sobre una gran fuente y luego lo adapta a una tarea objetivo. Las primeras representaciones visuales o lingüísticas son a menudo reutilizables.

Dos regímenes

1. Extractor congelado: se reemplaza la cabeza y se entrena únicamente esta.
2. Fine-tuning: se descongela una parte o toda la red con una tasa generalmente más baja.

from torchvision.models import resnet18, ResNet18_Weights
from torch import nn

model = resnet18(weights=ResNet18_Weights.DEFAULT)
for p in model.parameters():
    p.requires_grad = False
model.fc = nn.Linear(model.fc.in_features, 5)