Transferência de aprendizado e ajuste fino

Objetivo: adaptar um modelo pré-treinado com poucos dados sem destruir o que ele já aprendeu.

A transferência parte de um modelo treinado em uma grande fonte e depois o adapta a uma tarefa alvo. As primeiras representações visuais ou linguísticas são frequentemente reutilizáveis.

Dois regimes

1. Extrator congelado: substitui-se a cabeça e treina-se apenas ela.
2. Fine-tuning: descongela-se uma parte ou toda a rede com uma taxa geralmente mais baixa.

from torchvision.models import resnet18, ResNet18_Weights
from torch import nn

model = resnet18(weights=ResNet18_Weights.DEFAULT)
for p in model.parameters():
    p.requires_grad = False
model.fc = nn.Linear(model.fc.in_features, 5)