Grands modèles, LoRA et adaptation efficace

1. Quels paramètres LoRA entraîne-t-il ?
2. Combien de paramètres ajoutent deux matrices de rang r autour d'une couche d×k ?
3. LoRA garantit-il une inférence plus rapide ?
4. Pourquoi garder un jeu de régression général ?
5. [E] Quels quatre artefacts identifient un modèle adapté ?

Réponses. 1. Des matrices basses-rang tandis que la base reste gelée. 2. r(d+k). 3. Non, pas sans fusion et benchmark. 4. Pour détecter les capacités perdues. 5. Base, tokenizer, adapter et configuration/prompt versionnés.

Activité — Budget et régression LoRA

Pour une matrice 4096×4096 et un rang 8, calculez les paramètres entraînables de LoRA et le rapport au fine-tuning complet. Définissez ensuite un jeu de tâche, un jeu de régression et trois tests sécurité. Réussite : base, tokenizer, adapter et prompt sont versionnés séparément.