Modelos grandes, LoRA e adaptação eficiente

1. Quais parâmetros o LoRA treina?
2. Quantos parâmetros duas matrizes de posto r adicionam ao redor de uma camada d×k?
3. O LoRA garante uma inferência mais rápida?
4. Por que manter um conjunto de regressão geral?
5. [E] Quais quatro artefatos identificam um modelo adaptado?

Respostas. 1. Matrizes de posto baixo, enquanto a base permanece congelada. 2. r(d+k). 3. Não, não sem fusão e benchmark. 4. Para detectar as capacidades perdidas. 5. Base, tokenizer, adapter e configuração/prompt versionados.

Atividade — Orçamento e regressão LoRA

Para uma matriz 4096×4096 e um posto 8, calcule os parâmetros treináveis do LoRA e a razão em relação ao fine-tuning completo. Em seguida, defina um conjunto de tarefa, um conjunto de regressão e três testes de segurança. Sucesso: base, tokenizer, adapter e prompt são versionados separadamente.