Modelos grandes, LoRA y adaptación eficiente

1. ¿Qué parámetros entrena LoRA?
2. ¿Cuántos parámetros añaden dos matrices de rango r alrededor de una capa d×k?
3. ¿LoRA garantiza una inferencia más rápida?
4. ¿Por qué mantener un conjunto de regresión general?
5. [E] ¿Qué cuatro artefactos identifican un modelo adaptado?

Respuestas. 1. Matrices de bajo rango mientras la base permanece congelada. 2. r(d+k). 3. No, no sin fusión y benchmark. 4. Para detectar las capacidades perdidas. 5. Base, tokenizer, adapter y configuración/prompt versionados.

Actividad — Presupuesto y regresión LoRA

Para una matriz 4096×4096 y un rango 8, calcula los parámetros entrenables de LoRA y la proporción respecto al fine-tuning completo. Define después un conjunto de tarea, un conjunto de regresión y tres pruebas de seguridad. Éxito: base, tokenizer, adapter y prompt están versionados por separado.