النماذج الكبيرة وLoRA والتكييف الفعّال

1. ما المعاملات التي يُدرِّبها LoRA؟
2. كم معاملاً تُضيفه مصفوفتان برُتبة r حول طبقة d×k؟
3. هل يضمن LoRA استدلالاً أسرع؟
4. لماذا نحتفظ بجملة بيانات انحدارية عامة؟
5. [E] ما القِطع الأربع التي تُميّز نموذجاً مُكيَّفاً؟

الأجوبة. 1. مصفوفات ذات رُتبة منخفضة بينما تبقى القاعدة مُجمَّدة. 2. r(d+k). 3. لا، ليس دون دمج وقياس أداء. 4. للكشف عن القدرات المفقودة. 5. القاعدة، والمقسِّم الرمزي (Tokenizer)، والمُكيِّف، والتضبيط/التوجيه، جميعها مُصدَّرة (Versioned).

نشاط — الميزانية والانحدار في LoRA

من أجل مصفوفة 4096×4096 ورُتبة 8، احسب المعاملات القابلة للتدريب في LoRA ونسبتها إلى الضبط الدقيق الكامل. ثم عرِّف جملة بيانات مهمّة، وجملة بيانات انحدار، وثلاثة اختبارات أمنية. النجاح: القاعدة، والمقسِّم الرمزي، والمُكيِّف، والتوجيه، مُصدَّرة كلها بمعزل بعضها عن بعض.