Μεγάλα Μοντέλα, LoRA και Αποδοτική Προσαρμογή

2 λεπτά
  1. Ποιες παραμέτρους εκπαιδεύει το LoRA;
  2. Πόσες παραμέτρους προσθέτουν δύο πίνακες τάξης r γύρω από ένα στρώμα d×k;
  3. Εγγυάται το LoRA ταχύτερη επαγωγή;
  4. Γιατί διατηρούμε ένα γενικό σύνολο παλινδρόμησης (regression set);
  5. [E] Ποια τέσσερα artefacts προσδιορίζουν ένα προσαρμοσμένο μοντέλο;

Απαντήσεις. 1. Πίνακες χαμηλής τάξης ενώ η βάση παραμένει παγωμένη. 2. r(d+k). 3. Όχι, όχι χωρίς συγχώνευση και benchmark. 4. Για την ανίχνευση των χαμένων ικανοτήτων. 5. Βάση, tokenizer, adapter και διαμόρφωση/prompt με έκδοση.

Δραστηριότητα — Προϋπολογισμός και παλινδρόμηση LoRA

Για έναν πίνακα 4096×4096 και τάξη 8, υπολογίστε τις εκπαιδεύσιμες παραμέτρους του LoRA και τον λόγο προς το πλήρες fine-tuning. Ορίστε στη συνέχεια ένα σύνολο εργασίας, ένα σύνολο παλινδρόμησης και τρία τεστ ασφάλειας. Επιτυχία: βάση, tokenizer, adapter και prompt έχουν χωριστή έκδοση.

Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.

Έχετε ήδη εγγραφεί με κωδικό;

Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.

ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε έναν
Αυτό το μάθημα ανήκει στην ενότητα «σύγχρονες εμβαθύνσεις»

Οι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.

Συνδρομή — 19 $ US/μήναΕπιστροφή στο πλάνο
Είστε φοιτητής σε αυτό το μάθημα;

Ο κωδικός συνδέεται με τον λογαριασμό σας: συνδεθείτε ή δημιουργήστε λογαριασμό και θα εφαρμοστεί αυτόματα όταν επιστρέψετε.

Δεν έχετε λογαριασμό; Δημιουργήστε έναν