Να υπολογίσεις μια μικροσκοπική προσοχή με ερώτημα, κλειδιά, κανονικοποιημένα βάρη και άθροισμα τιμών.
Απόδειξη επιτυχίας: εξηγείς «Προσοχή: ερωτήματα, κλειδιά και τιμές», εκτελείς «Το σταθμισμένο μείγμα» και αναφέρεις το όριο της αναλογίας.
Στη φράση «Το ρομπότ βάζει το φλιτζάνι επειδή είναι άδειο», ο Amine ψάχνει σε τι αναφέρεται το «είναι». Για το τρέχον token, το μοντέλο χτίζει ένα ερώτημα· κάθε token παρέχει ένα κλειδί συγκρινόμενο με αυτό το ερώτημα και μια τιμή που περιέχει την πληροφορία προς ανάμειξη. Οι ομοιότητες γίνονται βάρη μέσω Softmax. Η έξοδος είναι ένα σταθμισμένο άθροισμα των τιμών. Μια μεγάλη προσοχή σηματοδοτεί μια δυνατή επιρροή σε αυτόν τον υπολογισμό, όχι μια πλήρη εξήγηση της απόφασης.
Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.
Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.
ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε ένανΟι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.