Να συναρμολογήσεις ένα μπλοκ Transformer και να εφαρμόσεις μια αιτιακή μάσκα που εμποδίζει ένα token να βλέπει το μέλλον.
Απόδειξη επιτυχίας: εξηγείς «Transformer, θέσεις και μάσκα του μέλλοντος», εκτελείς «Το τρίγωνο της ορατότητας» και αναφέρεις το όριο της αναλογίας.
Για να συμπληρώσει μια ιστορία κάρτα κάρτα, ο Imran χτίζει ένα μοντέλο που επεξεργάζεται πολλές θέσεις μαζί. Χωρίς πληροφορία θέσης, η προσοχή δεν λαμβάνει καμία ένδειξη που να ξεχωρίζει την πρώτη θέση από την τέταρτη· ο Imran προσθέτει επομένως αυτή την ένδειξη. Σε ένα παραγωγικό αιτιακό μοντέλο, η κάρτα νούμερο 3 πρέπει να συμβουλεύεται μόνο τις 1, 2 και 3. Μια μάσκα κάνει τις μελλοντικές θέσεις απροσπέλαστες. Μετά την προσοχή έρχονται υπολειμματική σύνδεση, κανονικοποίηση και δίκτυο feed-forward.
Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.
Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.
ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε ένανΟι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.