Να κάνεις tokenization μιας φανταστικής φράσης, να αντιστοιχίσεις διανύσματα και να δείξεις γιατί η εγγύτητα δεν σημαίνει τέλεια συνωνυμία.
Απόδειξη επιτυχίας: εξηγείς «Tokens και ενσωματώσεις», εκτελείς «Το διανυσματικό λεξικό» και αναφέρεις το όριο της αναλογίας.
Στη φανταστική εφημερίδα της λέσχης, η φράση «Οι πυγολαμπίδες φωτίζουν τον κήπο» πρέπει να γίνει αριθμοί. Η Maëlle ανακαλύπτει ότι ένας tokenizer μπορεί να χωρίσει σημεία στίξης, λέξεις ή θραύσματα λέξεων. Κάθε token λαμβάνει ένα αναγνωριστικό, μετά ένας πίνακας ενσωματώσεων μετασχηματίζει αυτό το αναγνωριστικό σε διάνυσμα. Τα διανύσματα ρυθμίζονται κατά τη μάθηση: παρόμοιες χρήσεις μπορούν να πλησιάσουν ορισμένες κατευθύνσεις, αλλά η γεωμετρία εξαρτάται από το σώμα κειμένων και τον στόχο.
Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.
Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.
ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε ένανΟι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.