Στόχος: να μοντελοποιήσετε μια διατεταγμένη ακολουθία και να κατανοήσετε την αναδρομική μνήμη.
Ένα αναδρομικό δίκτυο διαβάζει μια ακολουθία στοιχείο προς στοιχείο. Η κρυφή κατάστασή του συνοψίζει το παρελθόν:
h_t = φ(W_x x_t + W_h h_{t-1} + b)Τα ίδια βάρη επαναχρησιμοποιούνται σε κάθε βήμα. Αυτή η αναδρομή δέχεται μεταβλητά μήκη, αλλά κάνει τους χρονικούς υπολογισμούς σειριακούς και εκθέτει σε εξαφανιζόμενες κλίσεις.
Το LSTM προσθέτει μια κατάσταση μνήμης και πύλες εισόδου, λήθης και εξόδου. Η GRU συνδυάζει ορισμένες πύλες και διαθέτει λιγότερες παραμέτρους. Αυτές οι πύλες μαθαίνουν ποια πληροφορία να διατηρήσουν, να τροποποιήσουν ή να ξεχάσουν.
from torch import nn
rnn = nn.GRU(input_size=64, hidden_size=128, num_layers=2,
batch_first=True, dropout=0.2, bidirectional=True)Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.
Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.
ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε ένανΟι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.