Στόχος: να ρυθμίσετε τη βελτιστοποίηση χωρίς να συγχέετε ταχύτητα μάθησης και ποιότητα.
Η κατάβαση κλίσης ενημερώνει τις παραμέτρους στην αντίθετη κατεύθυνση από την κλίση:
θ ← θ - η ∇L(θ)Το η είναι ο ρυθμός μάθησης. Πολύ μικρός: αργή πρόοδος ή στασιμότητα. Πολύ
μεγάλος: ταλάντωση, απόκλιση ή NaN.
optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=1e-2)Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.
Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.
ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε ένανΟι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.