Στόχος: να διατηρήσετε ενεργοποιήσεις και κλίσεις σε μια αξιοποιήσιμη ζώνη.
Όλα τα βάρη δεν πρέπει να αρχικοποιούνται στο μηδέν: οι νευρώνες του ίδιου στρώματος θα παρέμεναν συμμετρικοί και θα μάθαιναν το ίδιο πράγμα. Η τυχαία αρχικοποίηση σπάει αυτή τη συμμετρία, αλλά η κλίμακά της πρέπει να διατηρεί το σήμα.
tanh.Το PyTorch αρχικοποιεί ήδη τα συνηθισμένα στρώματα εύλογα. Μια χειροκίνητη αρχικοποίηση πρέπει να έχει αιτιολόγηση και να καταγράφεται.
Η BatchNorm κανονικοποιεί τις ενεργοποιήσεις με στατιστικά του mini-batch, και μετά μαθαίνει μια
κλίμακα και μια μετατόπιση. Στην επικύρωση, χρησιμοποιεί μαθημένους κινητούς μέσους. Γι' αυτό
η παράλειψη του model.eval() αλλάζει τα αποτελέσματα.
Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.
Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.
ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε ένανΟι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.