Στόχος: να συλλογιστείτε για το κόστος πριν μεγαλώσετε το μοντέλο.
Ο χρόνος δεν εξαρτάται μόνο από τον αριθμό των παραμέτρων: μέγεθος των ενεργοποιήσεων, μήκος ακολουθίας, batch, πράξεις και μεταφορές μνήμης μετρούν επίσης. Κατά την εκπαίδευση, πρέπει να αποθηκευτούν βάρη, κλίσεις, καταστάσεις του βελτιστοποιητή και ενεργοποιήσεις απαραίτητες για το backward.
Μια GPU επιταχύνει τους αρκετά μεγάλους παράλληλους υπολογισμούς. Μικρά batches, μια αργή φόρτωση δεδομένων ή επαναλαμβανόμενες μεταφορές CPU↔GPU μπορούν να την αφήσουν ανενεργή.
loader = DataLoader(dataset, batch_size=128, shuffle=True,
num_workers=4, pin_memory=True)Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.
Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.
ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε ένανΟι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.