Κατανεμημένη και Ομοσπονδιακή Εκπαίδευση

2 λεπτά
  1. Ποιο είναι το καθολικό batch για 8 workers με batch 32 χωρίς συσσώρευση;
  2. Σε τι χρησιμεύει ένα all-reduce των κλίσεων;
  3. Γιατί ο scheduler εξαρτάται από τον αριθμό των workers;
  4. Ποια βασική διαφορά χωρίζει το DDP από την ομοσπονδιακή μάθηση;
  5. [E] Ποιος έλεγχος επικυρώνει μια μετάβαση σε κατανεμημένη εκπαίδευση;

Απαντήσεις. 1. 256. 2. Στο να δίνει την ίδια συναθροισμένη κλίση στα αντίγραφα. 3. Ο αριθμός των ενημερώσεων ή το καθολικό batch μπορεί να αλλάξει. 4. Οι ομοσπονδιακοί πελάτες είναι χωριστοί, μερικοί και συχνά non-IID. 5. Μια σύγκριση με έναν worker σε ισοδύναμα δεδομένα και καθολικό batch.

Δραστηριότητα — Ισοδυναμία με έναν worker

Υπολογίστε το καθολικό batch για 8 workers, τοπικό batch 32 και συσσώρευση 2. Γράψτε στη συνέχεια ένα τεστ που συγκρίνει μια ενημέρωση με έναν worker και μια κατανεμημένη στα ίδια δεδομένα. Επιτυχία: αριθμητική απόκλιση εξηγημένη, seeds και σειρά δειγματοληψίας καταγεγραμμένα.

Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.

Έχετε ήδη εγγραφεί με κωδικό;

Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.

ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε έναν
Αυτό το μάθημα ανήκει στην ενότητα «σύγχρονες εμβαθύνσεις»

Οι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.

Συνδρομή — 19 $ US/μήναΕπιστροφή στο πλάνο
Είστε φοιτητής σε αυτό το μάθημα;

Ο κωδικός συνδέεται με τον λογαριασμό σας: συνδεθείτε ή δημιουργήστε λογαριασμό και θα εφαρμοστεί αυτόματα όταν επιστρέψετε.

Δεν έχετε λογαριασμό; Δημιουργήστε έναν