Στόχος: να ευθυγραμμίσετε στόχο, στρώμα εξόδου και συνάρτηση απώλειας.
Η απώλεια παρέχει το σήμα εκπαίδευσης. Η μετρική περιγράφει την ποιότητα σύμφωνα με την ανάγκη. Μια απώλεια πρέπει να είναι παραγωγίσιμη σχεδόν παντού· μια επιχειρησιακή μετρική μπορεί να μην είναι.
| Εργασία | Έξοδος | Στόχος | Απώλεια PyTorch |
|---|---|---|---|
| Παλινδρόμηση | (N,1) ή (N,) | δεκαδικός | MSELoss, L1Loss, HuberLoss |
| Δυαδική | 1 logit | 0/1 δεκαδικός | BCEWithLogitsLoss |
| K κλάσεις | K logits | ακέραιος δείκτης | CrossEntropyLoss |
| Multilabel | K logits | K τιμές 0/1 | BCEWithLogitsLoss |
Για την αληθινή κλάση y, η απώλεια πολλών κλάσεων ισούται με -log p_y. Μια πρόβλεψη με σιγουριά αλλά
λανθασμένη τιμωρείται έντονα. Η CrossEntropyLoss συνδυάζει log_softmax και
αρνητική λογαριθμική πιθανοφάνεια· δεν πρέπει να της δώσουμε ήδη κανονικοποιημένες πιθανότητες.
Η απώλεια μιας παρτίδας είναι γενικά ένας μέσος όρος. Με σπάνιες κλάσεις, μπορούμε να σταθμίσουμε τις κλάσεις, αλλά η στάθμιση δεν αντικαθιστά ούτε ένα κατάλληλο πρωτόκολλο επικύρωσης ούτε μετρικές όπως ανάκληση, ακρίβεια (precision) και PR-AUC.
import torch
from torch import nn
weights = torch.tensor([1.0, 4.0])
criterion = nn.CrossEntropyLoss(weight=weights)Η εξομάλυνση των ετικετών αντικαθιστά έναν απολύτως βέβαιο στόχο με μια ελαφρώς απαλυμένη κατανομή. Μπορεί να μειώσει την υπερβολική σιγουριά, αλλά τροποποιεί το calibration και πρέπει να επικυρώνεται, όχι να εφαρμόζεται τελετουργικά.
Γιατί η accuracy δεν χρησιμεύει απευθείας ως απώλεια; Πρέπει να εφαρμόσουμε softmax πριν από την
CrossEntropyLoss;
Η accuracy είναι ασυνεχής και δεν παρέχει σχεδόν καμία κλίση. Όχι, η απώλεια περιμένει τα logits.
Για τιμή ακινήτου, δυαδική απάτη, είδος ανάμεσα σε δέκα και ανεξάρτητα tags, υποδείξτε σχήμα των logits, κωδικοποίηση του στόχου, απώλεια εκπαίδευσης και επιχειρησιακή μετρική. Προσθέστε μια περίπτωση όπου το MAE θα ήταν προτιμότερο από το MSE. Επιτυχία: η απώλεια και η μετρική έχουν ρητά διακριτούς ρόλους.
Ανάγνωση: η απώλεια καθιστά τη μάθηση διαφορίσιμη, ενώ η μετρική κρίνει την αξία του μοντέλου. Μπορούν επομένως να είναι διαφορετικές. Η κύρια παγίδα είναι η επιλογή μιας απώλειας μόνο επειδή το όνομά της μοιάζει με τη μετρική, χωρίς έλεγχο της μορφής του στόχου, των αναμενόμενων logits και του επιχειρησιακού κόστους των σφαλμάτων.