Αξιολόγηση, Calibration και Εξηγησιμότητα

2 λεπτά

Στόχος: να αξιολογήσετε το αναμενόμενο σύστημα, όχι μόνο ένα μέσο σκορ.

Τρία επίπεδα αξιολόγησης

  1. Απώλεια: σήμα που βελτιστοποιείται κατά τη μάθηση.
  2. Μετρικές ML: precision, ανάκληση, F1, ROC-AUC, MAE, κτλ.
  3. Μετρικές συστήματος/επιχείρησης: κόστος σφάλματος, καθυστέρηση, ποσοστό αποχής, επίδραση.

Η επιλογή εξαρτάται από το κόστος των ψευδώς θετικών και ψευδώς αρνητικών. Με μια σπάνια κλάση, η accuracy μπορεί να είναι σχεδόν τέλεια για ένα άχρηστο μοντέλο.

Calibration

Ένα μοντέλο είναι καλά βαθμονομημένο αν, ανάμεσα στις προβλέψεις που ανακοινώνονται στο 80 %, περίπου 80 % είναι σωστές. Η βεβαιότητα της softmax δεν είναι αυτόματα μια αξιόπιστη πιθανότητα. Διάγραμμα αξιοπιστίας, Brier score και calibration θερμοκρασίας μπορούν να βοηθήσουν.

Προεπισκόπηση — η συνέχεια του μαθήματος είναι διαθέσιμη στους εγγεγραμμένους.

Έχετε ήδη εγγραφεί με κωδικό;

Η πρόσβασή σας συνδέεται με τον λογαριασμό σας, όχι με αυτόν τον σύνδεσμο. Συνδεθείτε με το ίδιο email που χρησιμοποιήσατε στην τάξη: το μάθημά σας σας περιμένει, δεν χρειάζεται να ξαναβάλετε τον κωδικό.

ΣύνδεσηΔεν έχετε λογαριασμό; Δημιουργήστε έναν
Αυτό το μάθημα ανήκει στην ενότητα «Από το Μοντέλο στο Σύστημα»

Οι πρώτες ενότητες του μαθήματος είναι σε ελεύθερη πρόσβαση. Για τη συνέχεια υπάρχουν τρεις δρόμοι: αγοράστε αυτό το μάθημα μία φορά, κάντε συνδρομή, ή εισαγάγετε τον κωδικό που δόθηκε στην τάξη.

Συνδρομή — 19 $ US/μήναΕπιστροφή στο πλάνο
Είστε φοιτητής σε αυτό το μάθημα;

Ο κωδικός συνδέεται με τον λογαριασμό σας: συνδεθείτε ή δημιουργήστε λογαριασμό και θα εφαρμοστεί αυτόματα όταν επιστρέψετε.

Δεν έχετε λογαριασμό; Δημιουργήστε έναν