Τι είναι η υπερπροσαρμογή;

Η υπερπροσαρμογή (overfitting) είναι όταν ένα μοντέλο αποστηθίζει τις ερωτήσεις εκπαίδευσης αντί να μαθαίνει πραγματικά — τότε αποτυγχάνει σε οτιδήποτε καινούριο.

Φαντάσου το έτσι: Ένας μαθητής που αποστηθίζει τις ακριβείς απαντήσεις του περσινού προσομοιωτικού διαγωνίσματος θα πετύχει και πάλι στο ίδιο διαγώνισμα — αλλά θα αποτύχει στο πραγματικό διαγώνισμα γιατί οι ερωτήσεις είναι διατυπωμένες διαφορετικά. Δεν έμαθε, απλά αποστήθισε.

Παραδείγματα:

• Ένα μοντέλο που «μαθαίνει» ένα σύνολο φωτογραφιών τόσο ακριβώς που αποτυγχάνει σε κάθε νέα φωτογραφία
• Ένα μοντέλο που προβλέπει τέλεια τις παρελθοντικές τιμές των μετοχών, αλλά είναι άχρηστο για το μέλλον

Λοιπόν; Ένα μοντέλο που έχει τέλειο βαθμό στα δεδομένα εκπαίδευσης αλλά κακό βαθμό σε νέα δεδομένα δεν έμαθε πραγματικά — απλά αποστήθισε. Είναι ένα μεγάλο προειδοποιητικό σήμα!