Apprentissage auto-supervisé et contrastif

2 min
  1. D'où vient la cible en auto-supervision ?
  2. Que définit concrètement la politique d'augmentation ?
  3. Qu'est-ce qu'un faux négatif contrastif ?
  4. Pourquoi utiliser une sonde linéaire ?
  5. [E] Quel contrôle prouve la valeur du préentraînement ?

Réponses. 1. Des données elles-mêmes. 2. Les invariances à apprendre. 3. Deux exemples sémantiquement proches traités comme opposés. 4. Pour mesurer la séparabilité de la représentation figée. 5. Un encodeur aléatoire au même budget aval.

Objectif : apprendre des représentations sans annotation humaine exhaustive.

L'auto-supervision construit une cible à partir des données elles-mêmes : prédire un token masqué, la prochaine portion d'un signal, une transformation ou la relation entre deux vues. Elle ne signifie pas « sans supervision » au sens mathématique : le signal cible est créé automatiquement.

Aperçu — la suite de la leçon est réservée aux inscrits.

Déjà inscrit avec un code ?

Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.

Se connecterPas encore de compte ? En créer un
Cette leçon fait partie du module « Approfondissements modernes »

Les premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.

M’abonner — 19 $ US/moisRetour au plan
Vous êtes étudiant du cours ?

Le code se rattache à votre compte : connectez-vous ou créez un compte, il sera validé automatiquement au retour.

Pas encore de compte ? En créer un