Aprendizaje autosupervisado y contrastivo

1. ¿De dónde proviene el objetivo en autosupervisión?
2. ¿Qué define concretamente la política de aumento de datos?
3. ¿Qué es un falso negativo contrastivo?
4. ¿Por qué utilizar una sonda lineal?
5. [E] ¿Qué control demuestra el valor del preentrenamiento?

Respuestas. 1. De los propios datos. 2. Las invariancias que hay que aprender. 3. Dos ejemplos semánticamente cercanos tratados como opuestos. 4. Para medir la separabilidad de la representación congelada. 5. Un codificador aleatorio con el mismo presupuesto posterior.

Objetivo: aprender representaciones sin anotación humana exhaustiva.

La autosupervisión construye un objetivo a partir de los propios datos: predecir un token enmascarado, la siguiente porción de una señal, una transformación o la relación entre dos vistas. No significa «sin supervisión» en el sentido matemático: la señal objetivo se crea automáticamente.