Los tres paradigmas de aprendizaje

Señal de aprendizaje — definición rigurosa

Información explotada por un algoritmo para evaluar la calidad de la hipótesis actual y derivar de ella una dirección de corrección de sus parámetros. Toma la forma de un valor objetivo asociado a cada observación, de un criterio interno de coherencia definido solo sobre los datos, o de un escalar de recompensa emitido por un entorno en respuesta a una acción.

Paradigma de aprendizaje — definición rigurosa

Clase de problemas definida por la naturaleza de la señal disponible y, por consiguiente, por la forma del problema de optimización planteado: minimización de un riesgo empírico sobre pares etiquetados, optimización de un criterio interno de estructura, o maximización de una esperanza de recompensa acumulada.

Traducción al lenguaje corriente

La señal es lo que permite al algoritmo saber si se equivoca; el paradigma es la familia de problemas definida por aquello de lo que se dispone para aprender.

Punto de vigilancia

En ausencia de toda señal, no hay aprendizaje en el sentido de Mitchell (1997): sin medida de rendimiento P, ninguna experiencia E puede mejorar nada.

Definición rigurosa

Sea un espacio de entrada X y un espacio de salida Y. Se dispone de una muestra de aprendizaje de n pares

S = { (x_1, y_1), ..., (x_n, y_n) },  x_i ∈ X,  y_i ∈ Y

supuestamente procedentes de un muestreo independiente e idénticamente distribuido según una ley conjunta P(X, Y) desconocida y fija. El aprendizaje supervisado consiste en seleccionar, dentro de una clase de hipótesis H, una función f: X → Y que minimice el riesgo esperado R(f) = E[ L(f(X), Y) ], donde L es una función de pérdida que mide la desviación entre valor predicho y valor observado. Al ser la ley P desconocida, el algoritmo minimiza en la práctica el riesgo empírico calculado sobre S, bajo restricción de regularización.

Traducción al lenguaje corriente

Se proporcionan ejemplos cuya respuesta correcta es conocida, y se pide al algoritmo que construya la función que mejor reproduce esa correspondencia, para aplicarla a casos cuya respuesta es desconocida.

El término «supervisado»

Remite a la presencia de un supervisor —operador, proceso u observación posterior— que ha proporcionado el valor correcto para cada ejemplo, durante la constitución del conjunto de datos y nunca durante el entrenamiento.

Punto de vigilancia

La hipótesis de distribución fija es estructurante. Cuando P(X, Y) evoluciona entre el entrenamiento y la explotación, el riesgo empírico deja de estimar el riesgo esperado y el rendimiento se degrada: fenómeno tratado en el capítulo 082.

Definición rigurosa

Observación para la cual el valor de la variable objetivo está informado, además de las variables explicativas, estando ese valor definido de manera unívoca y homogénea en el conjunto de los datos.

Traducción al lenguaje corriente

Una fila de la tabla para la cual la respuesta ya es conocida.

Procedencia de las etiquetas

Observación diferida (el crédito fue reembolsado o no), anotación humana (un radiólogo califica una placa), registro del sistema (el cliente canceló) o medida física (la pieza se rompió a las 412 horas).

Punto de vigilancia

El coste de obtención de las etiquetas es con frecuencia el factor limitante de un proyecto supervisado: las variables explicativas son abundantes, las etiquetas raramente lo son.

Definición rigurosa

Problema de aprendizaje supervisado en el que el espacio de salida Y es un conjunto finito de modalidades { $c_1$, ..., $c_k$ }. El modelo estima generalmente la probabilidad condicional P(Y = $c_j$ | X = x), resultando la clase predicha de la aplicación de una regla de decisión a ese vector de probabilidades.

Traducción al lenguaje corriente

Colocar cada observación en una de las categorías previstas de antemano.

Subtipos: binaria (2 modalidades excluyentes), multiclase (k modalidades excluyentes), multietiqueta (k modalidades acumulables), ordinal (k modalidades ordenadas, por ejemplo una calificación de riesgo de A a E).

Punto de vigilancia

Las modalidades se definen antes del entrenamiento y forman parte de la especificación del problema. Un modelo de clasificación no puede producir una clase que nunca ha encontrado.

Definición rigurosa

Problema de aprendizaje supervisado en el que el espacio de salida Y es un subconjunto de los reales. El modelo estima una función de regresión, la mayoría de las veces la esperanza condicional E[Y | X = x], mediante minimización de una pérdida cuadrática o absoluta.

Traducción al lenguaje corriente

Estimar un número en lugar de una categoría.

Advertencia terminológica

La palabra «regresión» no conlleva, en su uso moderno, ningún sentido de retroceso o de vuelta atrás. Se hereda de los trabajos de Francis Galton (1886) sobre la transmisión de la estatura entre generaciones, que describían una regresión hacia la media: los hijos de padres de estatura muy alta tendían a ser, en promedio, menos altos que sus padres. El término designaba un fenómeno estadístico particular; luego se extendió al método de ajuste empleado para ponerlo de manifiesto, y después a toda predicción de una magnitud numérica. Por tanto, no debe extraerse ninguna inferencia de la palabra misma: «regresión» significa únicamente que el objetivo es un número.

Confusión que no hay que cometer

La regresión logística es un algoritmo de clasificación, a pesar de su nombre: regresa el logaritmo de la razón de probabilidades (odds) sobre las variables explicativas y produce una probabilidad de pertenencia a una clase.

Un alumno prepara un examen a partir de exámenes de años anteriores. Cada examen incluye un enunciado y una solución. El alumno resuelve el enunciado, compara su producción con la solución, identifica la desviación, ajusta su método. Después de un número suficiente de ejercicios, afronta un tema inédito cuya solución aún no existe.

Prolongaciones

El alumno que memoriza las soluciones sin adquirir el método aprueba los exámenes anteriores y fracasa en el tema inédito: es el sobreajuste (overfitting), tratado en el capítulo 040. El alumno que dispone de la solución durante el examen obtiene una nota excelente que no mide nada: es la fuga de datos, tratada en el capítulo 028.

Límite de la analogía

El alumno comprende lo que hace y transpone a un dominio vecino. El modelo solo establece una correspondencia estadística y no transpone fuera del dominio cubierto por sus datos de entrenamiento.

Definición rigurosa

Clase de problemas en los que se dispone de una muestra { $x_1$, ..., $x_n$ }, $x_i$ ∈ X, sin variable objetivo asociada. El objetivo es estimar una estructura de la distribución P(X): partición del espacio de las observaciones, subvariedad de baja dimensión que aproxima la nube de puntos, densidad, o regularidades de coocurrencia. La optimización recae sobre un criterio definido exclusivamente a partir de los datos, sin referencia a un valor esperado.

Traducción al lenguaje corriente

Se proporcionan observaciones sin ninguna respuesta asociada y se pide al algoritmo que haga aparecer la organización interna de esos datos.

El término «no supervisado»

Indica la ausencia de respuesta de referencia, no la ausencia de intervención humana: la elección de las variables, de la distancia, del número de grupos y de la normalización corresponde enteramente al analista.

Punto de vigilancia

Un algoritmo no supervisado siempre produce un resultado, incluso cuando los datos no contienen ninguna estructura: una partición en cuatro grupos devolverá cuatro grupos sobre una nube perfectamente uniforme. La producción de un resultado nunca atestigua, por tanto, la existencia de una estructura.

Definición rigurosa

Problema que consiste en construir una partición o un recubrimiento de un conjunto de observaciones en grupos tales que una medida de similitud intragrupo sea máxima y la similitud intergrupos mínima, en el sentido de una distancia especificada por el analista. Un método de partición por inercia minimiza así la suma de los cuadrados de las desviaciones internas:

argmin  Σ      Σ      || x - μ_j ||²
   C   j=1..k  x ∈ C_j

donde $\mu_j$ designa el centro del grupo $C_j$.

Traducción al lenguaje corriente

Agrupar las observaciones que se parecen, sin saber de antemano qué grupos existen ni cuántos hay.

Parámetros a cargo del analista

Número de grupos, medida de distancia, normalización, selección de las variables. Cada una de estas elecciones modifica el resultado; no existe una partición «verdadera» que un algoritmo descubriría independientemente de ellas.

Punto de vigilancia

Los grupos producidos no tienen nombre. Su denominación y su interpretación son un acto de negocio posterior al algoritmo, nunca una salida de este.

Definición rigurosa

Problema que consiste en construir una aplicación g: X → Z, con dim(Z) < dim(X), que preserve lo mejor posible una propiedad de la distribución de origen: varianza explicada para el análisis de componentes principales, estructura de vecindad local para los métodos de embedding no lineal, capacidad de reconstrucción para los autoencoders. El criterio optimizado es interno a los datos.

Traducción al lenguaje corriente

Representar las mismas observaciones con menos variables, perdiendo la menor información posible.

Finalidades operativas: visualización, compresión, eliminación de ruido, preprocesamiento de un modelo supervisado, atenuación de la maldición de la dimensionalidad.

Punto de vigilancia

Empleada antes de un modelo supervisado, la reducción de dimensión debe ajustarse únicamente sobre los datos de entrenamiento y luego aplicarse tal cual a los datos de validación y de test. Ajustarla sobre el conjunto de los datos constituye una fuga de datos, tratada en el capítulo 028.

Definición rigurosa

Marco de aprendizaje en el que un agente interactúa secuencialmente con un entorno. En cada paso de tiempo t, el agente observa un estado $s_t$, elige una acción $a_t$ según una política π, recibe una recompensa escalar $r_{t+1}$ y observa un nuevo estado $s_{t+1}$. El problema se formaliza la mayoría de las veces como un proceso de decisión de Markov (S, A, P, R, γ), con γ ∈ [0, 1[ el factor de descuento. El objetivo es determinar una política π que maximice la esperanza de la ganancia acumulada descontada:

Referencia de síntesis: Sutton y Barto, Reinforcement Learning: An Introduction (1998, segunda edición 2018).

Traducción al lenguaje corriente

El agente no aprende a partir de respuestas correctas proporcionadas de antemano sino por ensayos sucesivos: actúa, el entorno lo sanciona o lo recompensa, y ajusta su estrategia de modo que acumule la mayor recompensa posible.

Lo que distingue la recompensa de una etiqueta

La etiqueta indica la respuesta correcta, preexiste al entrenamiento y concierne a una observación aislada. La recompensa evalúa la respuesta producida, se genera durante la interacción, recae sobre una secuencia de acciones y depende de las acciones del propio modelo.

Punto de vigilancia

El carácter diferido de la recompensa genera el problema de asignación del mérito (credit assignment): cuando una recompensa sobreviene al término de centenares de acciones, determinar cuáles contribuyeron a ella constituye la dificultad central del paradigma.

Aprender a montar en bicicleta no procede de un solucionario: nadie puede proporcionar, para cada milisegundo, el valor exacto del ángulo del manillar y de la inclinación del torso. La consigna «mantén el equilibrio» no es una etiqueta. La señal disponible es una consecuencia: el aprendiz se mantiene en pie, o se cae. El vínculo entre el gesto erróneo y su consecuencia está diferido unos segundos.

Lo que la analogía pone de manifiesto

La competencia se adquiere por interacción y no por memorización de pares pregunta-respuesta: no puede transmitirse mediante una exposición, y su adquisición exige un gran número de ensayos, incluidos los infructuosos. Un niño se cae unas decenas de veces; un agente artificial requiere habitualmente millones de episodios. Cuando cada episodio tiene un coste material o humano, el entrenamiento en condiciones reales se vuelve impracticable —de ahí la exigencia de un simulador.

Definición rigurosa

Clase de problemas en los que la muestra reúne un subconjunto etiquetado $S_l$ = { ($x_i$, $y_i$) } de tamaño l y un subconjunto no etiquetado $S_u$ = { $x_j$ } de tamaño u, con generalmente u >> l. Los métodos explotan la distribución marginal P(X) estimada sobre $S_u$ para restringir la estimación de P(Y | X) aprendida sobre $S_l$, bajo hipótesis de regularidad: continuidad, agrupamiento, variedad.

Traducción al lenguaje corriente

Se dispone de muchas observaciones y de pocas respuestas conocidas; la masa no etiquetada sirve para aprovechar mejor el pequeño número de etiquetas disponibles.

Punto de vigilancia

Las hipótesis de regularidad no siempre se satisfacen. Cuando no lo hacen, la adición de datos no etiquetados puede degradar el rendimiento con respecto a un modelo entrenado solo con los datos etiquetados.

Definición rigurosa

Clase de métodos en los que la variable objetivo se construye automáticamente a partir de la estructura interna de los datos, sin intervención de un anotador. Se define una tarea llamada pretexto de modo que su etiqueta sea deducible del dato bruto; el modelo se entrena en esa tarea mediante minimización de un riesgo empírico clásico, y luego la representación obtenida se reutiliza para la tarea objetivo.

Traducción al lenguaje corriente

El algoritmo fabrica por sí mismo sus ejercicios y sus soluciones a partir de los datos brutos, lo que elimina el coste de anotación.

Precisión determinante

La mecánica de aprendizaje sigue siendo estrictamente supervisada: existe un valor objetivo, una función de pérdida, una comparación entre predicción y objetivo. Solo cambia la procedencia de la etiqueta —extraída de los datos en lugar de ser proporcionada por un operador. El autosupervisado no es, por tanto, un cuarto paradigma, sino una modalidad de obtención de las etiquetas.

Punto de vigilancia

La calidad de la representación depende enteramente de la pertinencia de la tarea pretexto. Una tarea resoluble mediante un artefacto superficial produce una representación sin valor para la tarea objetivo.

Definición rigurosa

Problema que consiste en identificar las observaciones cuya generación es improbable con respecto a la distribución de las observaciones llamadas normales. Según la disponibilidad de ejemplos de anomalías etiquetados, se formula como una clasificación supervisada fuertemente desequilibrada, como una estimación de densidad o de soporte no supervisada, o como una clasificación de una clase.

Traducción al lenguaje corriente

Detectar lo que se sale de lo ordinario, se disponga o no de ejemplos de casos anormales.

Posición taxonómica

La detección de anomalías se sitúa a caballo entre dos paradigmas. No constituye una familia adicional: designa una finalidad de negocio tratable en uno u otro paradigma según los datos disponibles.

Un departamento de marketing solicita un modelo que prediga «los clientes de alto potencial». Ninguna variable con ese nombre existe en el sistema de información: la intención de predecir no basta para crear un problema supervisado. Son posibles dos salidas, y solo una debe elegirse explícitamente: definir un objetivo medible y verificable en el histórico —por ejemplo «facturación de los 12 meses siguientes superior a 5 000 $»— o asumir un enfoque exploratorio no supervisado que produzca grupos a interpretar.

Formulación correcta: «Un problema supervisado requiere una variable objetivo definida, medible y presente en el histórico. Mientras no esté constituida, no hay problema supervisado.»

Ambos producen grupos, lo que basta para alimentar la confusión. El criterio discriminante no es la salida sino la entrada: ¿las clases preexisten en los datos de entrenamiento? Se observa regularmente una consecuencia: un clustering presentado como un modelo predictivo, acompañado de una supuesta medida de exactitud, la cual carece de objeto en ausencia de partición de referencia.

Formulación correcta: «La clasificación asigna una observación a clases definidas previamente y aprendidas sobre ejemplos etiquetados; el clustering constituye grupos a partir únicamente de las similitudes, sin clases preexistentes ni exactitud medible.»

La ausencia de etiquetas aligera la recolección y da la impresión de un problema menos exigente. Es lo contrario en el plano de la validación: sin verdad de referencia, el proyecto se ve privado de criterio objetivo de parada, y el número de grupos, la distancia y la normalización corresponden a elecciones que ninguna métrica resuelve. Un proyecto supervisado concluye con un rendimiento cuantificado sobre un conjunto de test; un proyecto no supervisado, con una decisión de aceptación de negocio.

Formulación correcta: «El aprendizaje no supervisado es menos exigente en datos etiquetados y más exigente en interpretación: su dificultad se desplaza de la recolección a la validación.»

La enumeración «supervisado, no supervisado, refuerzo, Deep Learning» mezcla dos planos de clasificación. Los tres primeros términos designan paradigmas, definidos por la naturaleza de la señal de aprendizaje; el cuarto designa una clase de modelos, definida por una arquitectura. Una red neuronal entrenada con imágenes etiquetadas pertenece al supervisado, un autoencoder al no supervisado, una red que optimiza una política mediante recompensa al refuerzo.

Formulación correcta: «El Deep Learning es una clase de modelos movilizable en los tres paradigmas; se sitúa en otro plano de clasificación.»

Para predecir el abandono a 90 días, un equipo retiene como variable explicativa el número de llamadas al servicio de cancelación. El rendimiento es excelente en validación y nulo en producción: en el momento en que la predicción debe producirse, esa llamada aún no ha tenido lugar. La variable no es predictiva, es constitutiva del evento a predecir. Esta forma de fuga de datos, tratada en el capítulo 028, no es detectable por las métricas: las mejora.

Regla de control: para cada variable explicativa, verificar que su valor estaría efectivamente disponible en el instante en que el modelo será consultado en producción.

Formulación correcta: «La etiqueta es posterior a las variables explicativas; toda información contemporánea o posterior a la realización del objetivo debe excluirse del conjunto de entrenamiento.»

«La salud es supervisado» o «el marketing es clustering» son enunciados sin fundamento. La salud da lugar a la predicción de un reingreso (supervisado), a la identificación de subgrupos de pacientes (no supervisado) y a la adaptación secuencial de un protocolo de dosificación (refuerzo). El marketing da lugar a la predicción de una cancelación, a una segmentación y a la asignación dinámica de ofertas mediante bandits.

Formulación correcta: «El paradigma se determina por la naturaleza de la señal de aprendizaje disponible, nunca por el sector de actividad.»