Algoritmo, modelo, entrenamiento y predicción

Definición rigurosa. Sucesión finita y no ambigua de operaciones elementales que permite, a partir de entradas pertenecientes a un dominio especificado, producir una salida en un número finito de etapas. La caracterización clásica retiene cinco propiedades (Knuth, The Art of Computer Programming, 1968): finitud, definición no ambigua de cada etapa, entradas especificadas, salidas especificadas, efectividad de las operaciones.

Traducción al lenguaje corriente. Un método escrito de una vez por todas, que describe lo que hay que hacer y en qué orden, independientemente de los valores sobre los que se ejecutará.

Punto de vigilancia. Un algoritmo es una descripción de procedimiento: no tiene estado, no contiene ningún conocimiento sobre un dominio particular y no cambia cuando los datos cambian.

Definición rigurosa. Caso particular del anterior: procedimiento que, aplicado a un conjunto de datos D = {(x₁, y₁), …, (xₙ, yₙ)} y a una configuración de hiperparámetros λ, selecciona un elemento ĥ de un espacio de hipótesis H según un criterio explícito evaluado sobre D. Formalmente, A : (D, λ) ⟼ ĥ ∈ H.

Traducción al lenguaje corriente. El método que, a partir de una tabla de ejemplos ya etiquetados, fabrica la regla de decisión. Describe cómo buscar, no lo que se encontrará. Tres elementos deben nombrarse para que quede especificado: el espacio de hipótesis recorrido (apartado 1.3), el criterio evaluado sobre los datos, y la estrategia de búsqueda (apartado 4.2).

Punto de vigilancia. El algoritmo es idéntico para todos los proyectos que lo emplean: RandomForestClassifier es el mismo para todos los usuarios de una versión dada de scikit-learn. Lo que difiere de un proyecto a otro es el modelo producido, nunca el algoritmo.

Definición rigurosa. Conjunto H de todas las funciones candidatas h : X → Y que el algoritmo es estructuralmente capaz de producir, designando X el espacio de las variables explicativas e Y el de la variable objetivo. H está determinado conjuntamente por la familia de funciones retenida y por los hiperparámetros que restringen su forma: fijar max_depth=3 no modifica el algoritmo, pero restringe H a los árboles de profundidad máxima 3.

Traducción al lenguaje corriente. El conjunto de todas las reglas que el método tiene derecho a fabricar: nunca producirá una regla ausente de ese conjunto, sea cual sea la cantidad de datos proporcionada. Para una regresión lineal con dos variables, H es el conjunto de las funciones h(x) = β₀ + β₁x₁ + β₂x₂, de cardinal infinito pero parametrizado por tres reales; ningún conjunto de datos permitirá producir en él una función escalonada o periódica.

Punto de vigilancia. Un modelo de bajo rendimiento lo es por dos razones distintas: la función correcta no pertenece a H (error de aproximación, ligado a la elección del algoritmo), o pertenece a él sin haber sido encontrada (error de estimación, ligado a los datos y a la optimización) — capítulo 032.

Definición rigurosa (Mitchell, 1980). Conjunto de las hipótesis suplementarias, no deducibles de los datos de entrenamiento, que un algoritmo moviliza para preferir ciertas generalizaciones a otras entre las compatibles con los datos observados. Se manifiesta bajo dos formas: la restricción del espacio de hipótesis y la preferencia dentro de H, por ejemplo por la hipótesis más simple a igual rendimiento.

Traducción al lenguaje corriente. Un conjunto de ejemplos nunca determina una sola regla: una infinidad de reglas pasan por los mismos puntos. El sesgo inductivo es el conjunto de preferencias integradas en el método, que deciden entre esas reglas.

Resultado asociado (Wolpert, 1996 — No Free Lunch). Promediado sobre el conjunto de todos los problemas posibles, ningún algoritmo es superior a otro: su rendimiento sobre un problema dado proviene de la adecuación entre su sesgo inductivo y la estructura real del fenómeno. Elegir un algoritmo equivale por tanto a apostar sobre esa estructura (capítulo 049).

Punto de vigilancia. Un aprendizaje sin sesgo inductivo es imposible: un algoritmo desprovisto de toda preferencia no podría afirmar nada sobre una observación ausente del conjunto de entrenamiento.

Definición rigurosa. Elemento ĥ ∈ H seleccionado por el algoritmo A al término de su ejecución sobre un conjunto de datos D con hiperparámetros λ. El modelo está enteramente especificado por dos componentes: una estructura — la forma funcional, fijada por A y λ — y un conjunto de valores de parámetros ajustado a partir de D.

Definición operativa. Artefacto de software que implementa una función determinista de las variables explicativas hacia el espacio de salida, cuyo comportamiento depende íntegramente del conjunto de datos sobre el que fue ajustado, y que puede ser serializado, versionado, transportado y evaluado independientemente del procedimiento que lo produjo.

Traducción al lenguaje corriente. El resultado del entrenamiento: una regla de decisión congelada, en memoria o en archivo, que responde a una pregunta precisa para una observación dada.

Punto de vigilancia. El modelo no es el archivo: este no es más que un soporte de serialización, al igual que una partitura no es la música. Un mismo modelo se exporta en joblib, en ONNX o en PMML sin cambiar de naturaleza.

Una receta es un texto: no se come, no caduca, permanece idéntica sea cual sea el número de veces que se ejecute y se fotocopia sin pérdida. El pastel es un objeto: resulta de la ejecución de la receta sobre ingredientes precisos, en un horno regulado de cierta manera, un día dado. Dos pasteles procedentes de la misma receta difieren si los ingredientes difieren; el pastel se transporta, se fecha, caduca.

Límites de la analogía. El pastel es un objeto pasivo, mientras que el modelo es una función de entrada a salida (apartado 5.2); una porción consumida ya no está disponible, mientras que un modelo produce un número ilimitado de predicciones sin agotarse; por último, el pastel caduca por alteración física, mientras que el archivo de un modelo no se degrada — es la distribución de los datos de producción la que se aleja de la del entrenamiento (capítulo 082).

Definición rigurosa. Conversión del estado completo de un objeto en memoria — estructura y valores de parámetros — en una secuencia de bytes persistente, que permite su reconstitución posterior en un proceso distinto con un comportamiento funcionalmente idéntico.

Traducción al lenguaje corriente. Guardar el modelo en un archivo de manera que pueda recargarse más tarde, en otro lugar, sin tener que reentrenarlo. Los formatos usuales son joblib y pickle (ecosistema Python, dependientes de las versiones), ONNX (interoperable entre lenguajes y motores de ejecución), PMML (estándar XML, familias de modelos limitadas) y los formatos nativos de biblioteca, como Booster.save_model para XGBoost y LightGBM.

Punto de vigilancia. Un archivo joblib o pickle reconstruye objetos Python arbitrarios en la lectura: cargarlo sin dominar su procedencia equivale a ejecutar código no verificado. Por otra parte, la deserialización bajo una versión de biblioteca diferente no está garantizada: la versión debe registrarse en los metadatos y verificarse en la carga.

Definición rigurosa. Ejecución del algoritmo A sobre un conjunto de datos D con hiperparámetros λ, consistente en seleccionar en H la hipótesis ĥ que optimiza un criterio explícito evaluado sobre D, eventualmente acompañado de un término de regularización:

ĥ = argmin sobre h ∈ H de [ (1/n) · Σᵢ L(h(xᵢ), yᵢ) + Ω(h) ]

donde L designa la función de coste y Ω un término que penaliza la complejidad de la hipótesis. Este marco es el de la minimización del riesgo empírico (Vapnik). La cantidad minimizada se mide sobre la muestra de entrenamiento, no sobre la población: esa diferencia es el origen del sobreajuste (capítulo 031).

Traducción al lenguaje corriente. La fase de estudio: el algoritmo recorre los ejemplos corregidos, ajusta sus parámetros para equivocarse lo menos posible sobre esos ejemplos, y se detiene cuando el criterio ya no mejora significativamente.

Lo que el entrenamiento no hace. No modifica los hiperparámetros, que permanecen tal como se proporcionaron; no acumula las llamadas sucesivas, pues un segundo fit sobrescribe íntegramente el estado anterior salvo que se recurra a partial_fit o warm_start; no evalúa el modelo producido, pues la evaluación exige datos no vistos.

Punto de vigilancia. El criterio optimizado durante el entrenamiento (la función de coste) y el criterio de evaluación de negocio (la métrica) son distintos y coinciden raramente (capítulo 030).

Definición rigurosa. Evaluación de la función ĥ en un punto x del espacio de las variables explicativas, produciendo un valor ŷ = ĥ(x) del espacio de salida. La observación x no pertenece necesariamente al conjunto de entrenamiento; el interés operativo reside precisamente en el caso en que no pertenece a él.

Traducción al lenguaje corriente. Dar una respuesta para un caso nuevo, aplicando la regla aprendida. La convención distingue y, valor real observado, y ŷ, valor producido por el modelo; su diferencia es el residuo (capítulo 066).

Punto de vigilancia. El término no comporta ninguna connotación temporal. Un modelo que diagnostica una patología sobre datos presentes produce una predicción en sentido técnico, aunque ningún futuro esté en juego.

Acepción 1 — inferencia en el sentido del Machine Learning (inference, serving). Operación consistente en evaluar un modelo entrenado sobre datos nuevos para producir predicciones. Sinónimo de predicción, el término se opone al entrenamiento y domina el vocabulario de la ingeniería de producción: inference server, inference latency, batch inference.

Acepción 2 — inferencia en el sentido estadístico (statistical inference). Enfoque consistente en estimar las características de una población a partir de una muestra y en cuantificar la incertidumbre asociada: estimación puntual, intervalo de confianza, test de hipótesis, significatividad. Tradición de Fisher, Neyman y Pearson.

Origen de la ambigüedad. Las dos comunidades emplean la misma palabra para operaciones cuyos objetos se oponen: una observación individual por un lado, un parámetro de población por el otro. La distinción la desarrollan Breiman (2001, Statistical Modeling: The Two Cultures) y Shmueli (2010, To Explain or to Predict?).

Punto de vigilancia. Un modelo muy eficaz en predicción no proporciona ninguna garantía inferencial: un coeficiente alto no establece ni la significatividad del efecto, ni su dirección causal (capítulo 016).

Lo que se despliega es un artefacto — estructura y valores de parámetros — procedente de la ejecución del algoritmo Random Forest sobre un conjunto de datos determinado, en una fecha determinada. El algoritmo reside en la biblioteca instalada.

Formulación correcta: «Hemos desplegado el modelo attrition_v3, obtenido por entrenamiento de un bosque aleatorio sobre los datos de enero a junio.»

El algoritmo ejecuta un procedimiento de búsqueda y no conserva nada al término de su ejecución; el conocimiento inducido reside en los parámetros del modelo producido.

Formulación correcta: «El algoritmo ha seleccionado, en el espacio de hipótesis, un modelo cuyos coeficientes indican una asociación negativa entre antigüedad y cancelación.»

Reentrenar consiste en reejecutar el mismo algoritmo, con los mismos hiperparámetros, sobre datos actualizados: ninguna línea de código se modifica. La confusión lleva a subestimar el coste real del ciclo de mantenimiento.

Formulación correcta: «El reentrenamiento mensual produce una nueva versión del modelo sin modificación del código de entrenamiento.»

Las transformaciones de preparación comportan parámetros aprendidos sobre los datos de entrenamiento: medianas de imputación, modalidades de codificación, medias y desviaciones típicas. Un estimador serializado solo, alimentado por transformaciones reimplementadas manualmente, produce predicciones falsas sin error visible.

Formulación correcta: «El artefacto serializado es el pipeline completo, del dato bruto a la predicción, acompañado de sus metadatos.»

El término designa, según la comunidad, la producción de una predicción sobre una observación o la estimación de un parámetro de población acompañada de una medida de incertidumbre: ni el mismo objeto, ni los mismos criterios de validez.

Formulación correcta: «El servidor de inferencia produce predicciones. Las conclusiones relativas a la población pertenecerían a una inferencia estadística, que este dispositivo no proporciona.»