Matemáticas útiles para el aprendizaje profundo

1. Si X vale B×D y W vale D×H, ¿cuál es la forma de XW?
2. ¿Qué forma debe tener ∂L/∂W?
3. ¿Por qué restar el logit máximo antes del softmax?
4. ¿Para qué sirve un gradient check?
5. [E] ¿Por qué las dimensiones constituyen una prueba de razonamiento?

Respuestas. 1. B×H. 2. D×H, como W. 3. Para prevenir el overflow sin cambiar las probabilidades. 4. Para comparar derivada analítica y diferencia finita. 5. Una operación cuyas dimensiones no se componen no puede ser el cálculo anunciado.

Objetivo: dominar las herramientas necesarias para razonar sobre una red sin convertir el curso en un tratado de matemáticas.