Séquences, RNN, LSTM et GRU

Objectif : modéliser une séquence ordonnée et comprendre la mémoire récurrente.

Un réseau récurrent lit une séquence élément après élément. Son état caché résume le passé :

text

h_t = φ(W_x x_t + W_h h_{t-1} + b)

Les mêmes poids sont réutilisés à chaque pas. Cette récurrence accepte des longueurs variables, mais rend les calculs temporels séquentiels et expose aux gradients évanescents.

LSTM et GRU

Le LSTM ajoute un état mémoire et des portes d'entrée, d'oubli et de sortie. La GRU combine certaines portes et possède moins de paramètres. Ces portes apprennent quelle information conserver, modifier ou oublier.

python

from torch import nn

rnn = nn.GRU(input_size=64, hidden_size=128, num_layers=2,
             batch_first=True, dropout=0.2, bidirectional=True)