RNN et Transformers

Traiter des séquences

RNN (Recurrent Neural Networks)

Spécialisés dans les données séquentielles (texte, audio, time series).

LSTM et GRU

Variantes de RNN qui résolvent le problème de la mémoire à long terme.

Transformers (2017)

L architecture qui a tout changé ! Attention mechanism permet de traiter toute la séquence en parallèle.