"Attention Is All You Need" (2017)
Le papier qui a lancé la révolution IA moderne.
Self-Attention
Chaque mot regarde TOUS les autres mots pour comprendre le contexte.
Modèles basés sur les Transformers
- BERT (Google, 2018) — Bidirectionnel, compréhension
- GPT (OpenAI, 2018-2024) — Autorégressif, génération
- Claude (Anthropic, 2023-2025) — Constitutional AI
- T5 (Google) — Text-to-Text
- LLaMA (Meta) — Open source
