Les Transformers expliqués : l’architecture qui a tout changé

Temps de lecture : ~9 min

Date: 2026-03-09

SEO Title: Architecture Transformer expliquée simplement

SEO Description: Architecture transformer : auto-attention, encodage positionnel et pourquoi elle alimente GPT, Claude et Gemini.

Focus Keyphrase: architecture transformer

En bref : Le transformer est l’architecture de réseau de neurones derrière tous les grands systèmes d’IA d’aujourd’hui — GPT-4, Claude, Gemini, Stable Diffusion et des centaines d’autres. Introduite dans l’article de 2017 « Attention Is All You Need », l’architecture transformer a remplacé les réseaux de neurones récurrents (RNN) en traitant des séquences entières en parallèle grâce à un mécanisme d’auto-attention qui permet à chaque élément de considérer sa relation avec tous les autres éléments. Cette seule innovation architecturale a débloqué la montée en échelle qui a produit la révolution de l’IA générative.

Huit pages qui ont redéfini une industrie

En juin 2017, une équipe de huit chercheurs chez Google a publié un article dont le titre ressemblait à un défi : « Attention Is All You Need ». L’article proposait de remplacer l’architecture de réseau de neurones dominante pour les tâches linguistiques — les réseaux de neurones récurrents — par quelque chose d’entièrement nouveau. Ils l’ont appelé le transformer.

L’article n’a pas inventé les mécanismes d’attention. Ceux-ci existaient depuis des années comme compléments aux architectures existantes. Ce qu’il proposait était bien plus radical : une architecture construite entièrement à partir de l’attention, sans récurrence et sans convolution. La sagesse établie disait que cela ne devrait pas fonctionner. Les résultats expérimentaux disaient le contraire.

En deux ans, les transformers avaient déplacé les RNN et les LSTM dans le traitement du langage naturel. En cinq ans, ils s’étaient étendus à la vision par ordinateur, la prédiction de la structure des protéines, la synthèse vocale et la robotique. Chaque grand modèle de langage qui alimente la révolution IA actuelle — GPT-4, Claude, Gemini, LLaMA, Mistral — est un transformer. Comprendre comment ils fonctionnent, c’est comprendre le moteur de l’IA moderne.

Pourquoi les RNN devaient disparaître

Pour comprendre pourquoi les transformers comptaient, il faut comprendre ce qu’ils ont remplacé.

Les réseaux de neurones récurrents (RNN) et leur variante améliorée, les réseaux Long Short-Term Memory (LSTM), traitaient les séquences un élément à la fois. Pour comprendre le mot « effondré » dans la phrase « Le marché boursier, qui avait progressé régulièrement pendant des mois malgré les avertissements des économistes sur la surchauffe, s’est finalement effondré », le RNN devait traiter chaque mot précédent séquentiellement, maintenant un état caché qui transportait l’information en avant.

Ce traitement séquentiel créait deux problèmes. Premièrement, il était lent — chaque étape dépendait de l’étape précédente, donc le calcul ne pouvait pas être parallélisé sur les nombreux coeurs d’un GPU moderne. L’entraînement sur de grands jeux de données prenait un temps impraticable.

Deuxièmement, l’information se dégradait avec la distance. Au moment où le RNN atteignait « effondré », l’information sur « marché boursier » — 20 mots plus tôt — avait été compressée à travers un goulot d’étranglement d’état caché, diluée par chaque mot intermédiaire. Les LSTM ont partiellement résolu ce problème avec des mécanismes de portes, mais le problème fondamental persistait : les dépendances à longue distance étaient difficiles à capturer.

Les transformers ont résolu les deux problèmes simultanément.

Auto-attention : l’innovation centrale

Le mécanisme central du transformer — l’auto-attention — permet à chaque élément d’une séquence de prêter directement attention à chaque autre élément, indépendamment de la distance. Pas de traitement séquentiel. Pas de goulot d’étranglement d’information. Des connexions directes entre deux positions quelconques.

Voici comment cela fonctionne, étape par étape.

Requêtes, clés et valeurs

Pour chaque jeton en entrée, le transformer calcule trois vecteurs : une requête (Q), une clé (K) et une valeur (V). Pensez-y comme un moteur de recherche. La requête représente « que cherché-je ? ». La clé représente « que contiens-je ? ». La valeur représente « quelle information dois-je transmettre si je suis sélectionné ? ».

Le score d’attention entre deux jetons est calculé en prenant le produit scalaire de la requête d’un jeton avec la clé d’un autre jeton. Un produit scalaire élevé signifie que les deux jetons sont pertinents l’un pour l’autre. Ces scores sont normalisés à l’aide d’un softmax pour créer une distribution de probabilités — les poids d’attention — qui somment à 1.

La sortie pour chaque position est une somme pondérée de toutes les valeurs, où les poids proviennent des scores d’attention. Les jetons très pertinents l’un pour l’autre échangent le plus d’information. Les jetons non pertinents l’un pour l’autre n’en échangent presque pas.

Attention multi-têtes

Un seul calcul d’attention capture un type de relation entre les jetons. Mais le langage comporte de nombreux types de relations — syntaxiques, sémantiques, référentielles, temporelles. Le transformer gère cela en exécutant plusieurs calculs d’attention en parallèle, chacun avec ses propres matrices de poids Q, K, V apprises. Ce sont les têtes d’attention.

Une couche typique de transformer peut avoir 12 à 128 têtes d’attention. Une tête peut apprendre à suivre l’accord sujet-verbe. Une autre peut suivre les références pronominales. Une autre peut suivre la similarité sémantique. Les sorties de toutes les têtes sont concaténées et projetées à travers une couche linéaire pour produire la sortie de la couche.

Ce parallélisme n’est pas seulement élégant — il est efficace en calcul. Comme les calculs d’attention sont des multiplications de matrices, ils s’adaptent parfaitement au matériel GPU conçu exactement pour ces opérations. C’est pourquoi les transformers s’entraînent plus vite que les RNN bien qu’ils traitent plus d’information par étape.

Le coût computationnel

L’auto-attention a un coût : elle évolue quadratiquement avec la longueur de la séquence. Chaque jeton prête attention à chaque autre jeton, donc doubler la longueur de la séquence quadruple le calcul. Pour une entrée de 1 000 jetons, cela représente 1 million de calculs d’attention par couche. Pour une entrée de 100 000 jetons, c’est 10 milliards.

Cette mise à l’échelle quadratique explique pourquoi les fenêtres de contexte étaient initialement petites (1 024 jetons pour GPT-2, 4 096 pour GPT-3). Étendre les fenêtres de contexte à des millions de jetons a nécessité des innovations comme FlashAttention (qui optimise les patterns d’accès mémoire), l’attention éparse (qui saute les calculs d’attention entre jetons distants) et l’attention à fenêtre glissante (qui limite l’attention à un voisinage local plus des positions globales sélectionnées).

Encodage positionnel : enseigner l’ordre à un système parallèle

L’auto-attention est intrinsèquement sans ordre. L’attention entre les jetons ne dépend que de leur contenu, pas de leur position. La phrase « le chien mord l’homme » et « l’homme mord le chien » produiraient des scores d’attention identiques sans un moyen d’encoder la position.

L’encodage positionnel résout ce problème en ajoutant l’information de position directement aux embeddings des jetons. L’article original sur les transformers utilisait des fonctions sinusoïdales — différentes fréquences pour différentes positions — pour que le modèle puisse à la fois identifier les positions absolues et calculer les distances relatives entre jetons.

Les transformers modernes utilisent des encodages positionnels appris ou, de plus en plus, Rotary Position Embedding (RoPE), qui encode les positions relatives par des matrices de rotation appliquées aux vecteurs de requête et de clé. RoPE est particulièrement efficace pour étendre les longueurs de contexte au-delà de la distribution d’entraînement, ce qui explique son adoption par LLaMA, Mistral et d’autres modèles open-source.

L’architecture encodeur-décodeur

L’article original sur les transformers décrivait une architecture encodeur-décodeur, conçue pour des tâches séquence-à-séquence comme la traduction automatique.

L’encodeur traite la séquence d’entrée (par exemple, une phrase en français) à travers plusieurs couches d’auto-attention et de réseaux feed-forward, produisant une représentation riche de l’entrée.

Le décodeur génère la séquence de sortie (par exemple, la traduction en anglais) un jeton à la fois. Il utilise deux types d’attention : l’auto-attention sur la sortie générée jusqu’ici, et l’attention croisée sur la représentation de l’entrée par l’encodeur. Le mécanisme d’attention croisée permet à chaque jeton généré de « regarder en arrière » vers l’entrée complète.

Un détail crucial : le décodeur utilise de l’auto-attention masquée, qui empêche chaque position de prêter attention aux positions futures. Lors de la génération du quatrième mot d’une traduction, le décodeur ne peut prêter attention qu’aux trois premiers mots — pas au cinquième ni au sixième. Cela garantit que la génération est auto-régressive (chaque jeton ne dépend que des jetons précédents) tout en tirant parti du calcul parallèle de l’attention.

Variantes encodeur-seul et décodeur-seul

L’architecture encodeur-décodeur originale a engendré deux variantes influentes.

Les modèles encodeur-seul (BERT, RoBERTa) n’utilisent que la pile d’encodeurs. Comme il n’y a pas d’attention masquée, chaque jeton peut prêter attention à chaque autre jeton dans les deux directions. Cette attention bidirectionnelle rend les modèles encodeur-seul excellents pour les tâches de compréhension — classification, reconnaissance d’entités nommées, analyse de sentiment — mais incapables de générer du texte.

Les modèles décodeur-seul (série GPT, Claude, LLaMA) n’utilisent que la pile de décodeurs avec auto-attention masquée. Ce sont les modèles qui alimentent l’IA générative — ils génèrent du texte un jeton à la fois, chaque jeton ne prêtant attention qu’aux jetons précédents. Bien qu’ils n’aient que la « moitié » de l’architecture originale, les modèles décodeur-seul se sont révélés remarquablement polyvalents, gérant les tâches de compréhension par l’apprentissage en contexte plutôt que par des caractéristiques architecturales.

La domination des modèles décodeur-seul en 2024-2026 est l’un des développements les plus surprenants en IA. Une architecture plus simple, massivement mise à l’échelle, a surpassé la conception encodeur-décodeur plus complexe qui était théoriquement mieux adaptée à de nombreuses tâches.

Réseaux feed-forward et normalisation de couche

L’attention est la vedette du transformer, mais deux composants de soutien sont essentiels.

Les réseaux feed-forward (FFN) suivent chaque couche d’attention. Ce sont de simples réseaux de neurones à deux couches appliqués indépendamment à chaque position de jeton. Alors que l’attention capture les relations entre les jetons, les FFN transforment les représentations individuelles des jetons — ajoutant de la non-linéarité et de la capacité de stockage de connaissances factuelles. La recherche suggère que les FFN agissent comme des mémoires clé-valeur, stockant les associations apprises pendant l’entraînement.

La normalisation de couche stabilise l’entraînement en normalisant les entrées de chaque sous-couche. Sans elle, l’entraînement de transformers profonds (plus de 80 couches) serait numériquement instable, avec des valeurs de gradient qui soit explosent vers l’infini soit disparaissent vers zéro. Le placement des normalisations de couche (avant ou après chaque sous-couche) est un choix de conception qui affecte la dynamique d’entraînement — la pratique moderne favorise la pré-normalisation (normaliser avant chaque sous-couche), qui améliore la stabilité d’entraînement pour les modèles très profonds.

Lois d’échelle : pourquoi plus grand fonctionne

La propriété la plus conséquente du transformer est peut-être sa capacité à monter en échelle. Contrairement aux architectures précédentes qui plafonnaient ou devenaient instables à grande échelle, les transformers démontrent une amélioration régulière et prévisible à mesure que la taille du modèle, la taille du jeu de données et le calcul augmentent.

Les « lois d’échelle » documentées par OpenAI (Kaplan et al., 2020) et DeepMind (Hoffmann et al., 2022) ont montré que les performances du modèle suivent des relations en loi de puissance avec le nombre de paramètres et les données d’entraînement. Doublez les paramètres, obtenez une amélioration prévisible. Doublez les données d’entraînement, obtenez une amélioration prévisible.

Cette prévisibilité a transformé la recherche en IA d’un art en quelque chose de plus proche de l’ingénierie. Les laboratoires pouvaient estimer à l’avance combien de calcul et de données un modèle nécessitait pour atteindre un niveau de capacité cible. L’évolution des modèles d’IA de GPT-2 à GPT-4 n’a pas été une série de percées chanceuses mais une marche systématique le long de ces courbes d’échelle.

Au-delà du langage : les transformers partout

Les transformers se sont échappés du domaine du traitement du langage naturel. Les Vision Transformers (ViT) traitent les images comme des séquences de patchs et les traitent avec le même mécanisme d’attention utilisé pour le texte. Le Decision Transformer applique l’architecture à l’apprentissage par renforcement. AlphaFold 2 a utilisé l’attention pour prédire les structures des protéines, sans doute l’une des percées scientifiques les plus importantes de la décennie.

La généralité de l’architecture est sa superpuissance. Tout problème qui peut être formulé comme une séquence — et presque tout problème le peut — est susceptible d’être traité par un transformer. Cette universalité, combinée aux innovations d’efficacité comme le mélange d’experts, suggère que les transformers resteront l’architecture dominante pendant des années.

Qu’une architecture fondamentalement nouvelle remplace un jour le transformer, de la même façon que le transformer a remplacé les RNN, reste une question ouverte. Les modèles à espace d’états comme Mamba offrent une mise à l’échelle linéaire avec la longueur de séquence, répondant au goulot d’étranglement quadratique du transformer. Mais jusqu’ici, aucune alternative n’a égalé la combinaison de performance, d’évolutivité et de généralité du transformer.

Questions Fréquemment Posées

Sources et lectures complémentaires

• Attention Is All You Need — Vaswani et al., NeurIPS (2017)
• The Illustrated Transformer — Jay Alammar
• Scaling Laws for Neural Language Models — Kaplan et al., OpenAI (2020)
• An Image Is Worth 16×16 Words: Transformers for Image Recognition (ViT) — Dosovitskiy et al., Google (2020)
• FlashAttention: Fast and Memory-Efficient Exact Attention — Dao et al., Stanford (2022)