Au-delà de Nvidia : comment Groq et Cerebras redéfinissent la vitesse de l’inférence IA

Lorsque la plupart des organisations pensent à l’infrastructure IA, elles pensent à Nvidia. Le GPU H100 est devenu l’unité de calcul IA par défaut — une puce à 30 000 dollars qui alimente tout, de l’entraînement des modèles chez OpenAI aux pipelines d’inférence des entreprises logicielles. Mais entraîner un modèle et l’exploiter en production sont deux problèmes fondamentalement différents. Et deux challengers spécialisés — Groq et Cerebras — ont conçu du silicium entièrement différent pour résoudre la partie inférence de cette équation.

Les résultats sont frappants. Sur des benchmarks réels, le LPU de Groq délivre Llama 2 70B à 300 tokens par seconde — dix fois plus vite qu’un cluster H100 exécutant le même modèle. Le WSE-3 de Cerebras a franchi la barre des 1 000 tokens par seconde pour le modèle Llama 3.1 à 405 milliards de paramètres, un niveau de débit que les baies de GPU peinent à atteindre. Il ne s’agit pas d’améliorations marginales. Elles représentent une refonte structurelle de ce que doit être le matériel d’inférence.

Pourquoi l’inférence est désormais la charge de travail IA déterminante

Pendant les trois premières années de l’ère des grands modèles de langage, l’entraînement dominait le débat sur le calcul IA. La course à la construction de GPT-4, Llama 3 et Gemini a consommé des milliards de dollars de temps GPU et a façonné le narratif public autour de l’infrastructure IA.

Cet équilibre a basculé de manière décisive. En 2023, l’inférence représentait environ un tiers de tout le calcul IA. En 2025, cette part avait atteint la moitié. Les analystes projettent que d’ici 2026, l’inférence représentera environ deux tiers des dépenses totales de calcul IA — un renversement porté par l’explosion des déploiements IA en production. Chaque session de chatbot, chaque appel API vers un LLM, chaque document traité par un pipeline IA est une tâche d’inférence. L’entraînement se produit une fois ; l’inférence se produit des milliards de fois par jour.

Le marché mondial de l’inférence IA reflète cette réalité. Évalué à 103 milliards de dollars en 2025, il devrait atteindre 255 milliards de dollars d’ici 2030 avec un TCAC de 19 %. Les puces d’inférence IA cloud devraient à elles seules passer de 49 milliards de dollars en 2025 à 288 milliards de dollars d’ici 2032. La pression commerciale pour exécuter l’inférence plus rapidement et à moindre coût n’a jamais été aussi forte.

Le goulot d’étranglement de la bande passante mémoire que les GPU ne peuvent pas surmonter

Pour comprendre pourquoi Groq et Cerebras existent, il faut saisir une intuition fondamentale : l’inférence LLM n’est pas un problème de puissance de calcul brute. C’est un problème de bande passante mémoire.

Exécuter un modèle de langage nécessite de charger des milliards de poids du modèle depuis la mémoire vers les unités de traitement pour chaque token généré. Sur un GPU comme le H100, ces poids résident dans une mémoire à haute bande passante (HBM) — des puces physiquement séparées attachées à la puce GPU. Même la HBM la plus rapide a une latence, et lorsque vous générez des tokens un par un dans une chaîne séquentielle, ce coût d’aller-retour mémoire s’accumule pour former le plancher de latence.

Le Language Processing Unit (LPU) de Groq attaque directement ce goulot d’étranglement. Au lieu de HBM, le LPU utilise de la SRAM on-chip — de la mémoire intégrée directement dans la puce. La SRAM on-chip est des ordres de grandeur plus rapide à accéder. Combinée à un modèle d’exécution déterministe qui élimine la contention du bus partagé et le surcoût de changement de contexte, le LPU peut soutenir un débit cohérent et prévisible que les clusters GPU ne peuvent pas égaler sur les charges de travail sensibles à la latence.

Cerebras adopte une approche différente mais connexe. Son Wafer-Scale Engine 3 (WSE-3) est littéralement une tranche de silicium unique de la taille d’une assiette : 46 255 mm² de silicium contenant 4 000 milliards de transistors et 900 000 cœurs optimisés pour l’IA. Parce que l’ensemble du modèle tient sur un seul morceau de silicium avec 44 Go de SRAM on-chip, le problème de bande passante mémoire qui affecte l’inférence GPU disparaît. Cerebras annonce 7 000 fois plus de bande passante mémoire effective que le Nvidia H100 — et ses résultats de benchmarks confirment l’avantage à grande échelle.

Groq : la latence sous la milliseconde comme produit

Le produit commercial de Groq est GroqCloud, un service d’inférence API-first auquel les développeurs peuvent accéder sans acheter de matériel. Depuis son lancement public, GroqCloud a attiré plus de 1,9 million de développeurs et des clients entreprise dont Dropbox, Volkswagen et Riot Games.

Les chiffres de performance sont bien documentés par des benchmarkers tiers. ArtificialAnalysis.ai a mesuré l’API Llama 2 70B de Groq à 241 tokens par seconde lors de tests indépendants — la plaçant loin devant tout concurrent basé sur GPU en matière de débit. Le temps-au-premier-token se situe en dessous de 300 millisecondes pour la plupart des modèles, avec une latence sous la milliseconde atteignable pour des configurations plus petites et optimisées.

La tarification reflète la pression concurrentielle croissante sur le marché de l’inférence. Fin 2025, Groq facture 0,11 dollar par million de tokens d’entrée et 0,34 dollar par million de tokens de sortie pour Llama 4 Scout — le positionnant bien en dessous des fournisseurs premium basés sur GPU. Llama 3 70B tourne à 0,59/0,79 dollar par million de tokens. Pour les équipes qui exécutent des charges de travail d’inférence à volume élevé, ces tarifs peuvent changer matériellement l’économie unitaire d’un produit IA.

Le signal des acteurs plus importants est sans ambiguïté quant à la position stratégique de Groq : Nvidia a signé un accord de licence de 20 milliards de dollars avec Groq, reconnaissant que le silicium d’inférence spécialisé représente un marché durable, pas une nouveauté temporaire.

Cerebras : quand le modèle est trop grand pour tout GPU

Là où Groq optimise la latence, Cerebras optimise le débit brut sur les modèles les plus grands. Le benchmark 2025 du WSE-3 à 969 tokens de sortie par seconde pour Llama 3.1-405B — un modèle de plus de 400 milliards de paramètres — a démontré des performances d’inférence que les clusters GPU ne peuvent reproduire qu’avec un parallélisme massif sur des dizaines de H100.

La traction entreprise est réelle. Mayo Clinic a annoncé un partenariat sur un modèle de fondation génomique avec Cerebras lors de la conférence J.P. Morgan Healthcare de janvier 2025. ZS a intégré les systèmes CS-3 de Cerebras dans sa plateforme MAX.AI en avril 2025. Plus significativement, OpenAI a signé en janvier 2026 un accord pour que Cerebras fournisse 750 mégawatts de puissance de calcul jusqu’en 2028 — un contrat valorisé à plus de 10 milliards de dollars qui place Cerebras au cœur des flux de travail les plus critiques de l’écosystème IA.

Cerebras s’approche également d’un test sur les marchés publics : une introduction en bourse est prévue pour le deuxième trimestre 2026, ce qui fournira le premier benchmark de valorisation publique claire pour les entreprises d’infrastructure d’inférence spécialisée.

Le paysage concurrentiel en 2026

Groq et Cerebras n’opèrent pas sur un marché à deux acteurs. Le paysage du matériel d’inférence est devenu encombré et genuinement compétitif.

Le TPU Trillium v6 de Google délivre une latence d’inférence LLM dans la plage 5–20ms à des coûts environ 30 % inférieurs au Nvidia H100. AWS Inferentia2 est allé plus loin, revendiquant 70 % de coûts inférieurs au H100 avec 4 fois le débit pour les déploiements dans l’écosystème AWS. En février 2026, SambaNova a dévoilé la puce SN50 avec des revendications de 5x plus rapide que les concurrents et 3x un coût total de possession inférieur aux GPU. Le prochain TPU v7 Ironwood de Google atteint 4 614 TFLOPS par puce — les analystes le plaçant à parité avec la génération Blackwell de Nvidia.

Pendant ce temps, le nombre de fournisseurs d’inférence a explosé de 27 au début 2025 à 90 en fin d’année. Cette pression concurrentielle a entraîné l’une des déflations de coûts les plus spectaculaires de l’histoire technologique : l’inférence équivalente GPT-4 qui coûtait 20 dollars par million de tokens fin 2022 tourne maintenant à environ 0,40 dollar par million de tokens — une réduction par 50 en trois ans.

Nvidia ne reste pas immobile. L’architecture Blackwell (B100/B200) délivre environ deux fois les performances d’inférence de la Hopper H100, et l’écosystème logiciel CUDA — vingt ans d’investissement développeur — reste le fossé le plus puissant de l’infrastructure IA. Se défaire de l’outillage natif CUDA est un coût d’ingénierie réel que la plupart des équipes ne sont pas pressées d’absorber.

Quelles charges de travail bénéficient réellement

Toute charge de travail d’inférence ne devrait pas migrer vers du silicium spécialisé. Le calcul pratique dépend des caractéristiques de la charge de travail.

Le LPU de Groq convient le mieux aux applications en temps réel sensibles à la latence où le temps de réponse affecte directement l’expérience utilisateur : chatbots, IA vocale, recherche en temps réel, assistants documentaires interactifs. Si le temps-au-premier-token est une métrique produit, la performance déterministe sous la milliseconde de Groq est un avantage concurrentiel qui mérite d’être évalué.

Cerebras cible le niveau de modèle aux paramètres les plus élevés — les scénarios où l’exécution de Llama 3.1-405B ou de modèles de taille similaire en production est une exigence, pas un choix. L’IA de santé, le traitement de documents juridiques et les agents d’entreprise qui ont besoin de capacités de raisonnement profond à grande vitesse sont l’ajustement naturel.

Pour les déploiements flexibles multi-modèles, les pipelines mixtes batch-et-temps-réel, ou les équipes profondément intégrées dans les écosystèmes cloud existants (AWS, Google Cloud), l’infrastructure basée sur GPU avec Inferentia ou TPU en complément reste souvent le choix pragmatique. La flexibilité a une valeur réelle.

Le marché du cloud d’inférence à l’orée de 2026 n’est pas une compétition à gagnant unique. C’est une segmentation : le silicium spécialisé remporte de manière convaincante des profils de charge de travail spécifiques, tandis que les plateformes GPU conservent l’avantage de la largeur de l’écosystème. La question pour toute équipe IA est de savoir si sa charge de travail spécifique se situe dans le segment où le matériel d’inférence spécialisé offre des retours qui justifient le coût d’intégration.

Sources et lectures complémentaires

• Groq LPU Inference Engine écrase le premier benchmark LLM public — Groq
• Tarification à la demande Groq — Groq
• Cerebras lance l’inférence IA la plus rapide au monde — Cerebras
• Inférence Cerebras : record Llama 3.1-405B — Cerebras
• Annonce WSE-3 Cerebras : 4 000 milliards de transistors — Cerebras
• L’inférence IA définira 2026 — SDxCentral
• Le marché de l’inférence IA atteindra 254,98 milliards de dollars d’ici 2030 — MarketsAndMarkets
• Nvidia, Google TPUs, AWS Trainium : comparaison des meilleures puces IA — CNBC