L’accord NVIDIA-Groq : comment la plateforme Vera Rubin redessine l’inférence IA

L’annonce du GTC qui a redessiné la carte du matériel IA

Le 16 mars 2026, Jensen Huang est monté sur la scène du GTC à San Jose et a dévoilé une série d’annonces qui ont provoqué une onde de choc chez chaque opérateur de centre de données, fournisseur cloud et startup IA de la planète. La vedette était le Groq 3 Language Processing Unit — la première puce de NVIDIA issue de son accord de licence et d’acquisition de talents de 20 milliards de dollars avec Groq, annoncé le soir de Noël 2025 et représentant le plus gros accord de l’histoire de NVIDIA.

La transaction a été structurée comme un accord de licence non exclusif plutôt qu’une acquisition traditionnelle. NVIDIA a obtenu la licence de la technologie d’inférence de Groq et a embauché environ 90 % des employés de Groq, dont le fondateur Jonathan Ross et le président Sunny Madra. Groq continue d’opérer en tant qu’entreprise indépendante sous la direction du nouveau PDG Simon Edwards, bien que son service d’inférence GroqCloud n’ait pas fait partie de la transaction.

La manœuvre était du Jensen pur jus : audacieuse, verticalement intégrante, et conçue pour combler la seule brèche dans l’armure de NVIDIA que les concurrents exploitaient discrètement. NVIDIA domine l’entraînement IA depuis une décennie, mais l’inférence — l’exécution de modèles entraînés pour produire des réponses, générer des images et alimenter des agents IA — représente un défi d’ingénierie différent, où l’architecture déterministe de Groq, axée sur la SRAM, surpassait les solutions basées sur GPU en latence et en efficacité énergétique.

Pourquoi l’inférence est le nouveau champ de bataille

Entraîner un modèle de frontière coûte extraordinairement cher — des centaines de millions de dollars pour une seule exécution. Mais l’entraînement n’a lieu qu’une fois. L’inférence se produit des milliards de fois par jour. Chaque requête ChatGPT, chaque résultat de recherche généré par l’IA, chaque décision prise par un agent autonome — tout cela est de l’inférence. Les estimations de l’industrie situent l’inférence à 60-70 % des dépenses totales en calcul IA, et cette part s’accélère alors que le monde passe de la construction de modèles à leur déploiement à grande échelle.

Le problème fondamental est que les GPU, bien qu’excellents pour l’entraînement grâce aux multiplications matricielles massivement parallèles, sont architecturalement surdimensionnés pour de nombreuses charges d’inférence. Une requête utilisateur unique n’a pas besoin de 80 Go de bande passante HBM3e. Elle nécessite une génération de tokens rapide et déterministe avec une latence prévisible. Ce décalage explique pourquoi les puces spécialisées en inférence de Groq, Cerebras et d’autres gagnaient du terrain auprès des entreprises frustrées par les coûts d’inférence sur GPU.

L’insight fondamental de Groq était d’éliminer le goulot d’étranglement mémoire. Les accélérateurs IA traditionnels font circuler les données entre les unités de calcul et la DRAM ou HBM externe, créant de la latence et consommant énormément d’énergie. L’architecture LPU de Groq place des quantités massives de SRAM directement sur la puce, gardant des couches entières du modèle dans une mémoire on-chip ultra-rapide. Le résultat : une exécution déterministe, une latence prévisible et une efficacité énergétique radicalement meilleure pour les charges d’inférence.

Le LP30 : le joyau de Groq bénéficie des ressources de NVIDIA

La pièce maîtresse de la capacité d’inférence de la plateforme Vera Rubin est le LP30, la puce LPU de nouvelle génération que Groq développait et qui bénéficie désormais des relations de fabrication de NVIDIA et d’un budget R&D quasi illimité. Le LP30 est fabriqué par Samsung en procédé 4nm SF4X, avec un lancement prévu par NVIDIA au T3 2026.

Les spécifications du LP30 représentent un saut générationnel :

• 512 Mo de SRAM par puce — Un demi-gigaoctet de la mémoire la plus rapide disponible, directement sur la puce. À titre de comparaison, le Blackwell B200 de NVIDIA dispose d’environ 64 Mo de cache L2. Le LP30 offre huit fois cette quantité en mémoire on-chip brute, éliminant le besoin d’accéder à la mémoire externe pour la plupart des opérations d’inférence.

• 150 To/s de bande passante on-chip — Le taux de transfert interne du LP30 est près de 7 fois supérieur à la bande passante HBM4 du GPU Rubin de 22 To/s par GPU. Les données sont toujours là où le calcul en a besoin.

• 1,23 PFLOPS FP8 de calcul — Par puce, avec 98 milliards de transistors alimentant les performances d’inférence.

• Rack LPX complet : 256 LPU, 128 Go de SRAM agrégée — Un rack Vera Rubin LPX complet contient 256 puces LP30 délivrant 40 Po/s de bande passante agrégée. C’est suffisant pour conserver de grandes couches de modèle entièrement en mémoire on-chip avec un minimum de surcharge de communication inter-puces.

• 35x de débit par mégawatt par rapport au Blackwell NVL72 — C’est le chiffre qui va remodeler l’économie des centres de données. À une époque où les centres de données IA sont contraints par la disponibilité énergétique, une amélioration de 35x du débit d’inférence par unité d’électricité est transformationnelle, pas incrémentale.

Vera Rubin : la vision du calcul hétérogène

La plateforme Vera Rubin n’est pas simplement des GPU plus des LPU dans le même rack. Elle représente le système le plus complet de NVIDIA à ce jour : sept puces, cinq systèmes à l’échelle du rack et un supercalculateur IA conçus pour le cycle de vie complet de l’IA.

Les sept puces comprennent le Vera CPU, le Rubin GPU (336 milliards de transistors, HBM4 avec 22 To/s de bande passante par GPU), NVLink 6, ConnectX-9 SuperNIC, BlueField-4 DPU, Spectrum-6 switch et le Groq 3 LPU. Le Rubin GPU seul délivre 50 PFLOPS d’inférence NVFP4 — une amélioration de 5x par rapport au Blackwell GB200 — tandis que le rack NVL72 est évalué à 3,6 exaFLOPS.

L’architecture de décodage hétérogène est orchestrée par NVIDIA Dynamo, qui classifie les requêtes entrantes et les achemine vers le matériel optimal. Les calculs de remplissage et d’attention vont aux GPU Rubin. Les opérations de décodage sensibles à la latence — la génération token par token qui alimente les chatbots et les agents — sont acheminées vers les LPU LP30. Les développeurs écrivent du code en utilisant l’écosystème CUDA existant ; le runtime gère le routage de manière transparente.

Les implications économiques sont significatives. Le rack NVL72 offre 10x plus de débit d’inférence par watt à un dixième du coût par token par rapport à la plateforme Blackwell précédente. Les produits seront disponibles auprès des partenaires au second semestre 2026.

1 500 tokens par seconde : le seuil de vitesse des agents

Un chiffre du keynote mérite une attention particulière : 1 500 tokens par seconde pour les charges de travail agentiques. Le VP de NVIDIA, Ian Buck, a déclaré que la combinaison des GPU Rubin et des racks Groq « nous fait passer d’un monde où 100 tokens par seconde est un débit raisonnable à un monde de 1 500 TPS ou plus pour l’intercommunication des agents IA. »

Cette cible ne concerne pas la vitesse des chatbots — 50 tokens par seconde semblent déjà instantanés pour un lecteur humain. L’objectif de 1 500 tok/s est conçu pour les agents IA qui consomment la production d’autres agents IA. Dans les workflows agentiques où un orchestrateur dispatche des tâches à des agents spécialistes, collecte les réponses, raisonne dessus et dispatche d’autres tâches, la vitesse de chaque appel d’inférence individuel se compose tout au long de la chaîne.

À 100 tokens par seconde, une chaîne d’agents multi-étapes traitant une demande client peut prendre 15-25 secondes. À 1 500 tokens par seconde, la même chaîne se complète en moins de 3 secondes. Pour les applications sensibles au temps — trading financier, détection de fraude en temps réel, systèmes autonomes — cette différence détermine la viabilité.

Jensen a explicitement positionné le Vera Rubin LP30 comme « le moteur d’inférence de l’ère agentique », arguant que la prolifération des agents IA poussera la demande d’inférence 10 à 100 fois au-delà des niveaux actuels.

Le pipeline de commandes de 1 000 milliards de dollars

Dans la déclaration la plus audacieuse du keynote, Jensen Huang a révélé que NVIDIA voit 1 000 milliards de dollars de commandes pour Blackwell et Vera Rubin d’ici 2027. Cela double effectivement les prévisions précédentes d’environ 500 milliards de dollars de demande d’ici 2026.

Il s’agit d’engagements et d’intentions — accords d’achat pluriannuels, livraisons échelonnées et réservations de capacité de la part d’hyperscalers, de laboratoires IA et d’acheteurs souverains — plutôt que de revenus comptabilisés. Pour contexte, NVIDIA a déclaré 215,9 milliards de dollars de revenus pour l’exercice fiscal 2026, les revenus des centres de données représentant plus de 91 % des ventes totales.

Le pipeline repose sur plusieurs moteurs : les revenus d’inférence dépassant ceux de l’entraînement à mesure que les entreprises déploient l’IA à grande échelle, plus de 40 pays poursuivant une infrastructure IA souveraine avec NVIDIA comme fournisseur par défaut, et la montée en puissance attendue de la demande de calcul IA agentique.

Space-1 : l’inférence IA entre en orbite

Dans la partie la plus visuellement spectaculaire du keynote, Jensen a dévoilé Space-1, un module Vera Rubin conçu pour les centres de données orbitaux. Le principe : lorsque la demande d’inférence IA dépasse les contraintes terrestres d’énergie et de refroidissement, le déploiement de calcul en orbite offre une énergie solaire quasi illimitée et un refroidissement naturel sous vide.

NVIDIA a lancé des partenariats avec Aetherflux, Axiom Space, Kepler Communications, Planet Labs, Sophia Space et Starcloud pour développer une infrastructure IA spatiale. Le module Space-1 délivre jusqu’à 25 fois plus de puissance de calcul IA pour l’inférence spatiale par rapport au H100 GPU.

Jensen a noté un défi d’ingénierie clé : « Dans l’espace, il n’y a pas de convection, seulement du rayonnement. » Le refroidissement reste un problème de R&D actif. Le projet en est à l’ingénierie préliminaire plutôt qu’à la construction active, mais le message symbolique était clair — l’ambition de NVIDIA pour le calcul IA n’a aucun plafond terrestre.

Ce que cela signifie pour les concurrents

L’accord Groq élimine le concurrent spécialisé en inférence le plus crédible de NVIDIA tout en renforçant simultanément son offre d’inférence.

AMD perd son meilleur argument. AMD avait positionné ses GPU MI300X et les prochains MI400 comme des alternatives compétitives en inférence. Avec NVIDIA offrant désormais du silicium d’inférence dédié aux côtés de ses GPU, AMD doit concurrencer sur deux fronts simultanément.

Cerebras fait face à une pression intensifiée. Son moteur à l’échelle du wafer avait gagné du terrain auprès des projets IA souverains et des institutions de recherche, mais le LP30 de NVIDIA soutenu par la force de vente et l’écosystème CUDA de NVIDIA rétrécit la différenciation de Cerebras.

Les fournisseurs cloud doivent recalculer. AWS, Google Cloud et Microsoft Azure développent du silicium d’inférence personnalisé (Inferentia, TPU, Maia). La plateforme Vera Rubin pourrait réduire l’urgence de ces programmes de puces propriétaires — ou les accélérer, car les fournisseurs cloud cherchent à éviter une dépendance totale envers NVIDIA.

Le risque d’intégration

Les accords de cette ampleur comportent un risque d’exécution. NVIDIA doit retenir les talents d’ingénierie de Groq — environ 90 % des employés ont rejoint l’entreprise, mais l’architecture LPU repose sur l’expertise de quelques centaines d’ingénieurs dont la culture de startup diffère nettement de l’organisation de 30 000 personnes de NVIDIA. La couche d’orchestration NVIDIA Dynamo doit fournir un routage hétérogène transparent ; si les développeurs doivent prendre manuellement des décisions GPU contre LPU, l’adoption sera ralentie. Et un accord de 20 milliards de dollars par l’entreprise de semi-conducteurs la plus valorisée au monde attirera l’attention antitrust aux États-Unis, dans l’UE et sur les marchés asiatiques.

L’accord Groq a été structuré pour maintenir la « fiction de la concurrence », comme l’a formulé un analyste — l’accord de licence non exclusif permet techniquement à Groq de licencier sa propriété intellectuelle ailleurs. Reste à savoir si cela constitue une concurrence significative.

Sources et lectures complémentaires

• NVIDIA Vera Rubin Opens Agentic AI Frontier — NVIDIA Newsroom
• Nvidia GTC 2026: CEO Jensen Huang sees $1 trillion in orders — CNBC
• Inside NVIDIA Groq 3 LPX: Low-Latency Inference Accelerator — NVIDIA Developer Blog
• How Nvidia’s $20 billion Groq 3 LPU deal reshapes the Vera Rubin Platform — Tom’s Hardware
• Nvidia buying AI chip startup Groq’s assets for about $20 billion — CNBC
• NVIDIA Launches Space Computing, Rocketing AI Into Orbit — NVIDIA Newsroom
• NVIDIA FY2026 Financial Results — NVIDIA Newsroom
• A closer look at Nvidia’s Groq-powered LPX rack systems — The Register