Un seul rack plus puissant que des centres de données entiers
Le GB300 NVL72 de NVIDIA représente la consolidation la plus agressive de calcul IA jamais livrée. Un seul rack intègre 72 GPU Blackwell Ultra et 36 CPU Arm Grace dans une unité entièrement refroidie par liquide, délivrant 1 440 pétaflops (1,44 exaflops) de performance FP4 Tensor Core. Pour mettre cela en perspective, l’intégralité du supercalculateur Summit, qui était la machine la plus rapide du monde en 2018, délivrait 200 pétaflops.
Le système connecte les 72 GPU via le fabric NVLink Switch de cinquième génération, fournissant 130 To/s de bande passante all-to-all au sein du rack. Chaque GPU bénéficie de 1,8 To/s de bande passante NVLink et de 288 Go de mémoire HBM3e, soit 37 téraoctets de mémoire rapide pour l’ensemble du rack. Cela permet aux modèles à un billion de paramètres de tenir entièrement dans un seul domaine de rack, éliminant la surcharge de communication inter-racks qui constituait historiquement un goulot d’étranglement pour l’entraînement des grands modèles.
Ce qui a changé du GB200 au GB300
Le GB300 NVL72 succède au GB200 NVL72 avec des améliorations substantielles sur tous les plans. La mémoire par GPU est passée d’environ 192 Go à 288 Go de HBM3e. L’accélération de l’attention a doublé, bénéficiant directement aux charges de travail transformer. NVIDIA revendique une amélioration de performance d’environ 2x pour les tâches d’entraînement LLM par rapport au GB200, avec des gains encore plus importants en inférence grâce à l’exécution optimisée FP4 et FP8.
La consommation électrique a augmenté modestement, passant d’environ 120 kW par rack pour le GB200 à 132-140 kW pour le GB300, avec des pics allant jusqu’à 155 kW selon la charge de travail. Le rapport performance-par-watt s’est nettement amélioré malgré la consommation absolue plus élevée.
L’architecture Blackwell Ultra a également ajouté un support natif pour les charges de travail intensives en raisonnement. NVIDIA a conçu le GB300 spécifiquement pour le passage de l’inférence simple question-réponse à l’IA agentique multi-étapes, où les modèles enchaînent plusieurs passes de raisonnement avant de produire un résultat.
Publicité
L’impératif du refroidissement liquide
Chaque GB300 NVL72 est livré en tant que système entièrement refroidi par liquide. Il n’existe pas d’option à refroidissement par air. Le rack utilise une architecture hybride où les GPU, CPU et composants NVSwitch reçoivent un refroidissement liquide direct sur puce, tandis que les modules OSFP et les disques de stockage sont refroidis par air. Environ 90 % de la chaleur est évacuée par le liquide, 10 % par l’air.
NVIDIA affirme que le système de refroidissement liquide est 25 fois plus efficace énergétiquement et 300 fois plus efficace en eau que les approches traditionnelles à refroidissement par air. Comme le liquide de refroidissement circule en boucle fermée, aucune eau ne s’évapore pendant le fonctionnement. Pour un centre de données hyperscale de 50 MW, NVIDIA estime des économies annuelles dépassant 4 millions de dollars grâce aux gains d’efficacité du refroidissement seul.
Ce choix de conception force l’industrie des centres de données à traverser une transition générationnelle. Les installations conçues pour le refroidissement par air ne peuvent pas accueillir les racks GB300 sans réaménagement, créant un goulot d’étranglement dans les emplacements de déploiement disponibles même si la demande explose.
Qui construit avec le GB300
Microsoft a déployé le premier cluster de production à grande échelle, intégrant plus de 4 600 racks GB300 NVL72 connectés via le réseau InfiniBand de NVIDIA pour les charges de travail OpenAI. CoreWeave a été le premier fournisseur cloud à proposer des instances GB300 NVL72, suivi par AWS avec les EC2 P6e-GB300 UltraServers.
HPE, Lenovo et Supermicro ont tous lancé leurs propres configurations GB300 NVL72. Les tarifs cloud vont de 2,90 $ de l’heure pour les instances spot à 18 $ de l’heure par GPU en accès à la demande. L’achat d’un rack complet est estimé à plus de 5 millions de dollars, tandis que la variante station de travail DGX Station de NVIDIA démarre à environ 275 000 $.
La base de clients révèle où se concentre la demande de calcul IA. Les hyperscalers achètent des milliers de racks pour l’entraînement de modèles fondation. Les entreprises évaluent les configurations DGX pour l’inférence sur site. Les fournisseurs cloud rivalisent pour proposer des instances GB300 avant leurs concurrents, créant une pression sur la chaîne d’approvisionnement qui s’étend de la capacité de fabrication de TSMC jusqu’aux fournisseurs d’infrastructure de refroidissement liquide.
Le fossé d’infrastructure se creuse
Le GB300 NVL72 cristallise un fossé croissant dans l’industrie de l’IA. Les organisations ayant accès à ces systèmes peuvent entraîner et déployer des modèles à des échelles physiquement impossibles il y a deux ans. Celles qui n’y ont pas accès dépendent de plus en plus des fournisseurs d’API qui exploitent ces racks.
L’exigence de 140 kW par rack signifie qu’un déploiement modeste de 100 racks consomme 14 mégawatts, l’équivalent de la charge électrique d’une petite ville. L’obligation du refroidissement liquide élimine la plupart des installations de centres de données existantes. Et le coût estimé de 500 millions de dollars pour un cluster de 100 racks place la propriété directe hors de portée de toutes les entreprises sauf les plus grandes sociétés technologiques et les fonds souverains.
Pour l’écosystème IA au sens large, le GB300 représente à la fois un bond en capacité et un risque de concentration. L’infrastructure IA la plus puissante se consolide entre moins de mains, dans des installations qui nécessitent une infrastructure électrique et de refroidissement sur mesure dont la construction prend des années.
Questions Fréquemment Posées
Qu’est-ce qui distingue le NVIDIA GB300 NVL72 des clusters GPU précédents ?
Le GB300 NVL72 intègre 72 GPU Blackwell Ultra dans un seul rack refroidi par liquide, délivrant 1,44 exaflops de performance FP4 et 37 To de mémoire rapide. Sa bande passante NVLink de 130 To/s permet aux modèles à un billion de paramètres de fonctionner au sein d’un seul rack, éliminant le goulot d’étranglement de communication inter-racks qui ralentissait les systèmes précédents de jusqu’à 40 %.
Combien coûte un rack GB300 NVL72 ?
Les estimations de l’industrie placent le GB300 NVL72 au-dessus de 5 millions de dollars par rack. L’accès cloud est plus abordable, avec des instances spot à partir de 2,90 $ par GPU et par heure et des tarifs à la demande jusqu’à 18 $ par GPU et par heure. La variante DGX Station de NVIDIA démarre à environ 275 000 $ pour les organisations souhaitant du calcul IA sur site sans déployer un rack complet.
Pourquoi le GB300 nécessite-t-il un refroidissement liquide et qu’est-ce que cela implique pour les centres de données ?
Chaque rack GB300 NVL72 consomme 132-140 kW, bien au-delà de ce que le refroidissement par air peut gérer efficacement. Le refroidissement liquide direct sur puce de NVIDIA capture 90 % de la chaleur via le liquide, atteignant une efficacité en eau 300 fois supérieure aux méthodes traditionnelles. Cette obligation force les centres de données à se réaménager ou à construire de nouvelles installations, créant un goulot d’étranglement temporaire dans les emplacements de déploiement disponibles.
Sources et lectures complémentaires
- NVIDIA GB300 NVL72 Product Page — NVIDIA
- NVIDIA GB300 NVL72 on Azure — Microsoft Azure Blog
- Microsoft Azure Unveils World’s First GB300 NVL72 Cluster for OpenAI — NVIDIA Blog
- Blackwell Platform Water Efficiency — NVIDIA Blog
- How Much Power Does a GB300 NVL72 Need — Sunbird DCIM
- NVIDIA B300 Blackwell Ultra Specs and Pricing — Spheron
