Inférence sans GPU : les startups ASIC défient la domination de Nvidia dans les data centers

La taxe GPU sur l’inférence IA

La domination de Nvidia sur le marché des accélérateurs IA reste l’un des monopoles les plus extraordinaires de l’histoire de la technologie. L’entreprise contrôle plus de 90 % du marché des accélérateurs GPU, et son chiffre d’affaires data centers a atteint 51,2 milliards de dollars au troisième trimestre fiscal 2026 — une hausse de 66 % en glissement annuel qui représente désormais 90 % du chiffre d’affaires total. Mais un nombre croissant d’architectes de puces, de fondateurs de startups et d’ingénieurs d’hyperscalers affirment que le règne de Nvidia fait face à son défi le plus crédible — non pas venant d’un autre fabricant de GPU, mais d’une approche entièrement différente de la conception de silicium.

Le défi vient des circuits intégrés spécifiques à une application, ou ASIC : des puces conçues de A à Z pour effectuer l’inférence IA — le processus d’exécution de modèles entraînés pour générer des prédictions, traductions, images et textes — avec une efficacité maximale. Contrairement aux GPU, qui sont des processeurs parallèles polyvalents adaptés aux charges de travail IA, les ASIC d’inférence sacrifient la polyvalence au profit de performances brutes sur un ensemble restreint d’opérations. Le résultat, selon leurs concepteurs, est une performance par watt et une performance par dollar considérablement supérieures à ce que n’importe quel GPU peut atteindre.

L’économie qui motive ce changement est simple. Bien que l’entraînement IA fasse les gros titres, l’inférence représente environ 60 % à 80 % des dépenses totales de calcul IA dans les environnements de production. Le marché des puces optimisées pour l’inférence devrait dépasser 50 milliards de dollars en 2026. Chaque fois qu’un utilisateur pose une question à ChatGPT, chaque fois que Google traduit une phrase, chaque fois qu’un moteur de recommandation sert un flux personnalisé — c’est de l’inférence. À cette échelle, même des améliorations d’efficacité modestes se traduisent par des milliards de dollars d’économies. Et les gains d’efficacité promis par les ASIC d’inférence dédiés ne sont pas modestes du tout.

Taalas HC1 : l’intelligence câblée dans le silicium

L’approche la plus radicale de l’accélération d’inférence vient de Taalas, une startup qui a développé le HC1 — une puce qui intègre littéralement les poids du modèle dans son tissu de transistors. Les accélérateurs IA traditionnels, y compris les GPU et la plupart des autres ASIC, stockent les poids du modèle en mémoire et les transfèrent vers les unités de calcul pour traitement. Ce mouvement de données de la mémoire au calcul est le principal goulot d’étranglement en performance d’inférence et le premier consommateur d’énergie.

Le Taalas HC1 élimine entièrement ce goulot d’étranglement. Pendant la fabrication, les poids spécifiques d’un modèle IA cible — en l’occurrence Llama 3.1 8B — sont encodés directement dans les couches métalliques de la puce. Il n’y a pas d’accès mémoire, pas de mouvement de données, pas de goulot d’étranglement de bande passante. Le calcul s’effectue là où résident les données — dans les transistors eux-mêmes. De la SRAM reste sur la puce pour les éléments dynamiques comme le cache KV et les poids ajustés, mais les paramètres fondamentaux du modèle sont physiquement gravés dans le silicium.

Les chiffres de performance sont remarquables. Taalas rapporte que le HC1 délivre environ 17 000 tokens par seconde sur Llama 3.1 8B, avec des tests en conditions réelles montrant 15 000 à 16 000 tokens par seconde sur des requêtes typiques et des pics atteignant près de 20 000 tokens par seconde sur des entrées plus simples — tout en ne consommant que 250 watts. À titre de comparaison, un GPU Nvidia H100 haut de gamme, consommant 700 watts, délivre généralement quelques milliers de tokens par seconde pour des tailles de modèles comparables. Cela représente environ un avantage de débit de 10x pour un tiers de la consommation énergétique.

La limitation évidente de l’approche de Taalas est l’inflexibilité. Une puce câblée pour un modèle spécifique ne peut pas être réutilisée pour un autre modèle sans fabriquer une nouvelle puce. Mais Taalas a résolu le défi du délai de fabrication : en ne modifiant que les masques métalliques supérieurs lors de la fabrication, le processus de conversion poids-silicium ne prend que deux mois. La feuille de route de l’entreprise inclut un deuxième modèle (un LLM de raisonnement de taille moyenne) sur silicium HC1 prévu au printemps 2026, suivi d’un LLM frontier sur la plateforme de deuxième génération HC2 avec une densité plus élevée et une exécution plus rapide, ciblé pour l’hiver 2026.

L’économie du HC1 n’est viable que pour les modèles avec une demande d’inférence massive et soutenue — exactement la situation à laquelle font face les fournisseurs de grands modèles de langage servant des millions d’utilisateurs. Pour la poignée de modèles qui dominent l’inférence IA commerciale, une puce dédiée par modèle pourrait avoir un sens économique convaincant.

SambaNova et le juste milieu reconfigurable

Là où Taalas représente l’extrême de la spécialisation en inférence, SambaNova Systems occupe un juste milieu avec son architecture à flux de données reconfigurable (Reconfigurable Dataflow Architecture, RDA). Les puces de SambaNova ne sont pas câblées pour des modèles spécifiques mais sont conçues pour optimiser les patterns de flux de données communs à l’inférence IA, disposant les unités de calcul dans une architecture spatiale qui minimise les mouvements de données tout en maintenant la capacité d’exécuter différents modèles.

SambaNova a levé 350 millions de dollars en février 2026, menée par Vista Equity Partners, avec un investissement d’Intel d’environ 100 millions de dollars (avec des engagements potentiels allant jusqu’à 150 millions). Le financement est intervenu après l’échec des discussions d’acquisition entre Intel et SambaNova — Intel aurait discuté du rachat de la startup pour environ 1,6 milliard de dollars. Le partenariat stratégique qui en résulte représente la reconnaissance par Intel que le partenariat avec des entreprises d’architectures innovantes pourrait être une voie plus viable pour défier Nvidia que ses propres efforts internes d’accélérateurs.

Parallèlement au financement, SambaNova a dévoilé la puce SN50, une mise à niveau significative par rapport au SN40L de 2024, offrant 2,5x plus de performance en virgule flottante 16 bits et 5x plus de performance en précision FP8. Le SN50 cible les charges d’inférence d’entreprise où les organisations ont besoin d’exécuter plusieurs modèles efficacement — un portefeuille de modèles spécialisés pour différentes tâches plutôt qu’un seul modèle massif. SambaNova a également décroché un contrat de puces avec SoftBank, signalant une traction commerciale majeure.

Ce scénario d’inférence multi-modèles est de plus en plus courant dans les déploiements IA d’entreprise, où les organisations peuvent exécuter un modèle de langage pour le service client, un modèle de vision pour le contrôle qualité, un modèle de séries temporelles pour la prévision de la demande et un modèle de recommandation pour la personnalisation, le tout sur la même infrastructure. L’argument de SambaNova sur le « dimensionnement adapté » — que les GPU sont considérablement surdimensionnés pour la plupart des charges d’inférence — résonne auprès des clients d’entreprise frustrés par le coût du maintien d’un taux d’utilisation élevé de capacité GPU coûteuse.

Le silicium sur mesure des hyperscalers : la révolution silencieuse

Alors que des startups comme Taalas et SambaNova attirent l’attention avec des architectures novatrices, le défi le plus massif à la domination de Nvidia en inférence vient des hyperscalers eux-mêmes. Google, Amazon, Microsoft et Meta ont tous massivement investi dans du silicium IA sur mesure, et leurs puces exécutent de plus en plus de charges d’inférence en production à une échelle énorme.

Les TPU de Google sont l’accélérateur IA personnalisé le plus mature, désormais dans leur sixième génération (Trillium). Trillium offre une augmentation de 4,7x de la performance de calcul de pointe par puce par rapport à son prédécesseur, avec jusqu’à 3x plus de débit d’inférence et plus de 67 % d’efficacité énergétique en plus. Google a progressivement optimisé les TPU pour l’inférence, et une large fraction des charges de travail IA de production de Google — incluant Search, Translate et Gemini — fonctionne sur TPU. Dans un accord historique annoncé fin 2025, Anthropic s’est engagée sur des centaines de milliers de TPU Trillium pour 2026, avec une montée en puissance vers un million d’ici 2027.

Le programme de silicium sur mesure d’Amazon a atteint une échelle massive. Inferentia2 offre jusqu’à 40 % de meilleur rapport prix-performance que les instances basées GPU pour les charges d’inférence courantes, certains clients rapportant des économies encore plus importantes (Leonardo.ai a rapporté une réduction de coûts de 80 % pour certaines charges). Côté entraînement, Project Rainier — activé en octobre 2025 — déploie près de 500 000 puces Trainium2. AWS a également annoncé Trainium3 lors de re:Invent 2025, fabriqué en TSMC 3nm avec 2,52 pétaflops par puce.

L’accélérateur Maia 100 de Microsoft, l’une des plus grandes puces en TSMC 5nm avec 105 milliards de transistors, est conçu pour les charges de travail IA des data centers Azure. Cependant, la puce de suivi (nom de code Braga) a connu des retards, avec une production de masse repoussée d’au moins six mois en raison de modifications de conception demandées par OpenAI qui ont causé de l’instabilité dans les simulations. Le calendrier révisé cible une production en 2026.

Le programme MTIA de Meta s’est accéléré de manière spectaculaire. La puce de troisième génération (nom de code Iris) est entrée en déploiement large dans les data centers de Meta début 2026, optimisée pour les systèmes de recommandation derrière Facebook Reels et Instagram. Meta vise à ce que plus de 35 % de sa flotte d’inférence totale fonctionne sur du matériel MTIA d’ici fin 2026, avec la puce de quatrième génération Santa Barbara déjà en préparation, dotée d’un refroidissement liquide et de configurations dépassant 180 kilowatts par rack.

Les livraisons d’ASIC personnalisés pour les applications IA croissent à un taux de croissance annuel composé estimé de 44,6 %, contre 16,1 % pour les GPU. En 2026, les ASIC de nouvelle génération des hyperscalers sont prêts à monter pleinement en puissance, marquant un tournant critique pour l’infrastructure IA.

Le facteur Groq : la vitesse comme stratégie

L’une des entrées les plus frappantes dans le paysage du silicium optimisé pour l’inférence fut Groq, dont le Language Processing Unit (LPU) adoptait une approche fondamentalement différente : un traitement déterministe qui élimine la surcharge de planification et le goulot d’étranglement mémoire des GPU.

Le LPU de Groq délivrait l’inférence de Llama 2 70B à 300 tokens par seconde — environ 10x plus rapide que les clusters Nvidia H100 exécutant le même modèle — tout en atteignant jusqu’à 10x plus d’efficacité énergétique au niveau architectural. L’entreprise a démontré que pour les applications sensibles à la latence, le silicium conçu sur mesure pouvait offrir des performances que les GPU ne pouvaient tout simplement pas égaler.

La réponse de Nvidia fut éloquente : en décembre 2025, Nvidia a acquis Groq pour 20 milliards de dollars. L’acquisition a signalé que Nvidia considère le silicium d’inférence spécialisé non pas comme une menace périphérique mais comme une capacité stratégique qu’elle doit posséder. En intégrant la technologie LPU de Groq, Nvidia vise à offrir à ses clients le meilleur des deux mondes — des GPU flexibles pour l’entraînement et les charges de travail diversifiées, et du matériel d’inférence optimisé pour les déploiements à haut volume et sensibles à la latence.

L’acquisition de Groq souligne également la maturation du marché du matériel d’inférence. Quand le monopole en place paie 20 milliards de dollars pour une startup d’inférence, cela valide la thèse fondamentale : le silicium optimisé pour l’inférence est suffisamment différent des GPU polyvalents pour justifier des architectures dédiées.

L’économie de la spécialisation

L’argument économique en faveur des ASIC d’inférence repose sur un principe simple : la spécialisation permet l’efficacité. Un GPU polyvalent doit allouer son budget de transistors aux fonctionnalités nécessaires pour le rendu graphique, le calcul scientifique et un large éventail d’opérations IA. Un ASIC d’inférence peut dédier 100 % de son budget de transistors aux opérations spécifiques nécessaires à l’exécution de modèles entraînés — principalement la multiplication matricielle, les fonctions d’activation et les mécanismes d’attention.

Cette spécialisation se traduit par des avantages économiques concrets. Les analyses de l’industrie suggèrent que les ASIC d’inférence dédiés peuvent offrir des réductions de coûts de 40 % à 60 % par rapport à l’inférence basée GPU pour les charges de travail pour lesquelles ils sont optimisés. Les économies proviennent de multiples sources : coût de puce plus faible (des conceptions plus simples nécessitent moins de transistors et des tailles de die plus petites), consommation d’énergie réduite (moins d’énergie gaspillée sur des fonctionnalités inutilisées), débit plus élevé (plus d’opérations par cycle d’horloge pour la charge cible) et meilleure utilisation (moins de capacité inactive entre les requêtes d’inférence).

Pour les hyperscalers exécutant l’inférence à l’échelle de milliards de requêtes par jour, même une réduction de coûts de 40 % se traduit par des économies mesurées en milliards de dollars par an. Cette incitation économique explique pourquoi chaque grand fournisseur cloud a investi dans du silicium sur mesure malgré l’énorme coût initial de développement de puces.

L’économie explique également pourquoi Nvidia investit massivement dans l’optimisation de l’inférence pour sa plateforme GPU. Le logiciel d’optimisation d’inférence TensorRT de l’entreprise, sa plateforme Inference Microservices et les fonctionnalités architecturales comme le Transformer Engine dans ses GPU Hopper et Blackwell sont autant de réponses à la menace des alternatives spécialisées en inférence. Nvidia comprend que si elle perd l’inférence au profit des ASIC, elle perd la majorité du marché du calcul IA.

Ce que cela signifie pour Nvidia

La position de Nvidia n’est pas immédiatement menacée. Les avantages écosystémiques de l’entreprise — la compatibilité logicielle CUDA avec plus de 4 millions de développeurs, le large support de modèles et la fiabilité éprouvée à grande échelle — créent un fossé qu’aucune startup ASIC isolée ne peut franchir. CUDA offre encore 10 à 30 % de meilleures performances réelles sur de nombreuses charges de travail par rapport aux alternatives, uniquement grâce à la maturité logicielle. Mais l’effet cumulatif de dizaines d’alternatives spécialisées, chacune grignotant des segments spécifiques du marché de l’inférence, est déjà visible dans les données de marché.

Le scénario le plus probable est un marché bifurqué — qui est déjà en train de se former. Les GPU Nvidia continueront de dominer l’entraînement IA, où la diversité des charges de travail et le besoin d’itération rapide favorisent les accélérateurs polyvalents. En inférence, le marché se fragmente : silicium sur mesure des hyperscalers pour les plus grands fournisseurs cloud, ASIC spécialisés pour les services d’inférence à haut volume, et GPU Nvidia pour la longue traîne de charges de travail d’entreprise diversifiées où la polyvalence prime sur l’efficacité de pointe.

Les XPU — des processeurs qui ne sont ni GPU ni CPU, incluant les ASIC et les accélérateurs personnalisés — devraient mener la croissance des dépenses de calcul à 22 % en 2026, devançant les GPU à 19 % et les CPU à 14 %. Si la part de marché de Nvidia en inférence passe de 90 % à 50-60 % au cours des prochaines années, cela représente des dizaines de milliards de dollars de revenus annuels en jeu.

Pour les praticiens de l’IA et les décideurs en infrastructure, le message est clair : les jours de l’approche GPU universelle pour l’inférence IA sont comptés. Les stratégies d’inférence les plus rentables des prochaines années consisteront à faire correspondre les charges de travail au silicium le plus approprié — les GPU pour la diversité, les ASIC pour le volume, et le silicium sur mesure pour les opérateurs à très grande échelle. Le monopole GPU ne prend pas fin, mais la monoculture GPU, si.

Sources et lectures complémentaires

• Taalas HC1: Hardwired Llama 3.1 8B Accelerator Delivers 17,000 Tokens/s — CNX Software
• SambaNova Steps Up Challenge to Nvidia with SN50, $350M Funding and Intel Alliance — SiliconANGLE
• Meta Charges Into 2026 with Iris MTIA Rollout and Custom Chip Roadmap — FinancialContent
• ASIC Set to Outpace GPU? Nvidia’s Scale-Up and Beyond — TrendForce
• Inference Becomes the Next AI Chip Battleground — Data Center Knowledge
• Introducing Trillium: Sixth-Generation TPUs — Google Cloud Blog
• AWS DevOps Agent and Custom Silicon at re:Invent 2025 — AWS Blog