Internet a été lu. Et maintenant ?
Les lois d’échelle qui ont propulsé la révolution des grands modèles de langage reposaient sur une hypothèse simple : plus de données, plus de calcul, de meilleurs modèles. GPT-3 a été entraîné sur 300 milliards de tokens. GPT-4 a consommé environ 13 billions de tokens. Chaque génération a aspiré davantage d’internet — livres, sites web, dépôts de code, articles académiques, fils Reddit — et les performances se sont améliorées de manière prévisible.
Cette ère atteint ses limites. Epoch AI estime que le stock effectif de texte humain public utilisable se situe à environ 300 billions de tokens. Epoch AI projette que les modèles exploiteront pleinement ce stock entre 2026 et 2032. La réponse de l’industrie a été un pivot dramatique vers les données synthétiques : utiliser les modèles d’IA eux-mêmes pour générer les exemples d’entraînement de la prochaine génération. Plus de 98% des données d’alignement du Nemotron-4 340B de Nvidia étaient générées synthétiquement. Llama 3.1 et 3.3 de Meta ont utilisé plus de 25 millions d’exemples synthétiques. Gartner prédit que d’ici 2028, 80% des données d’entraînement IA seront synthétiques.
Les techniques : distillation, auto-jeu et mondes simulés
La distillation de connaissances est la plus directe : un grand modèle capable génère des exemples d’entraînement qu’un modèle plus petit apprend. L’auto-jeu et l’auto-amélioration représentent une approche plus ambitieuse. AlphaProof et AlphaGeometry 2 de Google DeepMind ont utilisé la génération synthétique de théorèmes pour entraîner des systèmes de raisonnement mathématique qui ont atteint une performance de médaille d’argent aux Olympiades internationales de mathématiques 2024.
Les environnements simulés fournissent des données synthétiques pour l’IA incarnée et la robotique. Nvidia a généré 780 000 trajectoires synthétiques — équivalent à 6 500 heures de données de démonstration humaine — en seulement 11 heures, et la combinaison de données synthétiques et réelles a amélioré les performances des robots de 40%. Le Waymo World Model, construit sur Genie 3 de Google DeepMind, génère des données de conduite multi-capteurs hyper-réalistes. Mostly AI, Hazy et Tonic.ai servent le marché entreprise avec des versions synthétiques de jeux de données tabulaires sensibles.
Publicité
Les risques : effondrement de modèle et amplification des biais
Le risque le plus discuté est l’effondrement de modèle. Un article phare dans Nature de 2024 par Shumailov et al. a démontré que l’entraînement itératif sur des données générées par des modèles provoque un rétrécissement progressif de la distribution des résultats, convergeant vers une distribution dégénérée qui perd les queues. Des recherches ultérieures présentées à ICLR 2025 ont confirmé que même de petites fractions de données synthétiques (aussi peu qu’un exemple sur mille) peuvent déclencher l’effondrement si des données réelles ne sont pas continuellement intégrées.
L’amplification des biais aggrave le problème. Le consensus émergent est que les données synthétiques sont puissantes mais doivent être utilisées en combinaison avec des données réelles, avec une curation soignée et des techniques explicites de préservation de la diversité. Scale AI a construit une activité autour de données synthétiques vérifiées par des humains. L’approche d’IA constitutionnelle d’Anthropic utilise des principes explicites pour contraindre la génération de données synthétiques.
Les modèles économiques et la route à suivre
Scale AI, désormais valorisé à environ 29 milliards de dollars suite à l’acquisition par Meta d’une participation de 49% pour 14,8 milliards de dollars en juin 2025, fournit des services d’étiquetage de données et de génération de données synthétiques. Nvidia a acquis Gretel AI en mars 2025 pour plus de 320 millions de dollars. Tonic.ai a acquis Fabricate en avril 2025 pour se développer dans la génération de données relationnelles à partir de zéro.
La logique économique est convaincante. La collecte de données réelles est coûteuse, lente, juridiquement complexe et souvent contrainte par la vie privée. Les données synthétiques peuvent être générées à coût marginal, personnalisées pour des tâches spécifiques et créées sans les problèmes de consentement et de licence. La question la plus conséquente est de savoir si les données synthétiques peuvent soutenir la mise à l’échelle continue. Les résultats jusqu’ici sont prometteurs mais mitigés.
Questions Fréquemment Posées
Qu’est-ce que the synthetic data revolution ?
Cet article couvre les aspects essentiels de ce sujet, en examinant les tendances actuelles, les acteurs clés et les implications pratiques pour les professionnels et les organisations en 2026.
Pourquoi the synthetic data revolution est-il important ?
Ce sujet est important car il a un impact direct sur la façon dont les organisations planifient leur stratégie technologique, allouent leurs ressources et se positionnent dans un paysage en évolution rapide.
Quels sont les points clés à retenir de cet article ?
L’article analyse les mécanismes clés, les cadres de référence et les exemples concrets qui permettent de comprendre le fonctionnement de ce domaine, en s’appuyant sur des données actuelles et des études de cas.
Sources et lectures complémentaires
- Will We Run Out of Data? Limits of LLM Scaling — Epoch AI
- Can AI Scaling Continue Through 2030? — Epoch AI
- AI Models Collapse When Trained on Recursively Generated Data — Nature (Shumailov et al., 2024)
- Nemotron-4 340B Technical Report — Nvidia
- Nvidia Acquires Synthetic Data Startup Gretel — TechCrunch
- Isaac GR00T N1: Open Humanoid Robot Foundation Model — Nvidia
- AlphaProof and AlphaGeometry: AI for Mathematics — Google DeepMind
- The Waymo World Model — Waymo
- Introducing Llama 3.1 and Synthetic Data Generation — Meta AI
- Constitutional AI: Harmlessness from AI Feedback — Anthropic
- Getty Images v. Stability AI: UK High Court Decision — Mayer Brown
- Gartner Identifies Top Trends in Data Science and Machine Learning — Gartner
