Depuis des années, les grands modèles de langage fonctionnent tous de la même façon : un token à la fois, de gauche à droite, chaque mot conditionné par les précédents. Cette logique autorégressive a produit GPT-4, Gemma, Llama et à peu près tout ce qui compte dans le secteur. Google DeepMind vient d'y apporter une exception sérieuse avec DiffusionGemma, un modèle qui génère du texte comme on génère une image — par débruitage progressif — et qui atteint des vitesses d'inférence que l'approche classique ne peut tout simplement pas égaler.
Générer 256 tokens à la fois, pas un par un
Le principe de diffusion est familier dans le domaine de l'image : on part d'un bruit aléatoire, et on le nettoie par étapes successives jusqu'à obtenir quelque chose de cohérent. DiffusionGemma applique cette mécanique au texte. À chaque étape de débruitage, le modèle génère jusqu'à 256 tokens en parallèle — une rupture radicale avec l'approche séquentielle des LLM traditionnels, où chaque token doit attendre que le précédent soit produit.
Résultat sur le plan des performances : plus de 1 000 tokens par seconde sur un seul GPU H100. C'est un ordre de grandeur au-dessus de ce qu'offrent la plupart des modèles autorégressifs dans des conditions comparables. Pour les usages où la latence prime — streaming temps réel, agents autonomes, interfaces conversationnelles à haute fréquence — c'est une proposition difficile à ignorer.
Sous le capot, DiffusionGemma repose sur l'architecture Gemma 4 26B en Mixture-of-Experts, avec 26 milliards de paramètres totaux mais seulement 3,8 milliards actifs par inférence. Ce ratio permet de maintenir une empreinte mémoire raisonnable malgré la taille nominale du modèle.
NVIDIA dans la boucle dès le premier jour
La sortie n'est pas uniquement l'affaire de Google. NVIDIA a optimisé DiffusionGemma en NVFP4 — un format de quantification basse précision — pour le faire tourner sur du matériel grand public et professionnel : GeForce RTX, RTX PRO et DGX Spark. Sur une RTX 5090 ou une RTX 4090, le modèle tient en moins de 18 Go de VRAM, ce qui ouvre la porte à un déploiement en local sans infrastructure data center. Selon le blog de NVIDIA, l'optimisation a été conduite en parallèle de la publication du modèle, ce qui est relativement rare et témoigne d'une coordination préalable entre les deux entreprises.
DiffusionGemma est disponible sous licence Apache 2.0 sur Hugging Face, Kaggle et Vertex AI Model Garden. Une licence permissive qui facilitera son intégration dans des pipelines commerciaux, sans les restrictions qui accompagnent certains modèles concurrents.
Les limites que Google assume
Google ne prétend pas avoir sorti le meilleur modèle du moment. Sur les benchmarks standards — MMLU, tâches de coding — DiffusionGemma reste en retrait par rapport à Gemma 4 classique. L'entreprise le positionne explicitement comme expérimental, adapté aux workflows où la latence est critique mais pas à ceux qui exigent une précision maximale.
C'est une posture honnête, et sans doute stratégique. En publiant un modèle ouvert à ce stade de maturité, Google DeepMind plante un jalon architectural dans un territoire encore peu exploré. La diffusion appliquée au texte reste un domaine de recherche jeune — quelques équipes académiques et des startups comme Inception Labs s'y sont aventurées, mais aucun acteur majeur n'avait encore publié quelque chose d'aussi concret et directement utilisable.
La vraie inconnue reste l'évolution de la qualité. L'approche autorégressive bénéficie de dix ans d'optimisation intensive : architectures, données d'entraînement, techniques d'alignement. La diffusion textuelle en est à ses débuts. Si les prochaines versions comblent une partie du gap sur les benchmarks tout en conservant cet avantage de vitesse, la domination du paradigme autorégressif pourrait être moins évidente qu'elle ne le semble aujourd'hui.
