TiDAR : l'hybride de NVIDIA qui rédige par diffusion et parle de manière autorégressive

La vidéo s'ouvre sur une observation simple à laquelle je reviens sans cesse : quand un grand modèle de langage écrit token par token, le GPU attend souvent la mémoire plutôt que de calculer à plein régime. Les poids et les clés en cache doivent être chargés avant qu'un seul nouveau token puisse être produit. Cela laisse une capacité arithmétique de réserve inactive à chaque étape.

La question posée par l'équipe NVIDIA est d'un pragmatisme désarmant : quel travail utile pourrait occuper ces créneaux inutilisés sans les pénalités habituelles ? Les réponses antérieures exigeaient toutes quelque chose en retour. Un modèle de brouillon plus petit coûte du temps supplémentaire et vit ou meurt selon sa précision. Les rédacteurs parallèles de type diffusion sont rapides mais leur qualité se dégrade. Ce travail veut l'accélération sans taxe sur la qualité, seulement une consommation électrique accrue.

Avant la méthode, le narrateur reconstruit deux fondations de zéro. La première est le rédacteur classique du token suivant. Il lit tout le préfixe et prédit exactement un token, puis répète. L'entraînement semble rapide parce que la réponse complète est déjà connue, donc chaque position peut être supervisée à la fois derrière un masque triangulaire. Mais l'écriture en direct ne peut pas voir le futur, donc elle reste obstinément séquentielle.

La seconde fondation est le rédacteur par diffusion. Il part d'une rangée de blancs après le préfixe et remplit plusieurs positions d'un coup. Le hic, c'est que chaque position est tirée de sa propre supposition séparée, aveugle à ce que ses voisins deviendront. Un verbe ici change ce qui appartient là, pourtant les deux tirages ne se consultent jamais. Cette indépendance explique pourquoi les brouillons parallèles se lisent avec fluidité mais raisonnent avec mollesse.

Le pont entre les deux mondes est une vieille astuce que la vidéo explique avec une histoire d'oracle. Supposons que quelqu'un souffle trois tokens à venir. Vous n'avez pas à faire confiance au souffleur : vous pouvez vérifier les trois d'un coup, car vérifier une chaîne connue se parallélise exactement comme l'entraînement. Si le souffle correspond à ce qu'une écriture soigneuse aurait produit, vous avez misé trois tokens pour le prix d'une seule passe avant.

Le décodage spéculatif standard transforme cette histoire en système : un petit modèle rapide souffle, le grand modèle vérifie. Les mathématiques ne gagnent que si le souffleur est à la fois rapide et généralement dans le vrai. Un assistant lent ou bâclé efface le gain et peut même coûter du temps. Tout repose sur le taux d'acceptation, c'est pourquoi les équipes de service obsèdent sur le bon appariement entre l'assistant et le géant.

TiDAR supprime entièrement l'assistant. Il n'y a qu'un seul backbone qui joue les deux rôles en une seule passe. Chaque étape divise la séquence en trois zones : les tokens de préfixe stabilisés, les tokens candidats reportés de l'étape précédente, et les emplacements vides réservés à la prochaine série de suppositions. Le cache stabilisé est réutilisé, les entrées rejetées sont évincées, et rien ne nécessite un second modèle.

Voici la partie astucieuse que j'ai trouvée la plus facile à imaginer comme un pari sur toutes les issues. Dans la même passe qui vérifie les candidats reportés avec un scoring strict de gauche à droite, le modèle prépare aussi des suppositions fraîches pour chaque futur possible : le futur où seul le premier candidat survit, celui où deux survivent, celui où tous survivent. Quel que soit le futur confirmé par la vérification, une supposition correspondante attend déjà. Une passe, deux tâches.

Faire fonctionner cela relève surtout d'un casse-tête de masquage. Les tokens stabilisés gardent une visibilité causale stricte, exactement ce dont l'échantillonnage soigneux a besoin. Chaque bloc de suppositions obtient une visibilité interne complète, exactement ce dont la rédaction parallèle a besoin, tout en voyant tout le passé stabilisé. Les préfixes sont placés pour que le même masque puisse glisser vers l'avant à mesure que le texte grandit. Les blocs supplémentaires multiplient le travail par un petit facteur constant, et avec l'attention fusionnée moderne qui échange de la mémoire contre de l'arithmétique, le coût se pose précisément sur la capacité inutilisée.

L'entraînement reflète la même dualité sans calendriers exotiques. Chaque exemple apparaît deux fois dans une longue séquence : une fois comme supervision ordinaire du token suivant, une fois comme bloc entièrement masqué à remplir en parallèle. Les deux pertes sont simplement ajoutées avec un poids égal. Il n'y a aucun bouton de décodage à régler plus tard, bien que les auteurs notent que des calendriers de démasquage plus sophistiqués pourraient être superposés pour les équipes prêtes à dépenser des passes supplémentaires pour de meilleures suppositions.

Les chiffres rapportés sont ce qui m'a fait dresser l'oreille. Aux tailles 1,5B et 8B, sur des tâches génératives et de vraisemblance, le système produit environ 4,71x à 5,91x plus de tokens par seconde que le rédacteur soigneux équivalent, avec le support exact du cache intact. Comme le texte accepté est rescoré sous la distribution stricte, la qualité de sortie correspond à la baseline autorégressive par construction, tout en battant clairement les systèmes de diffusion pure comme Dream et LLaDA tant en vitesse qu'en qualité. Les auteurs le présentent comme un modèle autonome, adapté au service, sans assistant à déployer.