Une oreille qui comprend la friture : ajuster les agents vocaux

Une oreille qui comprend la friture

La démo d'ouverture m'a happé aussitôt : l'agent à l'écran écoute des échanges courts et codés entre pilotes et contrôleurs, puis reformule chacun en langage courant. Le défi tient en trois points : la friture radio, un vocabulaire loin du quotidien et une réponse attendue sur-le-champ. Un grand agent généraliste buterait sur au moins un des trois. L'équipe a donc préparé deux petits modèles pour ce poste précis.

La préparation avance sur deux voies. La première forge l'oreille : un modèle de reconnaissance vocale entraîné sur des enregistrements de tour de contrôle, qui change le son brouillé en texte. La seconde forge le guide : un modèle de langage Nemotron 3 Nano ajusté pour décrire le jargon radio en termes limpides. Imaginez une oreille affûtée épaulée d'un guide savant. L'agent marie les deux dans une même boucle vocale.

La boucle tourne ainsi : le son arrive par une liaison WebRTC, le modèle ajusté le change en texte, l'agent gère le contexte sur plusieurs tours puis bâtit la réponse, et la synthèse vocale rapporte la phrase à l'auditeur. La surprise, c'est que tout le montage tourne sur une seule 5090 posée près du présentateur. Un modèle juge travaille à part : à chaque tour, il note si l'écoute de base ou l'écoute ajustée saisit mieux.

Le délai : le sang de la voix

J'ai adoré les chiffres de délai. L'écoute ajustée livre son texte final en moins de soixante millisecondes, alors qu'on vise trois cents en production. L'agent qui explique sort son premier token en moins de cent millisecondes, pour un objectif de six cents. Comparez : les grands modèles généralistes hébergés dans le nuage demandent douze à quinze cents millisecondes pour ce même premier token. Le petit spécialiste réagit donc jusqu'à dix fois plus vite que le géant généraliste.

La recette de vitesse tient en peu de mots : un petit modèle sur sa propre carte. Plutôt que d'appeler un géant lointain par le réseau, on fait tourner un agent compact prêt pour la tâche ; l'attente réseau disparaît et le travail par token diminue. Comme dit dans le direct, l'ajustement fait aussi baisser la facture. Ma leçon : dans la voix, la vitesse n'est pas un ornement, c'est une mesure aussi centrale que la justesse. L'équilibre reste vrai : trois modèles ensemble ou séparés selon le trafic et le budget, essais libres à la maison, tests de charge en équipe pour la production.

Venons-en aux sockets. Un lien simple suffit entre serveurs sur une ligne sans perte, mais du navigateur vers le nuage ou du boîtier de terrain vers le nuage, on traverse l'internet réel : paquets perdus, délai qui danse. Le socket réclame chaque paquet perdu dans l'ordre, si bien que tout ce qui suit attend et le retard fait boule de neige. En parole en direct, cette attente est fatale, car la conversation continue. WebRTC naît pour ce cas : sur UDP, il jette un paquet audio périmé et avance au lieu de le supplier.

Pourquoi WebRTC plutôt qu'un simple socket ?

Le guide WebRTC de Microsoft trace la même frontière : UDP privilégie la vitesse quand le transport par socket privilégie l'ordre, et la voix en direct veut la vitesse. Un bon client WebRTC ajoute l'annulation d'écho et le nivellement du volume, que nul agent vocal sérieux ne veut recoder depuis zéro. Le manuel de ZedIoT énonce la cible sans détour : tenir l'aller-retour sous trois cents millisecondes, saisir les débuts de parole par la détection d'activité vocale et couper la synthèse dès que l'usager intervient.

L'interruptibilité n'est pas un luxe, c'est la sensation même du dialogue naturel. Le duplex intégral laisse l'auditeur couper l'agent, les brefs acquiescements ne cassent jamais le flux et les tours pivotent vite. Ma note de pratique : bâtir d'abord l'interruption, polir les voix ensuite. La boucle du juge dans la démo en donne l'avant-goût : des tâches latérales qui ne bloquent jamais la conversation principale, elles l'alimentent.

Tout problème audio veut-il un ajustement ? Non. Le côté NVIDIA part du choix du modèle : Parakeet ou Nemotron 3.5 ASR, quel solveur, quel ajout de modèle de langage. Les savoir-faire d'ajustement sur GitHub suivent la même échelle : tester d'abord l'échelon le moins cher, soit renforts de mots et lexiques ; puis un ajout de modèle de langage ; l'ajustement acoustique en dernier. Une règle jumelle couvre l'agent : ajustement complet quand on en a les moyens, adaptateurs quand la souplesse commande. Cet ordre réduit la facture et le risque.

Quand faut-il ajuster ?

La réponse sur les volumes de données fuse nette : ouvrir les essais sur dix heures d'audio propre, viser cent heures pour la production et n'envisager l'entraînement total qu'avec des milliers d'heures. L'histoire de la tour enseigne beaucoup : trois cents heures rugueuses ont traîné les erreurs vers trente-six pour cent, puis moins d'une heure de matière superbe les a coupées à deux. Des coupes choisies battent des piles médiocres. À court d'audio, les renforts de mots restent le choix sage.

Les fiches de modèles confirment le tableau. La fiche Nemotron 3.5 ASR sur HuggingFace décrit un modèle unique de six cents millions de paramètres couvrant quarante idiomes, avec des largeurs de paquets réglables de quatre-vingts à mille cent vingt millisecondes. L'astuce tient au contexte gardé : chaque tranche fraîche réutilise l'état stocké au lieu de remâcher le son ancien. Ainsi l'exploitant arbitre entre délai et précision dès l'installation, fenêtre large pour les archives, étroite pour le sous-titrage en direct.

La leçon la plus fine vient vers la fin : enseigner le tour nouveau sans effacer les vieux savoirs. Un modèle nourri de pure matière tour commençait à émousser son anglais courant, si bien qu'on a remêlé un peu de données anciennes dans le mélange. L'article de NVIDIA sur les dialectes saoudiens montre la même méthode en chiffres : les erreurs du dialecte visé chutent de cinquante-cinq à trente pendant que l'anglais courant passe de onze à dix virgule quatre. Un bon mélange enseigne le neuf et relève même l'ancien.

Apprendre sans oublier

Dénicher ce mélange veut des itérations et des jeux de test honnêtes. L'équipe a enchaîné cinq cycles de données synthétiques pour l'agent, tout-synthétique côté texte et quatre-vingt-dix-dix côté audio. Ma note : les tests doivent refléter le poste réel, sinon les gains d'entraînement s'évaporent en scène. Regarder les données à chaque cycle, repérer les trous, remélanger, réentraîner. La profondeur du changement se discute aussi : les adaptateurs côté parole arrivent, tandis que l'ajustement complet reste plus stable pour les modèles de langage de classe trente milliards.

Hors anglais, la table se durcit. Les modèles de base baignent dans les données anglaises, si bien que les autres langues suivent ; la question ouverte tient en un agent multilingue ou des agents par langue. Une anecdote d'anglais caribéen donne espoir : le modèle a rendu une sortie d'une propreté étonnante sans préparation spéciale. L'étude des dialectes arabes fixe la méthode : partir petit, grimper dix, vingt, cent heures, mesurer la cible et l'anglais à chaque pas.

Certaines leçons n'exigent nulle réentraînement : la boucle vocale rapide n'attend jamais ; des tâches latérales y versent leurs trouvailles dans un contexte partagé. Le juge de la démo en est la miniature : il peine hors de la boucle principale, pose ses notes à l'écran, ne coupe jamais la parole. Les agents branchés sur un fonds de savoir d'entreprise suivent la même forme : boucles voix et recherche concurrentes mais indépendantes. Confier cette recette à un assistant de code donne déjà de belles sorties.

Boucles, savoir-faire et trône des cascades

Les savoir-faire cristallisent un artisanat chèrement acquis. Les équipes NVIDIA ont distillé des années de combats d'ajustement en savoir-faire guidés et assistants de code, si bien que les lire enseigne les règles tacites qu'aucun tableau ne montre. J'y ai beaucoup appris moi-même, et avec l'aide d'agents je mène désormais plus d'essais que jamais, à petit prix, sur un seul processeur de maison. Pointez un assistant de code vers la boîte à outils vocale ouverte et il esquisse une boucle qui tourne dès le premier passage.

Cascade ou parole de bout en bout ? Le verdict fuse sec : presque tout agent vocal qui tourne aujourd'hui est une cascade, une chaîne d'écoute plus agent plus faiseur de voix. La raison se cache dans cinq mesures : finesse, délai, facture, souplesse, observabilité, où une bonne chaîne bat les modèles actuels de bout en bout sur les cinq. Les architectures de bout en bout restent un labeur d'avenir, que l'ajustement pressera aussi ; le choix de production du jour penche pour la chaîne.

Deux notes personnelles pour fermer. D'abord, les gens parlent aux intelligences de plus en plus chaque année ; même les démos des grandes scènes vivent ou meurent par la qualité du dialogue. Ensuite, cet artisanat tient désormais à la maison : assistants de code et paquets de savoir-faire de NVIDIA laissent entraîner un modèle sur un seul processeur. J'essaierais chez moi, je livrerais en équipe, je poserais mes questions sur Discord et j'accrocherais l'équipe à Berlin pour ses leçons. La spécialisation, ai-je appris, bat l'échelle quand la pièce grésille.