API GPT Realtime pour une voix plus naturelle et Agent de données ChatGPT Work : de la parole interruptible au tableau de bord

Au cœur de la poussée d'OpenAI vers la voix en direct se trouve la famille GPT Realtime, avec une promesse claire : une faible latence du premier audio, une prise de tour de parole naturelle et une conversation véritablement interruptible. Comme le modèle fonctionne directement de la parole à la parole au lieu de transcrire en texte puis de resynthétiser, le temps d'attente diminue et le système ne s'obstine pas à finir une phrase lorsque l'utilisateur coupe la parole. Cela rend possibles les interruptions du quotidien, comme corriger l'heure d'une réservation en pleine phrase, et rapproche les expériences téléphoniques ou navigateur d'un rythme plus humain.

La documentation présente deux architectures côte à côte et encadre le choix selon le cas d'usage. Les sessions audio en direct sont décrites comme la voie la plus rapide lorsqu'un agent doit écouter, raisonner, parler et appeler des outils dans une même boucle, avec RealtimeAgent et RealtimeSession en JavaScript et un VoicePipeline chaîné en Python pour étendre un agent textuel existant à la voix. Lorsque l'interaction doit sembler conversationnelle et immédiate, la voie audio en direct convient ; lorsque chaque étape doit rester visible et auditable, l'application garde un contrôle explicite sur la transcription, le raisonnement et la synthèse vocale.

La connectivité est simplifiée à deux transports. WebRTC est recommandé pour les navigateurs et le mobile afin d'obtenir des performances plus constantes, tandis que WebSocket reste l'option côté serveur. Le flux se résume ainsi : votre serveur d'application émet un secret client éphémère pour une session en direct, le frontend crée une RealtimeSession, et la session se connecte via WebRTC dans le navigateur ou WebSocket sur le serveur, après quoi l'agent gère les tours de parole audio, les outils, les interruptions et les transferts au sein de cette session. Les voix intégrées incluent alloy, ash, ballad, coral, echo, sage, shimmer, verse, marin et cedar, avec marin et cedar recommandées pour la meilleure qualité, et les projets approuvés peuvent également utiliser une voix personnalisée sous forme d'objet avec un identifiant de voix.

Le cœur de l'interruptibilité réside dans la détection d'activité vocale. Activée par défaut dans les sessions Realtime de parole à parole, elle détecte automatiquement quand l'utilisateur commence et cesse de parler et propose server_vad, qui segmente sur le silence, et semantic_vad, qui utilise un classificateur sémantique sur les mots eux-mêmes. Ce dernier ajuste le temps d'attente selon que l'énoncé s'éteint ou se termine par une affirmation définitive, si bien que l'interruption à la volée semble naturelle et que les appels d'outils peuvent être orchestrés au sein de la conversation. Cela permet aux recherches, consultations et mises à jour système de se poursuivre même lorsque l'utilisateur intervient, en gardant la session en direct cohérente.

Le deuxième grand thème est l'Agent de données dans ChatGPT Work. Selon OpenAI, cet agent se connecte aux données de l'entreprise, examine ce qui a changé et transforme le résultat non pas en une réponse statique mais en un tableau de bord interactif, modifiable et partageable. L'idée est de rester dans une seule conversation sans écrire de requêtes ni apprendre un outil d'analyse distinct, de poser des questions de suivi, d'examiner les preuves derrière chaque constat et de partager le résultat avec l'équipe. OpenAI note que presque toute son équipe produit et plus des deux tiers de son organisation go-to-market utilisent déjà de tels agents de données sur des données internes, rendu possible par des définitions métier partagées, des règles d'accès et des garde-fous.

La connectivité est volontairement large. Les sources approuvées listées incluent Amazon Redshift, Datadog, Google BigQuery, ClickHouse, Databricks, MongoDB, Snowflake et d'autres, plus les fichiers et documents de Google Drive et SharePoint qui peuvent être intégrés à l'analyse. Le contexte provient de couches sémantiques et de sources de confiance telles que Databricks Genie Ontology, dbt, GitHub, Snowflake Horizon et les tableaux de bord BI existants, qui fournissent les termes métier, les définitions de métriques, les calculs personnalisés et les relations entre données. L'agent peut également construire et manipuler des tableaux de bord dans Omni, Oracle BI, Power BI, Sigma, Tableau et ThoughtSpot, et laisser les utilisateurs diriger le travail en langage naturel. Côté gouvernance, les administrateurs choisissent quelles connexions sont disponibles et pour quels rôles, et les requêtes appliquent les permissions existantes de table, de ligne et de colonne du compte connecté.

La téléphonie complète le tableau de la voix naturelle. Deux voies sont décrites : le SIP direct, où le fournisseur échange l'audio de l'appel avec OpenAI et où votre application possède les webhooks, la configuration de session et la logique métier, et le pont audio serveur, où votre application relaie l'audio du fournisseur vers GPT Live via WebSocket et possède à la fois les connexions et le cycle de vie. Pour le SIP, la signalisation utilise TLS et l'audio de l'appel exige SRTP, et l'acceptation implique une requête authentifiée qui sélectionne la voix et le mode de délégation tout en omettant le format audio car le SIP le négocie. En pratique, cela ouvre la porte à un flux de bout en bout où un appelant interrompt en pleine phrase, l'assistant poursuit avec des appels d'outils, et le résultat est lié à un tableau de bord que l'équipe peut modifier et actualiser.