API GPT Realtime para voz más natural y Agente de datos de ChatGPT Work: del habla interrumpible al panel de control

En el centro del impulso de OpenAI hacia la voz en vivo está la familia GPT Realtime, con una promesa clara: baja latencia del primer audio, turnos de habla naturales y una conversación verdaderamente interrumpible. Como el modelo funciona directamente de voz a voz en lugar de transcribir a texto y luego volver a sintetizar, el tiempo de espera disminuye y el sistema no insiste en terminar una frase cuando el usuario interrumpe. Eso hace posibles las interrupciones cotidianas, como corregir la hora de una reserva a mitad de frase, y acerca las experiencias telefónicas o de navegador a un ritmo más humano.

La documentación presenta dos arquitecturas lado a lado y enmarca la elección según el caso de uso. Las sesiones de audio en vivo se describen como la vía más rápida cuando un agente debe escuchar, razonar, hablar y llamar herramientas en un mismo bucle, con RealtimeAgent y RealtimeSession en JavaScript y un VoicePipeline encadenado en Python para extender un agente de texto existente a la voz. Cuando la interacción debe sentirse conversacional e inmediata, encaja la vía de audio en vivo; cuando cada etapa debe permanecer visible y auditable, la aplicación mantiene control explícito sobre la transcripción, el razonamiento y la síntesis de voz.

La conectividad se simplifica a dos transportes. WebRTC se recomienda para navegadores y móvil por un rendimiento más consistente, mientras que WebSocket sigue siendo la opción del lado del servidor. El flujo se resume así: tu servidor de aplicación emite un secreto de cliente efímero para una sesión en vivo, el frontend crea una RealtimeSession, y la sesión se conecta mediante WebRTC en el navegador o WebSocket en el servidor, tras lo cual el agente gestiona los turnos de audio, las herramientas, las interrupciones y los traspasos dentro de esa sesión. Las voces integradas incluyen alloy, ash, ballad, coral, echo, sage, shimmer, verse, marin y cedar, con marin y cedar recomendadas por su mejor calidad, y los proyectos aprobados también pueden usar una voz personalizada como objeto con un id de voz.

El corazón de la interrumpibilidad es la detección de actividad de voz. Habilitada por defecto en las sesiones Realtime de voz a voz, detecta automáticamente cuándo el usuario empieza y deja de hablar y ofrece server_vad, que segmenta por silencio, y semantic_vad, que usa un clasificador semántico sobre las propias palabras. Este último ajusta el tiempo de espera según si la frase se desvanece o termina con una afirmación definitiva, de modo que la interrupción al vuelo se siente natural y las llamadas a herramientas pueden orquestarse dentro de la conversación. Eso permite que búsquedas, consultas y actualizaciones del sistema continúen incluso cuando el usuario interviene, manteniendo la sesión en vivo coherente.

El segundo gran tema es el Agente de datos en ChatGPT Work. Según OpenAI, este agente se conecta a los datos de la empresa, investiga qué cambió y convierte el resultado no en una respuesta estática sino en un panel de control interactivo, editable y compartible. La idea es permanecer en una sola conversación sin escribir consultas ni aprender una herramienta de análisis aparte, hacer preguntas de seguimiento, revisar la evidencia detrás de cada hallazgo y compartir el resultado con el equipo. OpenAI señala que casi todo su equipo de producto y más de dos tercios de su organización de go-to-market ya usan tales agentes de datos sobre datos internos, gracias a definiciones de negocio compartidas, reglas de acceso y salvaguardas.

La conectividad es deliberadamente amplia. Las fuentes aprobadas listadas incluyen Amazon Redshift, Datadog, Google BigQuery, ClickHouse, Databricks, MongoDB, Snowflake y más, además de archivos y documentos de Google Drive y SharePoint que pueden incorporarse al análisis. El contexto proviene de capas semánticas y fuentes confiables como Databricks Genie Ontology, dbt, GitHub, Snowflake Horizon y paneles de BI existentes, que aportan términos de negocio, definiciones de métricas, cálculos personalizados y relaciones entre datos. El agente también puede construir e interactuar con paneles en Omni, Oracle BI, Power BI, Sigma, Tableau y ThoughtSpot, y permitir a los usuarios dirigir el trabajo en lenguaje natural. En gobernanza, los administradores eligen qué conexiones están disponibles y para qué roles, y las consultas aplican los permisos existentes de tabla, fila y columna de la cuenta conectada.

La telefonía completa la historia de la voz natural. Se describen dos vías: SIP directo, donde el proveedor intercambia el audio de la llamada con OpenAI y tu aplicación posee los webhooks, la configuración de sesión y la lógica de negocio, y un puente de audio en servidor, donde tu aplicación retransmite el audio del proveedor a GPT Live por WebSocket y posee tanto las conexiones como el ciclo de vida. Para SIP, la señalización usa TLS y el audio de la llamada requiere SRTP, y la aceptación implica una solicitud autenticada que selecciona la voz y el modo de delegación omitiendo el formato de audio porque SIP lo negocia. En la práctica, esto abre la puerta a un flujo de extremo a extremo donde una persona que llama interrumpe a mitad de frase, el asistente continúa con llamadas a herramientas, y el resultado se vincula a un panel que el equipo puede editar y actualizar.