Daha Doğal Ses İçin GPT Realtime API ve ChatGPT Work Data Agent: Kesilebilir Konuşmadan Panoya

OpenAI'in canlı ses yaklaşımının merkezinde GPT Realtime ailesi var ve vaat oldukça net: düşük ilk ses gecikmesi, doğal sıra alma ve ortaya girilebilen konuşma. Model sesi önce yazıya çevirip sonra yeniden sese dönmek yerine sesi doğrudan sesten işlediği için bekleme azalıyor ve kullanıcı araya girdiğinde sistem cümleyi bitirmeye inat etmiyor. Bu, bir dakikalık sıralı turlar yerine rezervasyon saatini cümle ortasında düzeltmek gibi günlük kesintileri mümkün kılıyor ve telefon ya da tarayıcı deneyimini daha insani bir ritme taşıyor.

Dokümantasyona göre iki mimari yan yana duruyor ve seçim kullanım senaryosuna göre yapılıyor. Canlı ses oturumları, aracıların sesi doğrudan dinleyip düşünmesi ve araç çağırması için en hızlı yol olarak anlatılıyor ve JavaScript tarafında RealtimeAgent ile RealtimeSession, Python tarafında ise mevcut bir metin aracısını sese taşıyan VoicePipeline öne çıkıyor. Akışın akıcı ve anlık hissettirmesi gerekiyorsa canlı ses yolu, her adımın görünür ve denetlenebilir olması gerekiyorsa yazıya çevir, metin aracısı çalıştır ve sonra sese dön şeklinde zincirlenmiş hat tercih ediliyor.

Bağlantı tarafı da iki seçenekle sadeleştirilmiş durumda. Tarayıcı ve mobil için WebRTC öneriliyor çünkü tutarlılığı daha yüksek, sunucu tarafı için WebSocket kalıyor. Kurulum akışı şöyle özetleniyor: uygulama sunucusu canlı oturum için geçici bir istemci sırrı üretiyor, ön yüz RealtimeSession oluşturuyor ve oturum WebRTC ya da WebSocket üzerinden bağlanıyor; ardından aracı ses turlarını, araçları, kesintileri ve devirleri oturum içinde yönetiyor. Ses tarafında yerleşik seçenekler arasında alloy, ash, ballad, coral, echo, sage, shimmer, verse, marin ve cedar bulunuyor ve en iyi kalite için marin ile cedar tavsiye ediliyor, ayrıca onaylı projelerde özel ses de nesne olarak ses kimliği ile kullanılabiliyor.

Kesilebilirliğin kalbi ise ses etkinliği algılama. Realtime API'de varsayılan olarak açık olan bu özellik, kullanıcının konuşmaya başlayıp bitirdiğini otomatik sezmeye yarıyor ve server_vad ile semantik sınıflandırıcı tabanlı semantic_vad olmak üzere iki kip sunuluyor. İlki sessizlik sürelerine bakarak sesi parçalara ayırıyor, ikincisi söylenen sözcüklere bakarak cümlenin gerçekten bitip bitmediğini tahmin ediyor ve kararsız bir mırıldanma ile net bir kapanış arasında bekleme süresini değiştiriyor. Bu sayede barge-in doğal hale geliyor ve araç çağrıları da konuşma akışıyla birlikte yönetilebiliyor, yani arama, sorgu ya da sistem güncellemesi gibi işlemler canlı oturum içinde kesintiye rağmen sürdürülebiliyor.

İkinci büyük başlık, ChatGPT Work içindeki Data Agent. OpenAI'in paylaştığı bilgiye göre bu ajan, şirket verisine bağlanıp neyin değiştiğini araştırıyor ve sonucu yalnızca bir metin yanıtı olarak değil, düzenlenebilir ve paylaşılabilir etkileşimli bir panoya dönüştürüyor. Fikir şu: ayrı bir analiz aracını öğrenmeden, sorgu yazmadan ve rapor şablonlarıyla uğraşmadan aynı sohbet içinde soruyu sorup takibini yapmak, kanıtı incelemek ve çıktıyı ekiple paylaşmak. Ürün ekibinin neredeyse tamamı ve satış organizasyonunun üçte ikisinden fazlasının bu yapıyı kendi verileri üzerinde kullandığı da paylaşılan kullanım notları arasında yer alıyor.

Bağlanabilirlik listesi özellikle geniş tutulmuş. Amazon Redshift, Datadog, Google BigQuery, ClickHouse, Databricks, MongoDB, Snowflake gibi kaynakların yanı sıra Google Drive ve SharePoint üzerindeki dosya ve dokümanlar da analize dahil edilebiliyor. Anlam katmanı tarafında Databricks Genie Ontology, dbt, GitHub, Snowflake Horizon ve mevcut BI panolarındaki işletme terimleri, metrik tanımları, özel hesaplamalar ve veri ilişkileri kullanılıyor ve Omni, Oracle BI, Power BI, Sigma, Tableau, ThoughtSpot gibi platformlarda da pano oluşturup etkileşim kurulabildiği anlatılıyor. Yönetişim tarafında ise yönetici hangi bağlantıların kimler için açık olduğunu belirliyor ve sorgular bağlı hesabın mevcut tablo, satır ve sütun izinlerine sadık kalıyor.

Telefon entegrasyonu, doğal ses deneyimini tamamlayan parça olarak öne çıkıyor. Doğrudan SIP ile sağlayıcı sesini OpenAI ile buluşturmak ya da sunucu ses köprüsü ile uygulamayı araya koyup WebSocket üzerinden sesi taşımak gibi iki yol tarif ediliyor ve SIP tarafında sinyal için TLS ve ses için SRTP gerektiği belirtiliyor. Bu yapı, arama sesini panele taşımadan arka planda tutarken uygulamanın yetki, yönlendirme, oturum yapılandırması ve iş mantığını elinde tutmasına imkân veriyor. Pratikte bu, müşterinin cümle ortasında araya girdiği, asistanın aramayı araç çağrılarıyla sürdürdüğü ve sonucu paneleye bağladığı uçtan uca bir akışın önünü açıyor.