Cızırtılı Telsizi Anlayan Kulak: Sesli Ajanlara İnce Ayar Dersi

Cızırtılı telsizden anlayan bir kulak

Yayının açılışındaki demo beni hemen yakaladı: ekrandaki ajan, hava trafik kontrolörlerinin konuştuğu gibi kısa ve kalıplaşmış cümleleri dinleyip her birini sade sözlerle açıklıyor. İşin zorluğu şurada: telsiz cızırtısı vardı, kelimeler günlük dilden çok uzaktı ve yanıtın anında gelmesi gerekiyordu. Büyük genel bir ajan modeli bu üçlüyü aynı anda karşılamakta zorlanır. Bu yüzden ekip iki küçük modeli bu özel göreve hazırlamış.

Hazırlık iki koldan yürümüş. Birinci kolda duyan model var: gürültülü telsiz sesini yazıya döken konuşma tanıma modeli, hava trafiği kayıtlarıyla eğitilmiş. İkinci kolda açıklayan model var: Nemotron 3 Nano adlı dil modeli, telsiz jargonunu sade sözlerle anlatacak biçimde ince ayarlanmış. Benzetmeyle söylersem biri sağlam bir kulak, öteki yanındaki bilgili rehber. Ajan bu ikisini bir sesli döngüde buluşturuyor.

Döngünün işleyişi şöyle: ses WebRTC bağlantısıyla geliyor, ince ayarlı model onu yazıya döküyor, ajan model çok turlu konuşmanın bağlamını yönetip yanıtı kuruyor ve ses üretimi yanıtı dinleyiciye geri taşıyor. Şaşırtıcı kısım, bütün düzeneğin sunan kişinin yanındaki tek bir 5090 üzerinde koşması. Yan tarafta bir de yargıç modeli çalışıyor: her turda temel modelin çıktısıyla ince ayarlı modelin çıktısını karşılaştırıp hangisinin daha iyi duyduğunu işaretliyor.

Gecikme: sesli işin can damarı

Gecikme sayılarına bayıldım. İnce ayarlı duyan model son yazıyı 60 milisaniyenin içinde veriyor; üretimde 300 milisaniyenin içinde kalmak başarı sayılıyor. Açıklayan ajan model ilk tokeni 100 milisaniyenin içinde üretiyor; üretim hedefi 600 milisaniye. Kıyas için: bulutta koşan büyük genel modellerde aynı ilk token 1200 ile 1500 milisaniye arasında geliyor. Yani küçük özel ajan, büyük genel modelden on kata kadar atak davranıyor.

Hızın formülü basit: küçük model artı kendi makinen. Büyük genel modeli uzaktan çağırmak yerine, göreve hazırlanmış ufak bir ajan modeli kendi işlemcinde koşturuyorsun; ağ beklemesi ortadan kalkıyor, token başına harcanan iş de azalıyor. Yayında söylendiği gibi, ince ayar yalnız doğruluğu değil gideri de aşağı çekiyor. Elbette bir denge var: tek işlemcide üç modeli bir arada mı koşturacaksın, yoğunluğa göre ayrı mı düşeceksin? Bu tercih kullanım sayısına ve gecikme bütçesine göre değişiyor; evde sınamak serbest, üretimde yük testini ekiplerle yapmak gerekiyor.

Gelelim soket sorusuna. Sunucudan sunucuya sıfır kayıplı bir hatta düz soket iş görür; ama tarayıcıdan, telefondan ya da sahadaki bir kutudan buluta ses taşırken hat gerçek dünyadır: paketler kaybolur, gecikme oynar. Düz soket kaybolan paketi illa ister, sırayı bozmaz; o paket gelene kadar arkasındaki her şey bekler ve gecikme kartopu gibi büyür. Canlı seste bu bekleyiş ölümcüldür, çünkü konuşma akmaya devam eder.

Neden WebRTC, neden düz soket değil?

WebRTC bu iş için doğmuş: UDP tabanlı olduğu için süresi geçen ses paketini yeniden istemek yerine düşürüp yola devam eder. Microsoft’un WebRTC rehberi de aynı ayrımı yapıyor: UDP hıza, soket tabanlı taşıma sıraya öncelik verir; canlı seste hız kazanır. Üstelik iyi bir WebRTC istemcisi yankı iptalini ve ses düzeyi dengesini yanında getirir; üretimdeki sesli ajan için bunları sıfırdan yazmak istemezsin.

Tam çift yönlü konuşma dedikleri şey de bu zeminde yükseliyor: ajan konuşurken dinleyicinin sözünü kesebilmesi, kısa onay seslerinin akışı bozmaması ve turun hızlı dönmesi. ZedIoT’nin kılavuzu pratik hedefi çarpıcı biçimde koyuyor: uçtan uca turu 300 milisaniyenin içinde tut, konuşma başlangıcını ses etkinliğiyle yakala, üretimi anında durdur. Benim practicing notum: kesilebilirlik bir lüks değil, doğal konuşma duygusunun ta kendisi.

Peki her ses sorunu ince ayar mı ister? Hayır. Yayında NVIDIA tarafı önce model tercihini anlatıyor: Parakeet mi, Nemotron ASR 3.5 mu; hangi çözücü, hangi dil modeli eklentisi. GitHub’daki ince ayar becerileri de aynı akılla yazılmış: önce en ucuz basamak sınanır, yani kelime güçlendirme ve sözlük; yetmezse dil modeli eklentisi; en son akustik ince ayar. Ajan model için de kural benzer: yapabiliyorsan tam ince ayar, esneklik şartsa adaptör. Bu sıralama hem gideri hem riski küçültüyor.

İnce ayar ne zaman gerekir?

Veri miktarı sorusuna verilen yanıt netti: sınamaya 10 saatlik temiz sesle başla, üretime 100 saatle yürü, binlerce saatin varsa bütün modeli eğitmeyi düşün. Yayındaki hava trafiği örneği çok öğretici: 300 saatlik vasat veriyle hata %36’lara inmiş, sonra bir saatten az pırıl pırıl veri eklenince %2’ye düşmüş. Demek ki nitelikli küçük veri, vasat büyük veriyi tek başına yenebiliyor. Veri azsa kelime güçlendirmeyle yetinmek daha akıllıca.

Model kartları da bu tabloyu doğruluyor. HuggingFace’teki Nemotron 3.5 ASR kartı 600 milyon parametreli tek bir modelin 40 dilde yazıya döküm yaptığını, parça boyunun 80 ile 1120 milisaniye arasında seçilebildiğini yazıyor. Tasarımın püf noktası, gelen her ses dilimini hazır tutulan bağlamla işleyip aynı sesi tekrar tekrar çiğnememesi. Böylece gecikmeyle doğruluk arasında kurulum anında tercih yapılabiliyor; toplu kayıt çözümünde geniş pencere, canlı altyazıda dar pencere.

En kritik ders sondan bir önceki bölümdeydi: yeni şeyi öğretirken eski hüneri korumak. Salt hava trafiği verisiyle eğitilen model genel İngilizcede köreleşmeye başlamış; çözüm, karışıma biraz eski veri katmak olmuş. NVIDIA’nın Suudi lehçeleri yazısı aynı yöntemi sayılarla gösteriyor: hedef lehçede hata %55’ten %30’a inerken genel İngilizce de %11,0’den %10,4’e gelmiş. Yani doğru karışım hem yenisini öğretmiş hem eskisini korumaktan öteye taşımış.

Öğrenirken eskisini unutmamak

Bu karışımı bulmak deneme yanılma istiyor ve sağlam ölçüm setleri şart. Yayındaki ekip, ajan model için beş tur üst üste sentetik veri üretip ölçüp eğitmiş; metin tarafında veri tamamen sentetik, ses tarafında %90 sentetikle %10 insan kaydı karışmış. Benim notum şu: ölçüm setin, yapmak istediğin işi birebir yansıtmalı; yoksa eğitimde yükselen sayı sahada karşılıksız kalır. Her turda veriye bak, boşluğu gör, karışımı düzelt, yeniden eğit.

Uyarlama derinliği sorusu da gündemdeydi: birden çok görev için tak-çıkar adaptörler mi, yoksa bütün modelin eğitimi mi? Konuşma tarafında adaptör desteği yolda; dil modellerinde ise 30B sınıfında tam ince ayar daha dengeli sonuç veriyormuş. Ben bu tercihi şöyle okudum: gücün yetiyorsa bütünü eğit, esneklik şartsa ince parçalarla yürü. Ajan modelin görev kümesi büyüdükçe bu tercih daha da önem kazanıyor.

İngilizce dışı dillerde tablo daha çetin. Temel modellerde İngilizce veri herkesten bol olduğu için öteki diller geriden geliyor; soru, her dile ayrı ajan modeli mi, tek modelde hepsi mi. Yayındaki Karayip İngilizcesi anekdotu umut verici: model, hiç özel hazırlık olmadan şaşırtıcı temiz bir çıktı vermiş. Arap lehçeleri çalışması ise yöntemi koyuyor: az veriyle başla, 10, 20, 100 saat diye artır, her adımda hem hedefi hem İngilizceyi ölç.

Kesintisiz konuşma ve kaskadın tahtı

Bilgiyle konuşmayı birleştirme sorusu da yanıt buldu: hızlı ses döngüsü asla beklemiyor; bilgi getiren yan işçiler bulduklarını bağlama akıtıyor. Demodaki yargıç modeli bunun minyatürü: ana döngü dışında çalışıp sonucu ekrana düşürüyor, konuşmayı kesmiyor. Kurumsal bilgi havuzuna bağlı ajan için desen aynı: ses döngüsü ve bilgi döngüsü eşzamanlı ama bağımsız aksın, yazılım ajanına bu tarifi vermek bile iyi üretim çıkarıyormuş.

Kaskad mı, uçtan uca konuşma modeli mi? Yayının hükmü net: üretimdeki sesli ajanların neredeyse tamamı kaskad, yani duyan model artı ajan model artı ses üreten model zinciri. Sebep beş ölçütte gizli: zekâ, gecikme, gider, esneklik ve gözlemlenebilirlik; iyi bir zincir bugünkü uçtan uca modellerden her beşinde de önde. Uçtan uca tasarımlar geleceğin işi ve ince ayar onları da hızlandıracak; ama bugünün üretim tercihi zincirden yana.

Kapanırken iki kişisel not bırakayım. Birincisi, insanlar yapay zekâyla sesle konuşmaya her yıl daha çok yöneliyor; büyük sahnelerdeki demoların yazgısını bile konuşma kalitesi belirliyor. İkincisi, bu iş artık evde yapılabiliyor: yazılım ajanları ve NVIDIA’nın beceri paketleriyle tek işlemcide model eğitmek mümkün. Ben olsam evde sınar, üretimde ekiplerle yürür, sorusunu Discord’da sorar, Berlin’de denk gelirsem ekibe takılır bana neler öğrendiklerini sorardım.