Tek Komuttan Çalışan Görüntü Ajanına: NVIDIA Cosmos ve VSS 3.3 Neyi Değiştiriyor

Tek bir cümlelik komutla, kameraları izleyen, kayıtları tarayan ve alarm üreten tam teşekküllü bir görüntü analiz ajanı kurmak kulağa iddialı geliyor ve 1 Ekim tarihli canlı yayın tam olarak bu iddiayı sahnede kanıtlamaya soyunuyor. Sunucu, VSS ürün yönetiminden Adam ile Metropolis teknik ekibinden Hassan'ı ağırlıyor ve yayın, GTC Berlin öncesinde VSS 3.3 sürümündeki yeniliklerin ilk uygulamalı önizlemesi olarak kurgulanıyor. Akışın omurgasını tek bir fikir oluşturuyor: geliştirici ne istediğini doğal dille anlatıyor, kodlama ajanı da çalışan bir uygulamaya dönüştürüyor. Bu yayının duyurusu ve izleme bağlantısı forums.developer.nvidia.com adresindeki resmi başlıkta paylaşıldı ve yayının GTC Berlin programının habercisi olduğu orada açıkça belirtildi.

VSS, yani Video Search and Summarization, NVIDIA Metropolis çatısı altında sunulan ve video analitiğini baştan sona üstlenen bir referans mimari olarak tanımlanıyor. Sistem, canlı veya arşivdeki devasa video yığınlarını alıp doğal dilde arama, görsel soru cevaplama, doğrulanmış alarm ve otomatik raporlamaya dönüştürüyor. İşin mutfağında görüş dil modelleri, Nemotron gibi büyük dil modelleri, geri getirme destekli üretim ve Model Context Protocol üzerinden bağlanan araçlar birlikte çalışıyor. Tipik bir üretim ajanı; içeri alma, tespit, alarm, arama, özetleme ve raporlama gibi birden çok iş akışını aynı çatı altında topladığı için bu bütünlük özellikle değerli bulunuyor. Bu yeteneklerin güncel listesi ve bulut üzerinde deneme bağlantısı build.nvidia.com adresindeki resmi Blueprint kartında yer alıyor ve kart, mimariyi denemek isteyenler için ilk durak olarak öneriliyor.

Görsel zekanın kalbinde Cosmos yer alıyor ve yayın onu açık bir görüş dil muhakeme modeli olarak konumlandırıyor. Buradaki kritik ayrım, işin iki aşamaya bölünmesi: önce gömme modeli arşivde ilgili aday klipleri buluyor, sonra Cosmos istenen görsel koşulun gerçekten gerçekleşip gerçekleşmediğini doğruluyor. Bir klibin ilgili görünmesi ile istenen olayın gerçekten yaşanmış olması farklı şeyler olduğu için bu getir-sonra-doğrula ayrımı yanlış alarmları ciddi biçimde azaltıyor. Cosmos 3 cephesinde akış destekli NIM yeteneği de duyuruluyor ve parçalı işleme yerine kayan pencereyle her karenin sırayla değerlendirilmesi hedefleniyor. Cosmos 3 ailesinin muhakeme, dünya üretimi ve eylem üretimini tek modelde birleştiren yapısı developer.nvidia.com adresindeki teknik blog yazısında ayrıntılı biçimde anlatılıyor ve açık model ile eğitim tarifleri orada paylaşılıyor.

Mimari üç ana katmana ayrılıyor ve her katman farklı bir sorumluluk üstleniyor. Gerçek zamanlı katmanda özellik çıkarımı, gömme üretimi ve akış anlama yapılıyor, sonuçlar ileti kuyruğuna yayınlanıyor. Analitik katmanda bu veriler yörünge, olay ve doğrulanmış alarm kayıtlarına zenginleştiriliyor. Ajan katmanı ise arama, soru cevaplama, özetleme ve klip getirme araçlarını Model Context Protocol üzerinden düzenliyor. Paylaşılan altyapıda video giriş çıkışı ve depolama servisi, Kafka, Redis, Elasticsearch ve giriş dengeleyici bulunuyor ve beceri sistemi bunları her kurulumda sıfırdan kurmak yerine ortak kullanıyor. Bu katmanlı yapının servis referansları ve yapılandırma seçenekleri docs.nvidia.com adresindeki resmi VSS belgelerinde yayımlanıyor ve aynı belgeler dağıtım profillerini de açıklıyor.

Kayıt yolu ile canlı yol birbirinden bilinçli biçimde ayrılıyor ve bu ayrım tüm demoya yön veriyor. Kayıt yolu depolama, dizinleme ve geri getirmeyi üstlenirken canlı yol akışı operatörün tanımladığı koşula karşı sürekli izliyor. İzleme kuralının yönetimi alarm köprüsü adlı bileşende toplanıyor ve Cosmos akışı değerlendirirken köprü kuralın doğru alındığını güvenceye alıyor. Bir olay yakalandığında uygulama, olayı video kanıtıyla birlikte açığa çıkarıyor ve kullanıcı ne olduğunu kendi gözüyle görebiliyor. Bu tasarım, kesintisiz izleme ile kural yönetimini birbirinden ayırdığı için sistemi hem anlaşılır hem de bakımı kolay kılıyor.

Operatörün dünyaya açılan penceresi iki parçadan oluşuyor: VSS arayüzü ve OpenClaw üzerinden bağlanan sohbet. Demoda sohbet asistanlığını Astra üstleniyor ve Astra, Codex adlı kodlama ajanının içinde Build Vision Agent becerisiyle çalışıyor. Videoda adı Codeex diye duyulan araç aslında Codex kodlama ajanıdır ve yayının devamında hep bu doğru ad kullanılıyor. Benzer şekilde videoda Neatron diye geçen yerel model aslında Nemotron modelidir. Model sorumlulukları net biçimde bölüşülüyor: gömme modeli ilgili videoyu buluyor, görüş dil modeli görseli değerlendiriyor, dil modeli ise operatörle sohbeti yürütüyor. Operatörün sorusu ise son derece yalın: şişelerden sızan sıvıyı göster.

Canlı yayın, soyut mimariden sonra rotayı somut bir işletmeye kırıyor ve bir portakal suyu fabrikasının izlenmesi senaryosu kuruluyor. Operatörün iki temel ihtiyacı baştan tanımlanıyor: kayıtlı görüntüde geçmişte ne olduğunu bulmak ve canlı kamerada aynı şey tekrar olursa anında haber almak. Bu iki soru, nerede oldu ile tekrar olursa söyle ayrımına denk düşüyor ve mimarinin çift yollu yapısını doğrudan gerekçelendiriyor. Kayıtlı fabrika görüntüleri arama ve alarm örneği için kullanılırken şişe dolum hattı görüntüleri sonraki ölçüm demosu için saklanıyor. Canlı taraf için kayıtlı görüntüler RTSP üzerinden yeniden oynatılıyor ve böylece akış iş akışları tekrarlanabilir videoyla test ediliyor.

Geliştirici ilk komutta kullanım senaryosunu anlatıyor, beceri de yetenekleri ve girdileri sorarak bir mimari öneriyor. Hazır profiller arasından arama ile gerçek zamanlı alarmın birleştiği özel yapılandırma seçiliyor ve öneri ekrana düşüyor: temel üzerine gerçek zamanlı alarm ekleniyor, web arayüzü ve operatör sohbeti korunuyor. İş yükü GPU'lara bölünüyor: Cosmos 3 bir GPU'da, dil modeli başka bir GPU'da, RT-DETR algılayıcı ayrı kaynakta koşuyor. Alarm koşulu cümleyle tanımlanıyor: dolum sırasında şişelerden dışarı taşan görünür meyve suyu. Geliştirici mimariyi onaylayıp yeşil ışık yakmadan dağıtım başlamıyor ve modellerin önceden indirilmiş olması sayesinde süre uygulamaya ayrılıyor.

Kayıtlı video tarafında veri akışı adım adım izlenebilir biçimde işliyor. Video giriş çıkışı ve depolama servisi görüntülere erişimi sağlıyor, gömme modeli görsel içeriği aranabilir temsillere dönüştürüyor ve Elasticsearch arama dizinini tutuyor. Soru sorulduğunda sistem önce aday klipleri topluyor, sonra Cosmos bu adayları istenen görsel koşula göre tek tek değerlendiriyor. İlgili görünmek ile istenen olayı gerçekten içermek arasındaki fark burada kapanıyor. Bu hattın çıktıları aynı arayüzde alarm ve sohbetle buluştuğu için operatör tek ekrandan hem geçmişi tarıyor hem canlıyı izliyor. Arama ile izlemenin aynı uygulamada birleşmesi, iki ayrı sistem kurma maliyetini ortadan kaldırıyor.

Meyve suyu fabrikasında canlı demo

Arama ve alarm bir araya geldikten sonra demo üçüncü bir yeteneğe, şişe şişe ölçüme uzanıyor. Fabrika operatörü için sıvı seviyesi her şişede ne kadar yükseldi ve beklenen düzeyle nasıl karşılaştırılır sorusu en az alarm kadar kritik görülüyor. Bu eklenti için RF-DETR tabanlı segmentasyon maskeleri devreye giriyor: biri şişeyi, diğeri görünür sıvıyı piksel piksel işaretliyor. Sınırlayıcı kutu yerine gerçek piksel bölgeleri kullanıldığı için ölçüm çok daha hassas hale geliyor. Maskeler GPU üzerinde koşan modelden geliyor ve ölçüm mantığı bu maskeleri kamera kalibrasyonuyla birleştirerek şişe içindeki görünür sıvı yüksekliğini tahmin ediyor.

Ölçümün iki farklı zaman ölçeği olduğu vurgulanıyor ve bu ayrım operatör deneyimini belirliyor. Dolum sürerken değer sürekli değiştiği için ekrandaki sayı geçici sayılıyor ve yarım kalmış şişe eksik dolum damgası yemiyor. Döngü tamamlanınca bileşen, şişe kimliğiyle birlikte nihai sonucu kaydediyor ve artık geçmişe dönük karşılaştırma mümkün hale geliyor. 8126 ve 8127 numaralı döngüler bu kimlikli kayıtlara örnek olarak gösteriliyor. Görüş kapanırsa veya ölçüm zayıfsa arayüz sahte bir kesinlik sunmak yerine belirsizliği açıkça gösteriyor. Bu dürüstlük, operatörün sayıya ne kadar güveneceğini bilmesi açısından kritik bulunuyor.

Kayıtlar tamamlanınca her şişe kendi kimliği, ölçümü ve sonucuyla listeleniyor ve en çarpıcı örnek 8105 numaralı şişe oluyor: yüzde 28 düzeyinde eksik dolum. Operatör bu kaydı doğrudan VSS sohbetine ekleyip başına ne geldiğini sorabiliyor ve ajan, dolum araçlarının döndürdüğü ölçümlerle somut bir açıklama üretiyor. Açıklama, arayüzdeki değerle yan yana denetlenebiliyor ve aynı kayıt üzerinde takip soruları sorulabiliyor. İki şişe yan yana eklenip farkları da sorgulanabiliyor. Böylece operatör her alanın anlamını ezberlemek yerine ajanla konuşarak sonuca ulaşıyor ve canlı önizlemede beş şişe öncesini hatırlama yükünden kurtuluyor.

Sistem yalnızca kameraya bakmıyor; gerektiğinde ek sensör akışları da bağlanabiliyor ve ajan bu ölçümleri kararlarına katabiliyor. Üretim ortamında kalibrasyonun zorunlu olduğu açıkça vurgulanıyor: demoda şişelerde yüzde 100 konumunu öğreten örnek bir kalibrasyon yapıldı, ancak gerçek hatta mevcut tüm kalibrasyon prosedürlerinin eksiksiz uygulanması gerekiyor. Kameraya göreli yüzde birimi burada özellikle açıklanıyor: ekrandaki yüzde, milimetre veya fiziksel hacim değil, görünür sıvı yüksekliğinin şişeye oranı anlamına geliyor. Bu tanım netliği, farklı hat ve kamera kurulumlarında sayıların yanlış okunmasını önlüyor. Referans değer ve alt sınır yapılandırması da bu orana göre tanımlanıyor. Dijital ikiz entegrasyonu bu yükü hafifletmek için sunuluyor ve sanal ortamda önceden kalibrasyon yapılabiliyor: Omniverse ile kurulan dijital ikizler sayesinde fiziksel hatta geçmeden önce ayarlar deneniyor, devreye alma riski ve üretim kaybı azalıyor, sanal ile gerçek arasındaki fark kapandıkça kalibrasyon güvenilirliği artıyor ve çok kameralı tesislerde sahada tek tek ayar yerine sanal hazırlık ciddi zaman kazandırıyor.

Maliyet hesabı: kurmak 3 dolar, alarm kuruşlarla

Maliyet bölümünde hesap tek bir RTX Pro GPU üzerinden, bulut fiyatlarıyla yapılıyor ve iki soruya yanıt aranıyor: kurmak ne tutar, sürekli çalıştırmak ne tutar. İlk ajan yaklaşık 30 dakikalık komutlaşma sonunda ayağa kalkıyor ve maliyeti 3 dolar olarak açıklanıyor. İlk kurulumun ardından ince ayar ve genişletme için ek zaman ayrılması öneriliyor, ancak sisteme bağlı ilk çalışan ajan bu bütçeyle elde ediliyor. Bu analizin derli toplu özeti ve iki yeni yeteneğin teknik arka planı news.bpdata.com adresindeki haberde yayımlandı ve haberde geliştirme ile işletme maliyetlerini düşürme vurgusu öne çıkarılıyor.

İşletme tarafında birim ekonomi dikkat çekici derecede düşük görünüyor: 100 doğrulanmış alarm yaklaşık 30 sente üretiliyor ve bu tempo saatte 1200 alarm anlamına geliyor. Yüz raporun maliyeti 85 sent olarak veriliyor ve 10 dakikada bir rapor senaryosu buna örnek gösteriliyor. Bir saatlik videonun özetlenmesi 23 sent tutuyor, tek GPU'da 10 dakika sürüyor ve saatte altı özet üretilebiliyor. Saatte yaklaşık bin görsel arama sorgusu ise 3,37 dolara denk geliyor. GPU bütçesinin gündüz operatör etkileşimine, akşam ise rapor ve özet gibi üretici işlere ayrılabilmesi esneklik olarak sunuluyor ve bir saatlik bulut GPU bedeliyle tüm bu yeteneklerin bir arada koşabileceği savunuluyor.

Verimlilik artışının motoru uyarlanabilir örnekleme olarak tanıtılıyor ve mekanizma sezgisel biçimde açıklanıyor. Klasik yaklaşımda 1080p karenin tüm yamaları jetona çevrilip modele gönderilirken uyarlanabilir sistem zamansal ve mekansal değişime bakıyor. Yalnızca değişimin yoğunlaştığı anların ve bölgelerin jetonları büyük modele taşınıyor, gerisi budanıyor. Sonuç iddialı: gecikme yüzde 60 azalıyor ve aynı görüş dil modeli yüzde 40 daha fazla eşzamanlı akışı işleyebiliyor. Daha önce sabit budama oranlarıyla sunulan verimli örnekleme, 3.3 sürümünde kare ve yama bazında karar veren uyarlanabilir yapıya kavuşuyor. Cosmos 3 akış NIM tarafında kayan pencereyle her kare sırayla işleniyor ve alarm hedefi 300 milisaniyenin altına çekiliyor.

Ölçülen kapasite rakamları donanım merdivenini de netleştiriyor: tek H100 üzerinde görüş dil modeline giren 60 eşzamanlı akış işlenebiliyor. Her kareyi modele sokmak gerekmeyen senaryolarda AGX veya DGX Spark gibi çok daha küçük uç donanımları yeterli görülüyor. Yeni destek listesinde Jetson Orin, Orin NX ve GB300 de sayılıyor. Böylece aynı mimari veri merkezinden fabrika kenarına kadar ölçeklenebiliyor ve donanım seçimi akış sayısı, çözünürlük ve model tercihine göre yapılıyor. Uçta koşan hafif kurulum ile merkezdeki ağır kurulumun aynı beceri setini paylaşması, tek mimariyle her yere gitme iddiasını güçlendiriyor.

Başlangıç ve sınırlar

Geliştirici profilleri sistemi modüler kılıyor ve dört doğrulanmış başlangıç noktası sunuluyor: temel, alarm, uzun video özetleme ve arama. Beceri, isteğe en yakın profilden başlayıp yalnızca gerekli farkı uyguluyor ve paylaşılan servisleri tekilleştiriyor. İki yetenek aynı algılayıcıya ihtiyaç duyarsa tek algılayıcı paylaşılıyor, Kafka ve Elasticsearch gerektiğinde ayrı dizinlerle ortak kullanılıyor. Tüm 3.3 özellikleri GitHub deposunun ana dalında ve konteyner kayıtlarındaki gecelik derlemelerde bugünden denenebiliyor. Bu açık geliştirme hattı ve gecelik derleme düzeni github.com adresindeki VSS deposunda yürütülüyor ve resmi 3.3 sürüm etiketinin GTC Berlin ile gelmesi planlanıyor.

Başlamak isteyenlere üç durak öneriliyor: bulut üzerindeki tanıtım sayfası, GitHub deposu ve belgeler. Tek tıkla bulut dağıtımı iki RTX Pro ile deneme imkanı sunuyor ve Docker Compose ile Helm çizelgeleri ihtiyaca göre değiştirilebiliyor. Üretime geçişte Kubernetes çizelgeleri, güvenlik taramaları ve üretime hazır NIM paketleri hazır bekliyor. Kullanım alanları saymakla bitmiyor: endüstriyel denetim, depo ve lojistik, spor analitiği, akıllı alanlar ve prosedür doğrulama öne çıkıyor. Elli kameralı bir deponun mevcut RTSP altyapısı ve video yönetim sistemiyle aynen bağlanabildiği, donanımın çözünürlük ve işlem sıklığına göre boyutlandırıldığı vurgulanıyor.

Gizlilik ve uyum tarafında sıfır veri tutma sorusu da yanıtsız kalmıyor. Referans mimari kutudan çıktığı haliyle video yönetim sistemi ve Elasticsearch ile geliyor ve dizinde varsayılan saklama süresi 24 saat olarak ayarlanıyor. Ancak sistem, video yönetim sistemi ve veritabanı olmadan da kurulabiliyor ve saklama politikaları her iki katmanda da değiştirilebiliyor. Davranış analitiği tarafında hazır bir örnek mikroservis sunuluyor: meta veriler ileti kuyruğuna akıyor, çakışan kutular ve hız hesapları gibi buluşsal yöntemler burada koşuyor ve isteyen kendi servisini aynı kuyruğa bağlayabiliyor. Termal ile optik kameraların birlikte kullanımı da mümkün görülüyor: termal girişi anlayan ayrı bir model ham sıcaklık verisiyle görsel bilgiyi ilişkilendiriyor.