Kubernetes Üzerinde Yapay Zeka Servisi: Nvidia Dynamo ile Ölçeklenen Çıkarım

Küçük bir denemede tek bir model sunucusu herkesi mutlu eder: bir uç nokta açarsın, istek gönderirsin, yanıt alırsın. Ekip büyüyüp trafik ciddileşince tablo değişir; aynı uç noktanın bir küme üzerinde çalışması, çoğalması, istekleri doğru işçilere dağıtması ve arıza anında ayakta kalması gerekir. Yapay zeka servisini üretime taşımak, modeli büyütmekten çok çevresindeki bu görünmez işleri düzene sokmak demektir. Karşımızdaki anlatım da tam buradan başlıyor: tek sunucuyla idare eden bir ekibin Kubernetes üzerinde OpenAI uyumlu bir uç nokta kurma yolculuğu.

Kubernetes tarafında Dynamo, operatör düzeniyle çalışır: ekip istediği kurulumu bir bildirim dosyasında anlatır, küme bu istenen durumu saklar, operatör de gerçek kurulumu bu tarife benzetmek için uğraşır. Düşünce yapısı dört adımdır: dağıtım isteğini yaz, kümeye uygula, parçaları kuran operatöre bırak, sonra OpenAI uyumlu uç noktaya istek gönder. Bu düzenin çekici yanı, dağıtımı el yapımı betik yığınından çıkarıp tekrarlanabilir bir küme işine dönüştürmesidir. Sunucu tasarımı değiştiğinde her şeyi yıkıp yeniden kurmazsın; isteği güncelleyip uygularsın, gerisini operatör üstlenir. Yapay zeka servisinin yaşam çizgisi, işte bu döngünün sağlam işlemesine bağlıdır.

Dynamo ekibe iki yol sunar. Birinci yol DGDR, yani niyet beyanıyla kurulumdur: ekip modeli, çalıştırıcı motoru, iş yükünü, hızlandırıcı havuzunu ve varsa hizmet hedeflerini yazar; Dynamo kurulumun profilini çıkarıp DGD denen hazır tarifi üretir. İkinci yol doğrudan DGD ile başlar: denenmiş bir tarifi alıp çıkarım çizgesini ve sunum yerleşimini ihtiyaca göre uyarlarsın. Her iki yolda da operatör, DGD tarifini kümeye uygular ve trafiğe hizmet veren parçaları ayağa kaldırır. Nvidia belgelerindeki hızlı başlangıç kılavuzu bu akışı kubectl ile uygulama, bekleme ve uç noktayı yoklama adımlarıyla anlatıyor.

İstemci isteğini Dynamo ön yüzüne gönderir; ön yüz OpenAI uyumlu bir uç nokta sunduğu için istemci tarafında bildiğin istek biçimi değişmez. Sınırın gerisinde Dynamo isteği art alan işçilerine yönlendirir; işçiler, kurulum tarifine göre SGLang, vLLM ya da TensorRT-LLM gibi bir çalıştırıcı motorla model sunar. Bu ayrım önemlidir: istemci hep aynı arayüzü görür, gerideki sunum düzeneği evrilebilir. Küçük başlayan bir ekip tek modeli, tek motoru ve tek işçi tarifini isteğe işler; kapasite gerekince bütün yığını yıkmak yerine dağıtım isteğini günceller.

Dynamo öncesinde ekip tek bir model sunucusuyla yaşar: başlaması kolaydır ama gereksinimler büyüdükçe dağıtım, servis bulma, ölçekleme, yönlendirme, uç nokta açma ve gözlemlenebilirlik gibi işleri ekibin kendisi çözmek zorunda kalır. Dynamo sonrasında ise küme uyumlu bir sunum katmanı vardır: dağıtım isteği ne istendiğini yazar, operatör yaşam döngüsünü yönetir, ön yüz istemciye tanıdık gelir, işçiler model ve motor tercihine göre düzenlenir. Nvidia belgelerindeki otomatik kurulum anlatımı, profil çıkarma ve hizmet hedefi girme gibi üretilen tarifin inceliklerini gösteriyor.

Canlı gösterimde DGDR akışı bilerek yalın tutulur. Birinci adımda model, motor, iş yükü, hızlandırıcı ve varsa hizmet hedefleriyle istek yazılır. İkinci adımda dosya kubectl ile kümeye uygulanır. Üçüncü adımda operatörün parçaları kurması beklenir. Son adımda uç noktaya bir istek gönderilip yanıt alınır. Tarif yerine isteği değiştiren yol da aynı kapıya çıkar: hazır DGD tarifini alıp kubectl ile uygular, çıkarım çizgesinin koşan parçalara dönüşmesini operatöre bırakırsın. İki yolda da sonuç aynıdır: el yapımı kurulum yerine yinelenebilir bir küme işi.

Bu anlatım, küçük bir uç noktayı kümeye taşımaya hazırlanan ekipler için: model, motor ve işçi ayarlarını bir dağıtım isteğine işlemek, başlamanın en temiz yoludur. GitHub üzerindeki ai-dynamo deposu projenin Apache 2.0 lisanslı yazılımını ve Helm grafiklerini barındırıyor; kümeye ilk kurulum için gereken operatör ve tanım dosyaları oradan ediniliyor. Nvidia ürün sayfası ise Dynamo'yu üretim ölçeğinde çıkarım sunumu için konumlandırıyor ve derinleşmek isteyenleri belgelere yönlendiriyor.