19 Dolarlık Quadro ile Metin Motoru: Pahalı Kart Olmadan Yapay Zeka

Pahalı kartlarla ucuz kartlar arasındaki uçurum bu çalışmanın çıkış noktası. Bir yanda güncel amiral gemisi için istenen 7 bin dolarlık etiket duruyor, öte yanda ikinci elde 20 dolar düzeyinde bulunan Kepler çıkışlı bir Quadro K4000 var. TechPowerUp kayıtları bu kartı 768 CUDA çekirdeği ve 3 GB bellekle listeler. Güncel sürümlerin dışında kalmış olması onu değersiz yapmıyor, çünkü ölçüm çarpıcı: bu küçük kart, yazarın gençliğinde programladığı Cray dizgelerinden daha güçlü. Wikipedia, Cray T3E sınıfının 1998'de gerçek bir uygulamada 1 teraflop barajını aştığını yazar. Nvidia tarafında RTX 5090, 32 GB bellek ve Blackwell tasarımıyla tepeyi temsil ediyor, fakat yazar hazır model çalıştırma yarışının tek yol olmadığını savunuyor.

Vectorfall, bu ucuz kartları değerlendirmek hedefiyle kurulan bir platform. Yazar, C dilinde el ile ince ayarlanmış bir yazılım yığını yazmış ve eski sürümlere sabitlemiş. Tek kişinin bu kadar yazılımı kısa sürede denemesi, kartın tasarımını iyi bilen biri için yapay zeka desteğiyle mümkün olmuş. Sıkıcı işler, örneğin C yazılımında bellek sızıntısı aramak, yapay zeka yardımıyla hızlanmış. Hazır bir model beklemeden, kartın sınırlarında yeni bir yol açılmış. Eğlenceli ve öğretici kısım ise insanda kalmış: hedefi ve sınırları bilmek.

Metin motoru: milisaniyelik arama ve kaynaga iz

Metin motorunun derlemi, yazarın kendi kitaplarından oluşan yaklaşık 200 bin sözcüklük bir bütün. Yükleme sonrasında neredeyse tüm işlemler grafik işlemcide koşuyor, çift Xeon tabanlı eski bir dizge yalnızca ev sahipliği yapıyor. Arama karşılığı milisaniyeler içinde geliyor, çünkü metin kartın çekirdeklerine dağılmış durumda. General Jack Shanahan gibi bir adı aratıp izini sürmek mümkün: geçen dizenin birebir yer aldığı görülüyor. Her bulgu tam kaynağına bağlanıyor, bu da çalışmayı kara kutu model anlayışından ayırıyor.

Markov yaklaşımı, sözcük geçiş olasılıklarını sayan bir çizelge gibi çalışıyor: A sözcüğünden sonra B sözcüğü kaç kez gelmiş, bütün derlem taranarak sayılıyor. Ortaya sözcükler arası bağlantı çizgesi çıkıyor, tek tek terimlerin çevresi incelenebiliyor. Üretim kipinde verilen bir giriş cümlesi bu çizelgeyle sürdürülüyor ve her sözcük ilk geçtiği yere bağlanıyor. ScienceInsights, bu tür zincirlerin yalnızca bir önceki duruma bakarak sonraki adımı öngördüğünü, bu yüzden telefonda yazarken beliren sözcük önerilerinin de aynı düşünceyle çalıştığını yazar. Geçmişe bakılan sözcük sayısı ve üretilecek uzunluk ayarlanabiliyor.

Konu güdümlü üretim, metni seçilen temaya doğru itiyor. Gömme kümeleri devreye giriyor: savaşla ilgili bir tema seçildiğinde üretim o kümeyi besleyen bölümleri yeğliyor. Her deneme farklı bir metin veriyor, fakat hepsi aynı tema çevresinde toplanıyor. Yazar bu tekniğin işleyişini anlatmak için gömme fikrini tanıtıyor. Böylece salt geçiş sayımının ötesine geçilip anlam benzerliği de üretime katılıyor.

Gömme uzayi, benzetmeler ve küçük model

Gömme çalışması, birlikte geçen sözcükleri yakın konumlara yerleştiriyor. Yüksek boyutlu bu yerleşim iki boyuta izdüşürülünce ortaya renkli bir bulut çıkıyor: özerk dizgeler ve platformlar bir yanda, üretici yapay zeka önderleri başka bir yanda toplanıyor. Benzetme soruları da bu uzayda yanıtlanıyor: hiperharbin savaşa bağlanma biçimi, başka sözcük çiftlerinde aranıyor. arXiv üzerindeki söz gömme yazını, bu tür doğrusal benzetmelerin gömme niteliğini ölçen klasik bir sınama olduğunu yazar. Derlem küçük olduğu için bazı ilişkiler zayıf kalıyor, fakat sözcükler arası anlam bağları belirginleşmeye başlıyor.

Vectorfall dil modeli, kısıtlı işlem gücüyle çalışmak üzere tasarlanmış küçük bir model. Gömme bilgisinden yararlanarak tamamlama yapıyor ve bu küçük kart üzerinde saniyede 129 token üretiyor. İlk denemeler düzgün başlayıp saçmalamaya kayabiliyor, fakat art arda üretimler arasında derli toplu bölümler de çıkıyor. Her bölümün hangi paragraflardan beslendiği aşağıda görülüyor, metin tek kaynaktan kopyalanmıyor. Birkaç üretim arasından iyi bölümü belirleyip sıralama yapmak, model anlayışını insan geribildirimiyle güçlendiriyor. Art arda beliren token dizisi kartın çekirdeklerinde koşuyor ve gösterge ışıkları o sırada belirginleşiyor.

Çözümleme araçları da aynı kart üzerinde koşuyor: Zipf dağılımı, sözcük bulutları ve sözvarlığı dökümü buradan çıkıyor. GeeksforGeeks, Zipf ilkesini şöyle özetler: bir derlemde en sık geçen sözcük, ikinci sıradakinin yaklaşık iki katı görülür. Yazar kendi derlemini bu ilkeyle karşılaştırıyor. Yıl, e-posta ve adres çıkarma da var: metinde geçen bütün tarihler ve bağlantılar tek tek listeleniyor. Sık birlikte geçen adlar tek bir fikir olarak öğreniliyor, Cambridge Analytica örneğinde olduğu gibi.

Platformun bütün yetenekleri hizmet olarak da sunuluyor. Model Bağlam Protokolü üzerinden başka yapay zeka düzenekleri ve ajan uygulamaları bu kartın gücünü çağırabiliyor. Anthropic öncülüğünde gelişen bu açık ölçü, her eşleşme için özel yazılım yazma derdini ortadan kaldırmayı hedefliyor. Böylece ucuz kart üzerindeki gömme, arama ve üretim gücü daha büyük dizgelerin parçası oluyor. Yazarın verdiği örnekte ajan uygulamalar, kart üzerindeki hazır işlevleri doğrudan kullanıyor.

Bütün bu bölüm tek bir fikri savunuyor: pahalı kart yarışına girmeden de öğretici ve işe yarar bir yapay zeka çalışması kurulabiliyor. Şeffaflık burada başrolde: gömme değerleri, olasılıklar ve her sözcüğün kaynağı görülebiliyor. Kara kutu bir model anlayışında bu izler gizli kalır. Dizinin sonraki bölümlerinde platformun başka uygulamaları anlatılacak. Eski kartlara ikinci bir yaşam veren bu yaklaşım, bence tek kişilik araştırma için de ilham verici.