Pi'de Yerel Model Dönemi: llama.cpp, GGUF ve /llama Komutuyla Veriyi Makinede Tutmak

Hugging Face sunucusu Pi içinde yerel çalışan Qwen3 8B modeline proje hakkında basit bir soru yönelterek açılışı yapıyor; yanıtın hızı ve her şeyin makinede üretilmesi videonun tezini ilk dakikadan kuruyor: veri, kod ve istemler üçüncü taraf servislere gitmiyor.

Kurulum llama.app sayfasındaki tek kurulum komutuyla yapılıyor ve llama komutu makineye ekleniyor; ardından llama serve ile makinede bir sunucu ayağa kaldırılıyor ve Pi bu sunucuya bağlanıyor.

llama.app sayfasının alt bölümündeki güncel öneri listesinde Qwen3 8B, Gemma ve GPT-OSS gibi seçenekler sıralanıyor; sunucu kişisel favorisi olarak Qwen3 8B modelini seçiyor.

Hugging Face üzerindeki model kartında aylık indirme sayısının 1,2 milyonu aştığı görülüyor; bu popülerlik sinyali seçim gerekçesinin parçası oluyor.

Profil ayarlarındaki donanım sayfasına yeni bir kayıt ekleniyor, burada M4 Max işlemcili ve 36 GB bellekli bir Mac tanımlanıyor; model sayfası yenilenince uyumluluk paneli beliriyor ve 4-bit kantizasyon öneriliyor.

Güncel Pi sürümüne dönülüp /llama komutuyla model indirme ekranı açılıyor; kopyalanan model kimliği yapıştırılıyor, Q4 seçeneği önerilen olarak işaretli geliyor ve indirme başlatılıyor.

İndirme bitince model aynı menüden yükleniyor, model değiştiricide llama.cpp girişi seçiliyor ve gönderilen selamlaşma iletisi yanıtını doğrudan yerel modelden alıyor.

Kapanışta hibrit bir düzen tavsiye ediliyor: mimari taslak ve plan üst seviye modelle çiziliyor, bitiriş işleri yerel modelle tamamlanıyor; böylece jeton maliyeti düşerken kod ve veriler makinede kalıyor.