llama.cpp b10869: iGPU’larda Yerel Yapay Zekâ İçin Varsayılan Yükleme Düzeltmesi

Bu değerlendirme, ölçülebilir yarar ile güvenli geri dönüş planını birlikte gerektirir.

Özet: llama.cpp’nin 8 Eylül tarihli b10867 sürümü, bütünleşik GPU’larda (iGPU) tensorları tembel yükleme varsayılanını değiştirerek bazı sistemlerdeki performans gerilemesini hedefliyor. 9 Eylül’de yayımlanan b10869 paketi bu çizginin en güncel ikili dağıtımı; onun notu test verisi hazırlanırken daha az iş parçacığı kullanılmasına ilişkin. Yerelde model çalıştıranlar için haber, “her makine hızlanacak” vaadi değil: doğru donanımda belleğe eşlemeli dosya kullanımıyla oluşan kaybı önlemeye dönük bir varsayılan düzeltmesi.

Ne değişti?

llama.cpp, GGUF biçimindeki modelleri yerel donanımda çalıştırmak için kullanılan açık kaynaklı bir kütüphane ve komut satırı araç takımı. Projenin b10867 sürüm notu, iGPU’larda tensorların tembel yüklenmesini varsayılan olarak kapatan bir değişikliği kaydediyor. Değişikliğin kaynak kodu incelemesinde “auto” seçeneğinin artık sistem için muhtemelen iyi olan modu seçmesi amaçlanıyor. Önceki otomatik davranışta 4 GiB’den büyük tensorları tembel yüklemek “large”, tümünü tembel yüklemek ise “all” olarak ayrıştırılmış. Geliştiricinin işaret ettiği somut sorun, iGPU’larda mmap’in yeniden varsayılan etkin duruma gelmesi ve bunun ciddi performans kaybına yol açabilmesiydi.

Bu ayrım önemli. Tembel yükleme, veriyi ilk anda bütünüyle getirmek yerine gerektiğinde yükleme yaklaşımıdır; mmap ise dosya içeriğini süreç adres alanına eşleme tekniğidir. Bunlar tek başına iyi ya da kötü özellikler değildir. Ayrık ekran kartı, RAM miktarı, sürücü ve modelin tensor düzeni sonucu değiştirir. Sürümün yaptığı, iGPU kullanan makinelerde otomatik seçimin güvenli olmayan eski varsayımını geri çekmektir. Bu nedenle b10867 sonrası gözle görülür kazanım ancak o yolun darboğaz olduğu kurulumlarda beklenmelidir.

Güncel paket ve gerçek kullanım

Bugün yayımlanan b10869, projenin en güncel sürüm paketidir. Sürüm notu çıkarım/yanıt kalitesine yeni bir özellik atfetmiyor; testlerde veri başlatma için daha az iş parçacığı kullanıyor. Buna karşın b10869’un indirme varlıkları macOS Apple Silicon ve Intel, Linux, Android ile Windows için CPU, Vulkan, CUDA, OpenVINO, SYCL ve ROCm seçeneklerini listeliyor. Yeni bir kurulum veya güncellemede b10867 yerine güncel paketi seçmek, iGPU varsayılan düzeltmesini taşırken daha yeni paketleme ve test değişikliklerini de alır.

Pratik senaryo, bir dizüstünde GGUF modelle yerel özetleme, transkripsiyon sonrası tasnif ya da kurum içi arama prototipi çalıştırmaktır. Uygulama geliştiricisi yalnızca model yanıtını değil ilk yükleme süresini, RAM kullanımını, tokene başlama gecikmesini ve uzun oturumdaki kararlılığı da ölçmelidir. Aynı istem ve aynı modelle eski sürüm–b10869 karşılaştırması yapmak; model yükleme süresi, ilk token süresi, token/saniye ve işletim sistemi bellek baskısını not etmek en dürüst testtir. Bir sonuç değişmiyorsa ayarları rastgele kurcalamak yerine mevcut yapılandırmayı korumak daha doğru olabilir.

Kimler dikkat etmeli, kimler beklemeli?

Intel Arc, yerleşik Intel GPU veya benzeri iGPU yapılandırmalarında llama.cpp’nin GPU arka ucunu kullananlar bu değişikliği özellikle izlemeli. Projenin derleme belgesi, Intel GPU desteği için SYCL yolunu açıkça ayırıyor; macOS’ta Metal varsayılan etkin olabiliyor. Fakat “iGPU” ifadesi tüm GPU arka uçlarının eş anlamlısı değildir. Donanım, işletim sistemi ve seçilen backend belirleyicidir. Sadece CPU ile çalışan bir makinede bu özel düzeltmeden doğrudan performans sonucu çıkarmak için dayanak yoktur.

Üretim sisteminde çalışan ekipler, günlük derleme numaralarını doğrudan canlı ortama taşımamalı. Önce sürüm ikilisinin kaynağını, imza/attestation bağlantısını ve kullanılan model dosyasının sağlama toplamını kontrol edin; sonra temsilî iş yüküyle geri dönüş planı olan bir pilot yapın. Docker imajı veya bağımlı bir masaüstü uygulaması kullanılıyorsa, onun hangi llama.cpp sürümünü paketlediğini de doğrulamak gerekir. Projenin b10869 sayfasındaki ikili dosyalar yararlı olsa da bu, üçüncü taraf uygulamanın otomatik olarak güncellendiği anlamına gelmez.

Maliyet, lisans ve gizlilik

llama.cpp deposu MIT lisanslıdır; kütüphaneyi kullanma açısından esnek bir temel sunar. Yine de “yerel AI ücretsizdir” sonucu doğru değildir. Elektrik, uygun RAM/depolama, olası GPU yatırımı, bakım zamanı ve modelin kendi lisans koşulları ayrı kalemlerdir. Model ağırlıkları llama.cpp’den bağımsız dağıtılır; ticari kullanım, yeniden dağıtım ve kabul edilebilir kullanım hükümleri model sağlayıcısının kartından ve lisansından kontrol edilmelidir.

Yerel çıkarım, istemin bir bulut API’sine gönderilmesini gerektirmeyebilir; bu, hassas notlar veya kurum belgeleri için anlamlı bir gizlilik avantajıdır. Ancak model indirirken, güncelleme denetlerken, bir web arayüzü ya da OpenAI uyumlu yerel sunucu açarken ağ trafiği yeniden devreye girebilir. Yanlışlıkla herkese açık ağa bağlanan yerel sunucu, modelin yerelde olmasından bağımsız bir güvenlik riskidir. Sunucuyu yalnızca gerekli arayüzde dinletin, erişimi sınırlayın ve günlüklerde kişisel veri kalmadığını denetleyin. Kaynak dosyaları kötü niyetli yönergeler içerebileceğinden, modelin ürettiği komutları insan kontrolü olmadan çalıştırmayın.

Erişilebilirlik ve sınırlamalar

Bu sürüm notu bir erişilebilirlik özelliği duyurmuyor; ekran okuyucu ya da klavye deneyiminde iyileşme iddiası için kaynak yok. Bununla birlikte daha tutarlı bir yerel performans, metin tabanlı komut satırı iş akışını tercih eden kullanıcılar için dolaylı olarak yararlı olabilir. Erişilebilir bir deneyim istendiğinde asıl değerlendirme, seçilen arayüzün odak sırası, klavye ile tam kullanım, hata iletileri ve ekran okuyucu etiketlerinde yapılmalıdır. llama.cpp’nin OpenAI uyumlu HTTP sunucusu ve farklı kullanıcı arayüzleri sunduğu için erişilebilirlik sonucu arayüz bazında değişir.

Son olarak bu güncelleme bir model yükseltmesi değildir: muhakeme kalitesini, Türkçe doğruluğunu ya da güvenliği kendiliğinden artırmaz. Yanıt kalitesi seçilen model, quantization, bağlam penceresi ve istem tasarımına bağlı kalır. Performans testi olumlu olsa bile halüsinasyon, telif, kişisel veri ve güvenlik incelemesi gereksinimleri sürer.

Ölçüm yapılırken ilk çalıştırmanın dosya önbelleği, pil modu ve başka uygulamaların RAM tüketimi sonucu çarpıtabileceği unutulmamalı. Testi en az iki kez tekrarlayın, model ve parametreleri kayıt altına alın, ardından beklenen fayda yoksa güncellemeyi geri alın. Bu yöntem, tek bir hız göstergesi yerine tekrarlanabilir gözleme dayanır ve yerel AI kurulumunda sorun ayıklamayı kolaylaştırır.

Kaynaklar

• llama.cpp b10867 sürüm notu — iGPU’larda varsayılan tembel tensor yükleme değişikliği (8 Eylül 2026).
• llama.cpp PR #28326 — auto, large ve all modlarının teknik gerekçesi.
• llama.cpp b10869 sürüm notu — güncel ikili paketler ve test başlatma değişikliği (9 Eylül 2026).
• llama.cpp derleme belgesi — CPU, Metal, SYCL ve diğer arka uçlar.
• llama.cpp deposu — MIT lisansı ve proje bilgisi.