SGLang 0.5.22: Yapılandırılmış AI Çıktılarında Sessiz Durum Hatası Düzeltildi

Bir yapay zekâ yanıtının düzgün JSON olarak gelmesi, arka plandaki hesaplamanın da doğru ilerlediğini kanıtlamaz. 19 Ekim 2026’da yayımlanan SGLang 0.5.22, bu ayrımın somut bir örneğini gündeme getiriyor. Resmî sürüm notlarına göre, spekülatif üretim ve yapılandırılmış çıktı birlikte kullanıldığında hibrit doğrusal modeller yanlış Mamba durumundan devam edebiliyordu. Yeni sürüm bu sorunu gideren düzeltmeyi içeriyor.

SGLang, modelleri uygulamalara hizmet verecek biçimde çalıştırmak için kullanılan bir çıkarım altyapısı. Son kullanıcı çoğu zaman adını görmez; fakat belge işleyen bir servis, kurum içi asistan veya veri çıkarma uygulamasının arkasında çalışabilir. Bu nedenle düzeltmenin önemi yeni bir sohbet özelliği eklemesinde değil, hız için kullanılan yöntemlerin sonuç tutarlılığıyla ilişkisini göstermesinde. Bu yazı 21 Ekim 2026 itibarıyla birincil kaynakların incelemesidir; kendi donanımımızda yapılmış performans veya hata yeniden üretme testi değildir.

Yeni sürümde hangi hata düzeltildi?

0.5.22 sürüm notları, hibrit doğrusal modellerin belirli bir özellik birleşiminde yanlış iç durumdan devam edebildiğini açıkça “önemli düzeltme” olarak işaretliyor. Bağlantı verilen 43029 numaralı değişiklik, spekülatif üretim sırasında Mamba durumunun izleme sınırını hesaplarken gerçekten kesinleştirilmiş uzunluğu kullanıyor. Yani sorun yalnız ekranda görünen biçimle değil, önbelleğe alınan hesaplama durumunun doğru noktaya ait olmasıyla ilgili.

Buradaki kapsamı genişletmemek gerekiyor: Kaynaklar bütün SGLang yanıtlarının hatalı olduğunu söylemiyor. Belirli model yapıları, önbellek davranışı ve üretim kısıtlarının birleşiminden söz ediyor. Aynı şekilde düzeltme, modelin bütün bilgi hatalarını veya uydurma yanıtlarını ortadan kaldırmıyor. Bir servis bu özellikleri birlikte kullanmıyorsa etkisi farklı olabilir. Güncelleme önceliğini belirlemek için önce mevcut dağıtımın ayarlarını bilmek gerekiyor.

Üç kavram: taslak üretim, çıktı kuralı ve iç durum

Spekülatif üretimi, modelin her yeni parçayı tek tek üretmesini beklemek yerine aday parçaları önden hazırlayıp doğrulatma yaklaşımı olarak düşünebiliriz. Amaç daha hızlı üretimdir; kabul edilen adaylarla gerçekten sonuca eklenen parçaların sınırları önem taşır. SGLang’in spekülatif üretim dokümantasyonu, bu alandaki desteklenen yöntemler ve ayarlar için başvuru kaynağıdır. Bu yöntemlerin her modelde aynı kazancı sağlaması beklenmemeli.

Yapılandırılmış çıktı ise yanıtı belli bir kalıba uydurmaya çalışır. Bir uygulama serbest paragraf yerine belirlenmiş alanları olan bir nesne, sınırlı seçeneklerden biri veya kurallı bir metin isteyebilir. Yapılandırılmış çıktı belgesi bu kullanımın teknik ayrıntılarını açıklıyor. Kural, üretimin bir bölümünü sonlandırdığında ya da sınırlandırdığında, taslak olarak doğrulanan bütün parçalar nihai çıktıda tutulmayabilir.

İç durum ise modelin devam ederken kullandığı hesaplama bilgisidir. İlgili değişiklikteki temel ayrım şu: doğrulanan taslak sayısı ile kural uygulandıktan sonra gerçekten tutulan parça sayısı aynı kabul edilmemeli. Yanlış sınır üzerinden kayıt alınırsa sonraki devam isteği yanlış hesaplama noktasını yeniden kullanabilir. Bu açıklama, kaynak kodundaki değişikliğin sadeleştirilmiş yorumudur; bütün model mimarilerini kapsayan genel bir hata tanımı değildir.

Kullanıcı bunu hangi iş akışında önemsemeli?

Bir kurumun destek taleplerini kategori, öncelik ve kısa açıklama alanlarına ayırdığını düşünelim. Servis aynı yönergeleri çok sayıda istekte kullandığı için önbellekten yararlanıyor; gecikmeyi azaltmak için de spekülatif üretim açılmış. Yanıt beklenen biçimde ayrıştırılabiliyorsa uygulamanın ilk kontrolü geçilebilir. Fakat sonraki devamın doğru hesaplama durumundan başlaması ayrı bir gereklilik. Bu örnek, hatanın belirli bir kurumda gözlendiği iddiası değil, neden önemli olabileceğini anlatan bir senaryo.

Benzer biçimde belge alanlarını çıkaran bir sistem, ilk adımda kurallı bir yanıt alıp ikinci adımda açıklama isteyebilir. Yalnız ilk yanıtın JSON ayrıştırıcısından geçmesini başarı saymak yeterli değildir. Devam adımının tutarlılığı, alanların belgeyle eşleşmesi ve tekrar edilen isteklerin beklenen sınırlar içinde davranması da kontrol edilmeli. Güncellemenin değeri, biçim doğrulaması ile hesaplama doğruluğunun farklı denetimler gerektirdiğini hatırlatmasında.

Kaynak kodundaki test neyi gösteriyor?

43029 numaralı değişiklik yalnız hesaplama satırlarını değiştirmiyor; bir regresyon testi de ekliyor. Test açıklaması, hibrit modelin önbellekteki üretim kontrol noktasından devam etmesinin, önbellek kullanılmayan devamla benzer puanlanması gerektiğini belirtiyor. Deneme, spekülatif üretim açıkken dilbilgisi kısıtıyla biten bir isteğin ardından devamı inceliyor. Böylece görünür çıktının kısa ve düzgün olmasıyla yetinmeyip devam hesaplamasını karşılaştırıyor.

Testte Qwen3.5-0.8B, NGRAM taslak yöntemi, XGrammar ve belirli önbellek ayarları kullanılıyor. İstem uzunluğu kontrol noktası sınırının çevresinde değiştirilerek farklı durumlar deneniyor; önbellek temizlenmiş karşılaştırma da yapılıyor. Bu ayrıntılar yeniden üretilebilirliğe yardımcı olur, ancak bütün donanımlarda ve bütün modellerde bağımsız doğrulama yapıldığı anlamına gelmez. Burada aktardığımız kanıt, projedeki test tasarımıdır; testleri kendimiz çalıştırdığımızı iddia etmiyoruz.

Güncelleme kararı: önce doğruluk, sonra hız

0.5.22 başka performans ve model desteği değişiklikleri de getiriyor. Buna rağmen üretim ortamında karar verirken sürüm başlığındaki hız iddialarından önce kendi iş yükünüzün doğruluğunu değerlendirmek daha yararlı. Aynı model kimliği, aynı istem kümesi ve aynı çıktı kurallarıyla eski ve yeni ortamı karşılaştırmak, tek bir örnek yanıtı incelemekten daha açıklayıcı olabilir. Sürüm notlarına göre bu sürüm artık Python 3.11 veya daha yenisini gerektiriyor; mevcut çalışma ortamı buna göre kontrol edilmeli.

Önerilen küçük doğrulama kümesi üç parçadan oluşabilir: normal serbest metin isteği, kurallı kısa çıktı ve bu çıktıdan sonra devam isteği. Önbellek kullanımı ile spekülatif üretimin açık veya kapalı olması ayrı karşılaştırmalar olarak kaydedilebilir. Başarı ölçütünü yalnız gecikme veya HTTP yanıtı olarak tanımlamayın; alan doğruluğu, devam tutarlılığı ve başarısız istek oranını da ekleyin. Bunlar bu yazının uygulama önerileridir, sürümün garanti ettiği sonuçlar değildir.

Maliyet ve lisans açısından ne değişiyor?

SGLang’in bu sürümdeki lisansı Apache 2.0. Yazılım lisansı ile kullanılan model ağırlıklarının lisansı ayrı değerlendirilmelidir; altyapının açık kaynak olması her modeli aynı koşullarla kullanabileceğiniz anlamına gelmez. Ticari kullanım, dağıtım veya model değiştirme kararında seçilen modelin kendi koşulları ayrıca okunmalı. Lisans metni, yazılıma ilişkin bildirim ve dağıtım yükümlülükleri için birincil kaynaktır.

Bu düzeltme için ayrıca bir kullanım fiyatı açıklanmıyor. Ancak kendi sunucunuzda çalıştırmak GPU, bellek, depolama ve işletim maliyetini ortadan kaldırmaz. Spekülatif üretimin faydası da yalnız ham hızla ölçülmemeli: ek kaynak ihtiyacı, kabul edilen taslakların oranı ve gerçek iş yükündeki gecikme birlikte düşünülmeli. Bu yazı belirli bir maliyet düşüşü veya yatırım getirisi vaat etmiyor. Hatalı çıktının yeniden işlenmesi ve insan kontrolü de toplam maliyetin parçası.

Gizlilik, güvenlik ve düzeltmenin sınırı

Bu değişikliği bir veri sızıntısı duyurusu olarak yorumlamak için kaynaklarda dayanak yok. Sürüm notlarının anlattığı problem hesaplama durumunun doğruluğu; buradan kullanıcılar arasında veri açığa çıktığı sonucu çıkarılmamalı. Öte yandan üretim sistemi kurarken istemlerin, model yanıtlarının ve hata kayıtlarının nerede tutulduğunu belirlemek hâlâ gerekli. Kendi altyapınızı işletmek, erişim kontrolü ve kayıt politikalarının kendiliğinden doğru olduğu anlamına gelmez.

Deneme ortamına gerçek müşteri belgeleri taşımak yerine aynı yapıyı koruyan anonim veya sentetik örnekler hazırlamak pratik bir başlangıçtır. Çıktı şemasından geçen bir değerin iş kuralına da uygun olup olmadığı uygulamada denetlenmeli. Örneğin kategori alanına izin verilen bir değer gelmesi, belgenin doğru sınıflandırıldığını kanıtlamaz. Altyapı düzeltmesi, içerik doğrulaması ve insan kararının gerektiği noktalar birbirinden ayrılmalı.

Sonuç: düzgün biçim, tek başına güvenilirlik değildir

SGLang 0.5.22, özellikle hibrit modellerde kurallı çıktı ile spekülatif üretimi birleştiren ekiplerin incelemesi gereken bir bakım sürümü. En önemli ders, hızlandırma, önbellek ve çıktı kısıtlarının birbirinden bağımsız düğmeler olmadığı. Kullanıcı açısından hedef yalnız hızlı ve ayrıştırılabilir bir yanıt almak değil; aynı iş akışının devamında da doğru hesaplama durumunu korumak. Güncellemeyi bu somut gereksinim üzerinden değerlendirmek, genel performans vaatlerinden daha sağlam bir karar zemini sunuyor.

Birincil kaynaklar

• SGLang 0.5.22 sürüm notları — 19 Ekim 2026: hata kapsamı ve Python gereksinimi.
• 43029 numaralı düzeltme: kesinleştirilmiş uzunluk hesabı ve regresyon testi.
• Yapılandırılmış çıktı dokümantasyonu: kısıtlı üretim başvurusu.
• Spekülatif üretim dokümantasyonu: yöntemler ve yapılandırma.
• Sürüme sabitlenmiş Apache 2.0 lisansı: yazılım koşulları.