Reasoning modellerinin en tartışılan sorunlarından biri: thinking token maliyeti. Model bir cevap üretmeden önce iç düşünce zincirinde (chain-of-thought) yüzlerce, hatta binlerce token harcıyor. Bu, hem inference latency’yi artırıyor hem de API maliyetini şişiriyor.
Bu haftanın topluluk çalışması, bu soruna somut bir çözüm sundu: Qwen3.6-27B modelinin ThinkingCap yaklaşımıyla ortalama %50, en iyi senaryolarda ise %90’dan fazla thinking token tasarrufu. Kalite kaybı olmadan.
Community çalışması ayrıca modeli INT4 AutoRound ile quantize edip tek bir RTX 5090 üzerinde çalıştırılabilir hale getirdi — hem de 2 × 262K context ile. vLLM üzerinde TQ4 KV cache ve MTP (Multi-Token Prediction) aktif, Hermes Agent ile test edilmiş.
Bu yazıda ThinkingCap yaklaşımının ne yaptığını, INT4 AutoRound quantization’ın avantajını, RTX 5090 üzerinde 2×262K context’in ne demek olduğunu ve açık ağırlık ekosisteminde toplulukların rolünü inceleyeceğiz.
ThinkingCap: thinking token maliyetinin altını çekmek
Reasoning modeller (Claude Fable 5, GPT-5.5, DeepSeek R1, Qwen 3.5 Thinking, Ornith-1.0) cevaplarını üretmeden önce <think>...</think> blokları içinde iç düşünce yapıyor. Bu, kalite açısından büyük artı ama pratik açıdan üç problem yaratıyor:
- API maliyeti: Thinking token’lar da faturaya dahil. Bir soru için 1.000 output token yerine 5.000 thinking + 1.000 output = 6 kat maliyet.
- Latency: Thinking sonrası cevap gelir. Kullanıcı 30 saniye bekler.
- Context tükenmesi: Multi-turn conversation’larda thinking token’lar context’i doldurur, hafızayı boşa harcar.
ThinkingCap, model post-training reçetesine bir düzenleme ekleyerek modeli “gerektiği kadar düşün, fazlasını değil” davranışına yönlendiriyor.
Nasıl? Model, farklı görev karmaşıklıklarında gerçekten kaç token thinking gerektiğini öğreniyor. Kolay sorularda kısa; zor sorularda derin. Ortalama %50, en iyi senaryolarda %90+ token tasarrufu.
Bu tasarrufun somut anlamı: aynı kalite, yaklaşık yarı fiyat.
Qwen3.6-27B seçimi
ThinkingCap ile ilk büyük deneme Qwen 3.6-27B modeli üzerinde yapıldı. Qwen 3.6 ailesi, Alibaba’nın 2026 ortasında yayınladığı yeni nesil reasoning modelleri. 27B dense varyantı, tek bir GPU üzerinde çalışabilen makul bir orta ölçek seçenek.
Neden 27B ve dense?
- MoE modellere göre daha basit deployment. Router yok, expert routing overhead’i yok.
- 27B dense, tek RTX 5090’ın (32 GB VRAM) INT4 quantize sonrası sığdığı skala.
- Reasoning kalitesi Qwen 3.6 mimarisi sayesinde yüksek. Benchmark’larda 70B dense modellere yaklaşıyor.
ThinkingCap + Qwen 3.6-27B kombinasyonu, “evde çalışabilen reasoning model” kategorisinin yeni referansı olabilir.
INT4 AutoRound: kalite kaybı olmadan boyut düşürme
27B dense model, BF16 precision’da 54 GB VRAM ister. RTX 5090’ın 32 GB VRAM’ine sığdırmak için quantization şart.
AutoRound (Intel tarafından geliştirilen), post-training quantization algoritmaları arasında kalite/boyut oranı en iyisi olarak öne çıkıyor. Neural Compressor ekosisteminin parçası.
INT4 AutoRound:
- 4-bit weights (BF16’nın 1/4’ü).
- Küçük calibration set (~128 örnek) ile modelin ağırlıklarını 4-bit’e mapping’ini optimize ediyor.
- Kalite kaybı genellikle %1-2 bandında — kabul edilebilir.
Sonuç: Qwen 3.6-27B, INT4 AutoRound ile yaklaşık 14-15 GB VRAM alıyor. RTX 5090’a rahat sığıyor.
2 × 262K context, TQ4 KV cache, MTP: ne demek?
Community post-training reçetesi bir dizi ileri düzey optimizasyonu birleştiriyor:
1. 2×262K context. Tek RTX 5090 üzerinde toplam 524.288 token context. Bu, uzun doküman analizi, kodbase gezinme, uzun konuşma senaryoları için değerli. 2× ifadesi, iki paralel conversation’ın aynı anda serve edilebilmesi.
2. TQ4 KV cache. KV cache (attention’ın bellek katmanı), long context’te en büyük VRAM tüketicilerinden biri. TQ4 (Ternary/Quaternary quantization), KV cache’i 4-bit’e sıkıştırıyor. 262K context için gereken VRAM dramatik olarak düşüyor.
3. MTP (Multi-Token Prediction). Speculative decoding’in bir formu. Model tek seferde 1 yerine 2-4 token tahmin ediyor, doğru olanları kabul ediyor. Throughput 1.5-2x artıyor.
Bu üç optimizasyonun bir arada olması, community deployment’ının olgunluğunu gösteriyor. Bu artık “çalıştı” seviyesi değil, “production-ready” seviyesi.
Hermes Agent-tested: gerçek dünya kalite kontrolü
Community deployment’ın Hermes Agent ile test edilmiş olması ayrıca kayda değer. Hermes, Nous Research’ün agent framework’ü ve gerçek dünya tool use senaryolarını doğrudan test ediyor.
Bir model self-benchmark’ta iyi görünse bile agent framework içinde tool call kaybedebilir, iç conversation dönüşleri kaçırabilir, format hatası yapabilir. Hermes ile test edilmiş olması, modelin bu tarafta da tutarlı olduğunun bir sinyali.
Community, açık ağırlık ekosisteminin gerçek gücü
Bu çalışma, akademik makale veya şirket lansmanı değil. Prag’da nehir kenarında oturan birkaç meraklının gerçekleştirdiği bir topluluk projesi. Yazan kişinin özellikle @bottlecapai ve @jaroslavbeck gibi arkadaşlarına teşekkür etmesi, bu tür dağıtık topluluğun ne kadar organik olduğunu gösteriyor.
Yine @UnslothAI’ya (Unsloth, Türkiye kökenli Han Chao’nun kurduğu quantization uzman ekibi) çağrı yapılması, ekosistemin farklı oyuncuları arasındaki organik iletişim ağını gösteriyor.
Bu, Meta veya OpenAI’ın kapalı laboratuvarlarında olamayacak bir şey. Prag’da, İstanbul’da veya Bangalore’da bir mühendisin, gecelerini vererek, açık ağırlıklı bir modeli production-ready hale getirmesi — ve bunu paylaşması.
v2 geliyor: daha da agresif calibration
Yazının notunda, “v2 with heavier calibration is next” belirtiliyor. Yani mevcut INT4 AutoRound quantize edilmiş model, bir başlangıç noktası. Sonraki sürüm daha uzun calibration ve muhtemelen daha yüksek kalite ile gelecek.
Bu community iteration örüntüsü, açık ağırlık ekosisteminin klasik dinamiğinin göstergesi. Bir model yayınlanır, birkaç gün içinde 5-10 farklı community quantization çıkar, her biri farklı trade-off’lar sunar. Kullanıcılar en uygun olanı seçer.
Türk geliştiriciler için pratik değer
1. Ekonomik reasoning model deployment. RTX 5090 (~$2.500-3.000 TL bandı) alan bir Türk geliştirici, bu deployment ile yerel reasoning model altyapısı kurabilir. API maliyeti sıfır, latency düşük, mahremiyet tam.
2. Long context iş yükleri. 524K token context, kurumsal doküman analizi, hukuki döküman incelemesi, kod analizi gibi senaryolar için ciddi bir kapasite. Aynı hardware için Anthropic Claude Opus 4.8’in 200K context’i daha kısıtlı.
3. Community model finetuning için başlangıç noktası. Bu INT4 quant, kendi Türkçe use case’iniz için fine-tune başlangıç noktası olabilir. LoRA veya QLoRA ile Türkçe veri üzerinde ek eğitim mümkün.
4. Türk community katılım fırsatı. Unsloth’a çağrı, Türk kökenli mühendislerin (Han Chao Türk kökenli) ekosistemde aktif olduğunun somut örneği. Türk geliştiriciler, kendi quantization ve deployment sürümlerini paylaşarak topluluk konumu kazanabilir.
Sonuç: reasoning ekonomisi topluluk tarafından yeniden yazılıyor
2025 sonunda reasoning modellerinin ekonomisi problemliydi. Yüksek thinking token maliyeti, yüksek latency, yüksek VRAM gereksinimi — bu üçlü, ortalama geliştiriciyi API-only kullanıma zorluyordu.
2026 ortasında community çözümleri bu ekonomiyi yeniden yazıyor. ThinkingCap ile thinking token %50-90 azalıyor. AutoRound INT4 ile VRAM ihtiyacı 4’te 1’e düşüyor. TQ4 KV cache ile long context ekonomik. MTP ile throughput artıyor.
Sonuç: bir RTX 5090’a sahip bir kişi, Anthropic API ile karşılaştırılabilir kalitede bir reasoning model altyapısı çalıştırabiliyor. Ay sonunda faturalanmadan, tam mahremiyetle, unlimited kullanımla.
Bu, açık ağırlık ekosisteminin ilk günlerinden beri süregelen bir söz. 2026 ortasında pratikte gerçekleşiyor.
Community çalışmasının detayları için Hugging Face üzerinden ThinkingCap ile ilgili arama yapılabilir. vLLM deployment örneği çalıştırmak isteyenler için, INT4 AutoRound + TQ4 KV cache konfigürasyonu ilk denenecek başlangıç noktası.
Bir yanıt yazın