125 Milyar Parametrelik Yapay Zekayı Kendi Bilgisayarınızda Çalıştırın: Strata Projesi

Büyük dil modellerinin hızla geliştiği bu dönemde en büyük engellerden biri, devasa parametre boyutlarına sahip gelişmiş modellerin çalışabilmek için pahalı sunucu sistemlerine ihtiyaç duymasıydı. Açık kaynaklı yeni bir proje olan Strata, bu bariyeri ortadan kaldırarak 125 milyar parametreli Qwen3.8-Flash-Next modelini standart bir oyuncu bilgisayarında yerel olarak çalıştırmayı mümkün kılıyor.

Üstelik tüm işlem tamamen kendi donanımınızda gerçekleştiği için hiçbir veri dışarıya aktarılmıyor; gizlilik ve hız tek bir çatı altında buluşuyor.

Strata Nedir ve Ne İşe Yarar?

Strata, normalde yüksek donanımlı veri merkezleri gerektiren 125 milyar parametreli Qwen3.8-Flash-Next modelini yerel GPU ve RAM optimizasyonlarıyla optimize eden ücretsiz ve açık kaynaklı bir motor. Model sadece metin tabanlı sohbet etmekle kalmıyor; kod yazabiliyor, görselleri analiz edebiliyor ve harici kodlama araçlarıyla entegre şekilde otonom ajan gibi çalışabiliyor.

Oyun Bilgisayarlarında Ölçülen Hızlar

Proje ekibi, günlük hayatta sıkça kullanılan ekran kartları üzerinde çeşitli kuantizasyon (sıkıştırma) seviyelerinde testler gerçekleştirdi. Sonuçlar standart bir okuma hızının oldukça üzerinde:

• NVIDIA RTX 5070 (12 GB VRAM) & 64 GB RAM:
  • Q2_0: Saniyede 94 token üretim hızı ve 2.650 token/sn istem (prompt) okuma hızı.
  • IQ2_XS: Saniyede 79 token üretim hızı ve 2.090 token/sn istem okuma hızı.
  • Coder: Saniyede 55 token üretim hızı ve 2.180 token/sn istem okuma hızı.
• AMD Radeon RX 9070 XT (16 GB VRAM) & 47 GB RAM:
  • Q2_0: Saniyede 60 token üretim hızı ve 1.160 token/sn istem okuma hızı.
  • IQ2_XS: Saniyede 52 token üretim hızı ve 1.110 token/sn istem okuma hızı.
  • Coder: Saniyede 44 token üretim hızı ve 1.420 token/sn istem okuma hızı.

24 GB VRAM kapasiteli RTX 3090 veya 4090 gibi kartlarda yanıt üretme hızının saniyede 100 ile 140 token aralığına kadar çıktığı belirtiliyor.

Sistem Gereksinimleri

Strata’yı kendi bilgisayarınızda çalıştırmak için gereken donanım özellikleri şu şekilde:

• Ekran Kartı: En az 12 GB VRAM’e sahip NVIDIA (RTX 20, 30, 40 veya 50 serisi) ya da AMD (Radeon RX 7000, 9000 veya RX 6800/6900 serisi) ekran kartı.
• Sistem Belleği (RAM): En az 32 GB RAM. 32 GB sistemlerde optimize edilmiş Coder sürümü önerilirken, 64 GB ve üzeri RAM tüm model boyutlarını rahatlıkla çalıştırabiliyor.
• Depolama: Yaklaşık 80 GB boş disk alanı (modelin hızlı yüklenmesi için NVMe SSD tavsiye edilir).
• İşletim Sistemi: Windows 10/11 veya Linux.

Nasıl Kurulur?

Strata kurulum sürecini oldukça basitleştirmiş durumda. Projeyi GitHub deposundan indirdikten sonra Windows kullanıcıları START-HERE.bat dosyasını, Linux kullanıcıları ise ./setup.sh betiğini çalıştırarak sihirbazı başlatabiliyor. Yükleyici sistem donanımınızı otomatik algılayıp RAM miktarınıza uygun model boyutunu indiriyor ve tarayıcınızda http://127.0.0.1:8080 adresinde yerel arayüzü kullanıma hazır hale getiriyor.

Ayrıca Claude Code, Cursor veya GitHub Copilot gibi yapay zeka araçları kullananlar, MCP sunucu desteği sayesinde kurulumu ve model yönetimini doğrudan bu asistanlara da yaptırabiliyor.