Yapay zeka modellerini bulut sunucuları yerine yerel donanımlarda veya kullanıcı cihazlarında (on-device) çalıştırmak; gizlilik, çevrimdışı çalışabilirlik ve sıfır sunucu maliyeti gibi büyük avantajlar sağlıyor. Bu alanda öne çıkan Spark X2.5 ve MiniCPM5, resmi Q4 GGUF kuantizasyon formatlarında yerel tarayıcı ajan testlerine tabi tutuldu.
Kompakt Modellerin Test Ortamı
Testler, donanım kaynaklarının kısıtlı olduğu senaryoları simüle eden standartlaştırılmış \”Kompakt Girdi\” veri seti üzerinde yürütüldü. Değerlendirmede iki temel metrik baz alındı:
- Katı Eylem Eşleşmesi (Strict Action Matching): Modelin ürettiği tıklama, kaydırma ve yazma komutlarının hedefe tam oturması.
- Esnek Araç Ailesi Skoru (Loose Tool-Family Score): Modelin tam eylem koordinatını tutturamasa bile doğru amaca yönelik aracı seçebilme yeteneği.
Performans Analizi
- MiniCPM5: Özellikle görsel ve metinsel arayüz öğelerini ayrıştırmada kompakt boyutuna göre şaşırtıcı bir tutarlılık sergiledi. Katı eylem eşleşmesinde yerel modeller arasında üst dilimlerde yer aldı.
- Spark X2.5: Esnek araç ailesi skorlarında başarılı bir profil çizerken, düşük bellek ayak izi sayesinde dizüstü bilgisayarlarda ve uç cihazlarda akıcı bir çıkarım performansı sundu.
Yerel Ajanların Geleceği
Her iki model de 4-bit kuantize edilmiş (Q4) halleriyle bile web otomasyonu için gereken temel komutları başarıyla işleyebildiklerini gösterdi. Buluta bağımlı kalmadan, yerel tarayıcı eklentileri veya hafif masaüstü yazılımları üzerinden kişisel asistan çalıştırmak isteyenler için bu modeller yeni bir dönemin kapısını aralıyor.
Kaynak ve Benchmark Verileri: Compact Edge Models Benchmark Dataset
Bir yanıt yazın