Yapay zeka modellerinin dış API’ları, fonksiyonları ve veritabanı araçlarını ne kadar isabetle tetikleyebildiğini ölçen “araç yönlendirme” (tool routing), pratik otomasyonun en kritik göstergelerinden biridir. Yalnızca metin işleyen (text-only) modeller arasında yapılan geniş kapsamlı bir test serisinde Ling 3.1 Flash; sektörün güçlü oyuncuları DeepSeek, HY3, GLM-5.2 ve Laguna XS ile karşılaştırıldı.
Araç Ailesi Uyumu ve İdeal Araç Seçimi
Test setinde modellere yüzlerce farklı senaryo verilerek sistemdeki uygun araç kümesini tespit etmeleri istendi.
- Ling 3.1 Flash Başarısı: Ling 3.1 Flash, araç ailesi uyumu (tool-family agreement) kategorisinde liderliği alarak dört metin tabanlı referans modelin tamamını geride bıraktı. Senaryonun gerektirdiği fonksiyon kategorisini en doğru biçimde saptayan model oldu.
- İdeal Araç Doğruluğu: Kullanıcının nihai amacına en kısa yoldan ulaşmayı sağlayan “ideal araç” sayısında da Ling üst sıralarda yer aldı.
Konsensüs ve Altyapı Kararlılığı
Madalyonun diğer yüzünde ise tam eylem mutabakatı ve altyapı performansı yer alıyor:
- Eylem Mutabakatı: Fonksiyon isimleri doğru seçilse de, parametrelerin (JSON argümanları, sayısal eşikler) birebir örtüşmesinde DeepSeek ve GLM-5.2 modelleri daha kararlı ve deterministik bir tutum sergiledi.
- Hız Sınırları (Rate-Limits): Ling modelinin ücretsiz çıkarım rotası üzerinde yapılan testlerde 298 kez hız sınırı (rate-limit) yanıtı alındı. Bu durum, ücretsiz çıkarım kaynaklarının test ve tanı süreçlerinde ciddi bir yeniden deneme (retry) yükü oluşturabileceğini gösterdi.
Sonuç
API entegrasyonlarında doğru aracı seçme kabiliyeti açısından Ling 3.1 Flash sınıfının en iddialı modellerinden biri. Ancak kurumsal seviyede sıfır hata ile parametre üretimi hedefleniyorsa, DeepSeek ve GLM serisinin deterministik üstünlüğü halen göz ardı edilemez.
Kaynak ve Benchmark Verileri: Text-Only Tool Routing Benchmark Analysis
Bir yanıt yazın