Model parametre boyutu arttıkça mantık yürütme kapasitesinin arttığı bilinir; ancak araç çağırma ve yönlendirme (tool routing) gibi dar kapsamlı görevlerde küçük modeller büyük abilerine meydan okuyabilir mi? 2 milyar parametreden (2B) başlayıp 35 milyar parametreye (35B) kadar uzanan 10 farklı model, yerel donanımlarda kapsamlı bir yönlendirme testine tabi tutuldu.
Değerlendirme Metrikleri ve Test Metodolojisi
Kompakt yönlendirme testlerinde modeller iki farklı ölçekte değerlendirildi:
- Katı Tam Eylem Doğruluğu: Modelin aracın adını, sözdizimini ve aldığı parametreleri eksiksiz ve hatasız üretmesi.
- Kapsayıcı İsim Eşleme (Name-Only-Inclusive): Yalnızca doğru aracın tetiklenip tetiklenmediğine odaklanan daha esnek bir sıralama.
Liderler ve Sürpriz Sonuçlar
- 30B+ Sınıfı ve Qwen Hakimiyeti: Katı tam eylem doğruluğunda zirveyi Qwen3.8-27B kimseye bırakmadı. Model, karmaşık koşullu araç çağırma senaryolarında büyük modellerin neden hala vazgeçilmez olduğunu kanıtladı.
- Sıralamayı Değiştiren Metrikler: Yalnızca isim eşleme metriğine bakıldığında sıralama belirgin şekilde değişti. Bazı orta ölçekli modeller doğru aracı çağırmada 35B modellerle başa baş bir performans sergiledi.
- 2B – 3B Kompakt Seviye: 2 milyar parametre bandındaki modeller, genel muhakemede geri kalsa da, dar kalıplı ve önceden tanımlanmış araç şablonlarında doğru prompt tasarımlarıyla beklenenden çok daha yüksek bir uyum yakaladı.
Çıkarılan Dersler
Her otomasyon görevi için onlarca milyar parametrelik dev modelleri çalıştırmak hem donanım hem de maliyet açısından verimsizdir. İyi kurgulanmış bir araç yönlendirme döngüsünde, doğru seçilmiş 2B-8B bandındaki modeller rutin görevlerin büyük kısmını başarıyla sırtlayabilir; Qwen3.8-27B gibi modeller ise hata payının sıfır olması gereken kritik kararlara rezerve edilebilir.
Kaynak ve Benchmark Verileri: 10-Model Comprehensive Tool Routing Comparative Study
Bir yanıt yazın