Vals AI testinde ajan ekipleri 5,1 kata kadar pahalı, kalite artışı sınırlı

Değerlendirme şirketi Vals AI, GPT-6 Sol ve Claude Opus 5.5'i Vibe Code Bench testinde tek ajan olarak ve ekip halinde, orta ve en yüksek akıl yürütme düzeyinde karşılaştırdı. Ekipler tek ajana göre 1,8 ile 5,1 kat daha pahalıya çalıştı. Dört karşılaştırmanın yalnızca birinde istatistiksel olarak anlamlı bir fark çıktı: orta düzeydeki Sol ekibi, tek ajandan 7,3 puan fazla aldı. En yüksek düzeyde iki model de ekipten belirgin bir fayda görmedi.

Anthropic'in Opus 5.5 ile yaptığı iki iç testte de ajan sayısı arttıkça kalite artışı küçüldü. Bilgi tabanı görevinde puan tek ajanla 0,53, on ajanla 0,70, yüz ajanla 0,74 oldu. OpenAI araştırmacısı Noam Brown da Dwarkesh Podcast'te çoklu ajan sistemlerinin esas olarak hız kazandırdığını söyledi: dört ajan görevleri iki kat hızlı ama iki kat maliyetle bitirdi.