Uzun vadeli ajan kararlarını ölçen Taste-Bench'te en iyi model yüzde 59,7'de kaldı

Microsoft ve Hong Kong Şehir Üniversitesi'nden araştırmacılar, yapay zeka ajanlarının uzun süren görevlerde verdiği ara kararların kalitesini ölçen Taste-Bench'i yayımladı. Test, kodlama ve yapay zeka araştırması görevlerinden alınan 502 sorudan oluşuyor. Her soruda model, bir ajan çalışmasının yol ayrımında iki yön arasından daha iyi sonuç vereni seçmeye çalışıyor; doğru yön sonradan gelen çalışmalardan biliniyor.

Claude, GPT, Grok, DeepSeek ve Mistral gibi ailelerden 14 model test edildi. Her soru seçeneklerin sırası değiştirilerek iki kez soruldu ve yalnızca iki seferde de doğru yanıtlanırsa sayıldı; bu düzende rastgele tahmin yüzde 25 alıyor. En iyi sonucu yüzde 59,7 ile GPT-5.6 Sol aldı. Belirleyici ipucu ancak çok sonra ortaya çıktığında ortalama doğruluk yüzde 21'e düştü; daha uzun düşünmek sonucu belirgin biçimde değiştirmedi. Araştırmacılar bu muhakemeyi Qwen3.6-27B tabanlı bir öğrenci modele aktardı; bu modelin önerileriyle bir ajanın 41 SWE-bench Pro görevindeki başarısı yüzde 14,6'dan yüzde 33,7'ye çıktı.