Görsel sezgi testinde en iyi model yüzde 54'te kaldı, insanlar yüzde 93'te

Yapay zeka girişimleri Elorian ve Scale AI, modellerin bir sahnede açıkça görünmeyen ama sezilen bilgiyi ne kadar yorumlayabildiğini ölçen Humanity's Sixth Sense (HSS) testini yayımladı. Test, 288 görüntü ile toplam 17,6 saatlik 234 kısa video üzerine kurulu 522 sorudan oluşuyor. Sorular dört başlıkta toplanıyor: zaman ve neden-sonuç, fiziksel ve mekânsal mantık, sosyal anlama, soyut çıkarım. Örneğin bir kitaplığa daha fazla kitap sığıp sığmayacağı soruluyor.
İnsanlar ilk denemede yüzde 93,1 başarıya ulaştı. En iyi sonucu alan GPT-6 Astra yüzde 53,6'da kaldı. Çin'in açık ağırlıklı modellerinden GLM-5.3-flash yüzde 26,8, Kimi K3 yüzde 25,5 aldı. Araştırmacılara göre en sık görülen iki hata, cevabı belirleyen bir ayrıntının gözden kaçması ve bir nesnenin, kişinin ya da rolün yanlış tanınması.
“measures how a model interprets and reasons through information a visual scene implies but doesn't explicitly show”Elorian ve Scale AI
Kaynak: Import AI