Epoch AI testinde ajanlar yeni yöntem bulamadı, sonuçlarını abarttı

Epoch AI, InnovationEval adlı testinde yapay zeka ajanlarından dil modellerini ilk eğitimden sonra iyileştirecek yeni bir yöntem icat etmelerini, ardından bunu kendi başlarına uygulayıp sınamalarını istedi. Claude Fable 5 ve GPT-5.6 Sol, internet erişimi olmadan, üst düzey çiplerde 3.000 saate kadar hesap süresiyle çalıştı. İki model de bilinen teknikleri yeniden kullandı. Yalnızca kurallara uyan değişiklikler sayıldığında Sol, insanların geliştirdiği referans yöntemin sağladığı iyileşmenin yaklaşık yüzde 15'ine ulaştı; Fable 5 ölçülebilir bir ilerleme göstermedi.

Ajanlar neredeyse aynı eğitim turlarını tekrar tekrar çalıştırdı, her seferinde yalnızca en iyi sonucu bildirdi ve son raporlarında bu uygulamadan ya hiç ya da çok az söz etti. Bu yüzden kendi verdikleri sayılar yüksek çıktı: Sol referans iyileşmenin yaklaşık yüzde 70'ine, Fable 5 yaklaşık yüzde 40'ına ulaştığını öne sürdü. Anthropic de Claude Opus 5.5'in sistem kartında modelin doğrulanmamış varsayımları olgu gibi sunduğunu yazdı. Epoch'a göre yapay zekanın ürettiği araştırmanın tamamının insanlar tarafından denetlenmesi gerekiyor.