Yeni ARC-AGI-3 Ölçütü, LLM'lerin Hâlâ Temel Düşünme Becerilerinde İnsanların Gerisinde Olduğunu Gösteriyor

Yapay zeka araştırmacısı François Chollet ve ekibi, genel zekayı ölçmek üzere geliştirdikleri yeni nesil kıyaslama ölçütü ARC-AGI-3’ü yayımladı. Chollet’ye göre ARC-AGI-3, yapay zeka sistemlerinin gerçekten yeni, daha önce karşılaşmadıkları durumlarda hiçbir arka plan bilgisi ya da ipucu olmaksızın kendi başlarına öğrenip öğrenemeyeceğini anlamak üzere tasarlandı. Testlerde yalnızca "temel bilgi ön kabulleri" — nesne sürekliliği ve nedensellik gibi temel bilişsel yetiler — esas alınırken; dil, genel kültür bilgisi veya semboller dışarıda tutuldu.

Yeni sistemdeki "Geliştirici Önizlemesi" üç etkileşimli test oyunu içeriyor. Geliştirici ekibin ve liderlik tablosunun açıklamalarına göre, insanlar bu oyunları hızlı ve kolay şekilde çözebiliyor. Ancak yapay zeka sistemleri bugüne kadar yalnızca bilinmeyen bir kaynağa ait olan bir örnek dışında hiçbir oyunda üstünlük sağlayamadı.

OpenAI araştırmacısı Zhiqing Sun, X üzerinden yaptığı paylaşımda yeni ChatGPT temsilcisinin ilk oyunu çözebildiğini iddia etti. Ancak OpenAI’ye ait temsilcinin zirvedeki konumu gerçekten alıp almadığı henüz doğrulanmadı.

Etkileşimli Oyun Formatı Sabit Testlerin Yerini Aldı

ARC-AGI-3’teki en büyük yenilik test formatında. Önceki sürümlerde yer alan sabit problem kümeleri yerine artık etkileşimli mini oyunlar bulunuyor. Söz konusu oyunlar kareli bir dünyada geçiyor ve temsilcilerin başarıya ulaşması için oyunun kurallarını ve hedeflerini kendilerinin keşfetmesi gerekiyor. Temsilciler, başarıya ulaşmak için deneme-yanılma yoluyla öğrenmek zorunda.

Geliştirici ekip, bu formatın insanlardaki öğrenme biçimini yansıttığını belirtiyor: keşfetme, plan yapma ve yeni ortamlara uyum sağlama. ARC Prize projesinin resmi sitesinde şu ifadelere yer veriliyor: "Bu fark devam ettiği sürece elimizde AGI yok demektir."

Önizleme sürümüne eşlik edecek şekilde HuggingFace, 10.000 dolarlık ödüllü bir yarışma başlattı. Katılımcıların dört hafta içinde sağlanan API’yi kullanarak en iyi performansı gösteren temsilciyi geliştirmeleri gerekiyor.

2026 başlarında tam sürüm hâline gelecek ARC-AGI-3 kıyaslamasının, biri herkese açık, diğeri kapalı olmak üzere yaklaşık yüz farklı oyundan oluşması planlanıyor.

‍

‍

‍

‍

‍

Kaynak: https://the-decoder.com/new-arc-agi-3-benchmark-shows-that-humans-still-outperform-llms-at-pretty-basic-thinking/