Yapay Zeka Ajanları Gerçekçi Görevlerde Sınırlı Başarı Gösterdi

Yarı iletken ve yapay zeka araştırma firması SemiAnalysis, yapay zeka ajanlarının gerçek iş ortamlarındaki performansını değerlendirmek amacıyla yeni bir test olan GDPx'i duyurdu. Bu testte, en güçlü yapay zeka ajanları bile, çip tasarımı, siber güvenlik, biyoloji, finans, hukuk ve yazılım mühendisliği gibi 11 farklı alanı kapsayan uzun ve karmaşık görevlerde sınırlı bir başarı gösterdi. Test sonuçlarına göre, birinci sırada yer alan Claude Opus 5.5 bile görevlerin yalnızca yüzde 12'sini başarıyla tamamlayabildi.

Test, 20 farklı yapay zeka modelini değerlendirdi ve sıralamanın üst sıralarında yer alan modeller arasında Google'ın Gemini 4 Carbon modeli, Claude Opus 5.5'in yaklaşık üçte biri maliyetle hemen arkasında yer aldı. Listenin alt sıralarında ise DeepSeek 4.1 Flash, Grok 4.7 ve GLM 5.3 gibi modeller daha düşük başarı oranları ile kaydedildi. Görevler, her biri 8 saatlik süre sınırına sahip olup, yapay zeka şirketlerine eğitim verisi sağlayan 14 girişim tarafından hazırlandı.

SemiAnalysis'e göre, bazı modellerin düşük skor almasının nedenlerinden biri güvenlik filtreleri oldu. Siber güvenlik, biyoloji ve hizalama alanları testten çıkarıldığında GPT-6 Astra'nın birinciliğe yükselebileceği belirtildi. Opus 5.5 kantitatif alım satım, donanım ve çip tasarımında öne çıkarken, Gemini 4 Carbon biyoloji alanında liderdi ancak bu durumun modelin daha gevşek güvenlik filtrelerine bağlanabileceği ifade edildi. Finans ve hukuk alanları ise yapay zeka ajanları için en zorlayıcı oldu; hukukta tüm modeller sıfır alırken, finansta sadece Gemini 4 Carbon sıfırın üzerine çıkabildi.

Maliyet açısından bakıldığında, Opus 5.5'in görev başı ortalama maliyeti 51,41 dolar iken, Gemini 4 Carbon 16,29 dolarlık maliyetiyle dikkat çekti. Bu durum, Gemini 4 Carbon'un fiyat rekabetinde önemli bir avantaj sağlayabileceği yorumlarına yol açtı. SemiAnalysis, yapay zekanın ilk büyük gelirlerinin en yüksek getiriyi sağlayacak sektörlerde birikeceğini öngörüyor. Test sonuçları gdpx.semianalysis.com adresinde kamuoyuyla paylaşıldı ve testin 3-6 ayda bir güncellenmesi planlanıyor.