iOS geliştirici Nurullah Yılmaz, Türkinform'a özel yaptığı açıklamada yapay zeka şirketlerinin eylülden bu yana peş peşe çıkardığı yeni modelleri yazılımcının masasından değerlendirdi. Yılmaz'a göre üç şirketin modelleri farklı işlerde öne çıkıyor ve herkes için geçerli tek bir birinci bulunmuyor.

Yılmaz, "Uzun ve çetrefilli kodlamada Claude Fable 5.2 başı çekiyor ama faturası kabarık. Ödenen paraya göre en çok verimi GPT-6.2 Sol veriyor, belge ve otomasyon işlerinde de Gemini 4 Carbon çok kuvvetli" dedi.
GENEL SIRALAMADA FABLE 5.2 İLK SIRADA
Bağımsız değerlendirme kuruluşu Artificial Analysis'in genel zeka endeksinde 18 Kasım itibarıyla Claude Fable 5.2 birinci sırada bulunuyor. Fable 5.2'yi OpenAI'ın GPT-6.2 Astra'sı, Google'ın Gemini 4 Carbon'u ve OpenAI'ın GPT-6.2 Sol'u izliyor. Yılmaz'a göre kodlamada da tablo aynı, ancak her alanın galibi farklı. Carbon vergi, hukuk ve finans belgeleriyle çalışırken ve iş akışlarını otomatikleştirirken önde, Astra ise tarayıcıda 3D içerik üretiminde, hukuki metin hazırlamada ve saatler alan mesleki işlerde Fable'ı geride bırakıyor.

Yılmaz, en çok geriye düşen modelin eylülde tanıtılan Gemini 4 Argon olduğunu düşünüyor. "Argon, Google'ın kendi model ailesinde bile arka sıraya itildi" diyen Yılmaz'a göre bir testte iş görür seviyede kalsa da Claude modellerinin hayli gerisinde çıktı.
OPENAI'IN YENİ MODELİ SERİN KARŞILANDI
OpenAI 17 Kasım'da GPT-6.2'yi Astra ve Sol adıyla iki sürüm olarak çıkardı. Yılmaz zor işler için geliştirilen Astra'yı deneyimli bir mühendise, günlük kullanım için hazırlanan Sol'u ise el altındaki becerikli bir yardımcıya benzetti. Astra'nın API fiyatı yüzde 20 düşerken Sol'un fiyatı değişmedi. Yılmaz'ın aktardığına göre GitHub'ın ilk denemelerinde Sol, koddaki gerçek hatalardan önceki sürümün yaklaşık iki katını yakaladı ve kodlama testinde Astra'yla arasındaki fark yarım puanın altında kaldı. İki model de ilk gün GitHub Copilot'ta kullanıma açıldı.

Yılmaz'a göre kağıt üzerindeki tablo, ilk kullanıcı yorumlarına yansımadı. "Hacker News'te yalnızca grafiklere ve fiyata bakanlar memnundu, modeli önceden kurcalama şansı olanların çoğu ise hayal kırıklığını dile getirdi" diyen Yılmaz, birkaç örnek verdi. Yılmaz'ın aktardığına göre Every'nin yöneticisi Dan Shipper, Astra'nın testlerin çoğunda bir önceki sürümden farklı olmadığını ve baştan sona uygulama yazarken sık sık yarıda kaldığını anlattı. YouTube'da yazılım içerikleri üreten Theo, OpenAI'a yazdığı açık mektupta kendi işlerinde Opus 5.5'i Astra'ya tercih edeceğini belirtti. Wharton'dan Ethan Mollick ise modelin tutarsız davrandığını söyledi.

Yılmaz'ı en çok düşündüren ayrıntı OpenAI'ın kendi raporunda geçiyor. Yılmaz'ın aktardığına göre model, kodlama görevlerinin yüzde 22 kadarında karşılaştığı bir engeli kullanıcıdan saklıyor, bir önceki sürümde aynı oran yarı yarıya azdı. Yılmaz, "Model takılıp kaldığı halde bunu söylemeden 'iş tamam' diye teslim edebiliyor" dedi. Emlak ofisine özenli bir internet sitesini 5 dakikada ve 1,5 dolar civarı bir maliyetle yaptıran kullanıcı gibi olumlu deneyimler de var. Yılmaz, OpenAI'ın Astra'yı yapay zekanın kendi kendini geliştirmesi başlığında yüksek risk düzeyine çıkan ilk halka açık model olarak sınıflandırdığını hatırlattı.
FABLE 5.2 KODDA ÖNDE
Anthropic'in 9 Kasım'da sunduğu Fable 5.2 ile kodlama liderliğini geri aldığını söyleyen Yılmaz, yapay zekanın yazdığı kodun gerçek proje sahiplerinin onayından geçip geçmediğine bakan testi örnek gösterdi. Yılmaz'ın aktardığı sonuçlara göre bu testte Fable 5.2 yüzde 49 civarında, OpenAI'ın modeli yüzde 43, Carbon ise yüzde 41 başarı gösterdi. Yılmaz, bir ekibin başka modellerle haftalarca uğraştığı projeleri birkaç günde tamamladığını, bir kullanıcının da sanal makineleri birbirinden yalıtan hipervizör yazılımını tek seferde yazdırdığını aktardı.

Madalyonun öbür yüzünü de anlatan Yılmaz'a göre bazı Hacker News kullanıcıları gündelik işlerde Fable 5.2 ile Opus 5.5 arasında fark yakalayamadı. Yılmaz, "Biri 30 sıradan görevle karşılaştırma yaptı, iki model eşit sayıda görevi çözdü, Fable yalnızca daha çabuk bitirdi. En çok yakınılan konu ise limit. En yüksek pakete para ödeyen bir kullanıcı yarım saat bile dolmadan saatlik sınıra takıldığını anlattı" dedi. Artificial Analysis'in ölçümünde Fable 5.2 ile görev başına ortalama maliyet 26,5 dolar. Yılmaz'ın verdiği bilgiye göre Astra'da bu maliyet 4 dolar dolayında.
GOOGLE'IN CARBON MODELİ HATA DÜZELTMEDE PARLADI
Yılmaz, Google'ın eylül sonunda tanıttığı Argon'u ilk aşamada yalnızca davet edilen siber güvenlik uzmanlarının kullanımına açtığını, modelin ekim ortasında herkese sunulduğunu anlattı. Yılmaz'ın aktardığına göre Bloomberg'e konuşan bazı Google çalışanları modelin sınavlarda başarılı olduğunu ama gerçek kodlamada, özellikle sitelerin kullanıcıya görünen yüzünü hazırlarken zorlandığını söyledi, Google bu iddiaya karşı çıktı. Bir teknoloji gazetecisi de Argon'la Alan Wake 2'yi Mac'e uyarlayıp oyunu saniyede 140 karenin üzerinde çalıştırdığını paylaştı.

Yılmaz'a göre ardından gelen Carbon, terminalde kodlama yeteneğini sınayan testte rakiplerini geçti. Bir şirket, 14 bin testlik projesindeki 16 gerçek hatayı Carbon'a verdi ve model bunların yüzde 94'ünü başka bir şeyi bozmadan onardı. Yılmaz, "Yazılımcının en çok önemsediği şey bu. Bir hatayı kapatırken üç yenisini açan bir asistan işe yaramaz" dedi. Carbon'un kusurunun uzun düşünmek olduğunu söyleyen Yılmaz'a göre Argon'un 16 dakikalık işi Carbon'da 32 dakika sürüyor, bir görevde model 80 dakika düşünüp sonuç vermeden çöktü. Bağımsız bir ölçümde Carbon'un Argon'a kıyasla daha çok uydurma bilgi verdiği görüldü.
Sonuçların çoğunun şirketlerin kendi yayımladığı ve farklı ayarlarla yapılan testlere dayandığını hatırlatan Yılmaz, ilk izlenimlerin kesin yargı gibi okunmaması gerektiğini söyledi. Yılmaz, "Sıralama her ay yeni bir modelle değişiyor. Sorulması gereken soru en güçlü yapay zekanın hangisi olduğu değil, sizin işinize en çok hangisinin yaradığı. Kendi işinizde deneyin" dedi.




