GPT-4O göz boyama mı yoksa dev bir ileri adım mı?

OpenAI, hafta başında geniş dil modeli (LLM) GPT’nin yeni sürümü GPT-4O’yu tanıttı. Yeni sürüm girdilerini metin, ses, görsel ya da video olarak alabiliyor ve sonuçlarını metin, ses ve görsel olarak üretebiliyor. Open AI’ın GPT-4O demosundaki sunumları anlık basit çeviri ve görme zorlukları yaşayanlar için sesli destek gibi çeşitli potansiyel kullanım alanlarına işaret editör. OpenAI’ın başarılı sunumu çok sayıda influencerın da desteği ile GPT’nin daha önceki sürümleri için de yapılan çeşitli tartışmaların yeniden sosyal medyada gündem olmasına yol açtı. Daha yayına alınmamış ses özelliklerini öve öve bitiremeyenlerden tutun da “Yapay zeka işimizi elimizden alacak”çılara uzanan geniş bir kitlenin pratikte OpenAI reklamcısı haline geldiğini göz önünde bulundurursak demonun OpenAI için bir başarı olduğunu söyleyebiliriz.  Ancak demonun başarılı olması GPT-4O’nun sunulduğu gibi olduğu anlamına gelmiyor. Gördüğümüz ürünün kendisi değil ürünü pazarlamaya çalışan şirketin iyi hazırlandığı bir sunumu idi.

Geniş dil modellerinin pek de uzun olmayan tarihine ve günceline biraz aşina olanlar için bu sunumlar ilk de değil sürpriz  de değil. OpenAI, 14 ay önce GPT-4’ün ilk sürümünü tanıttığında baro ve üniversite sınavlarını yüksek puanlarla geçebilmesinden tutun da esnek bir şekilde kod yazabilmeye uzanan geniş bir işlev portfolyosu sunmuştu. Sunulan portfolyo eğlence amaçlı kullanımlar dışında pratikte oldukça sınırlı alanlarda ve yoğun bir insan denetimi altında karşılık bulabildi ve bu karşılık bulduğu alanların ciddi bir kısmı açısından uğraşıya karşılık olarak yeterli bir avantaj sağlayamadığı için bu deneysel girişimlerin çoğu terk edildi. Biraz daha geriye, 6 yıl önceye gidelim. Google restoran rezervasyonu vb. yapabilen yapay zeka destekli sesli asistanı Google Duplex’i tanıtmıştı. Duplex’ten geriye ismi bile kalmadı. Yakın tarihten bir diğer demo yine OpenAI’dan Sora. Sora demolarının yayımlandığı haftanın zaman akışlarına göre video üretim işi kökünden değişecekti. Gelin görün ki Sora videolarının en çarpıcı olanı “balon kafa” gerçekte video grafik sanatçılarının elinde çokça rotoskoplama ve diğer el emeği video işleme yöntemleri ile hayat bulabilmişti⁰. Yetmediyse önceki gün gerçekleştirilen bir diğer demoya, Huawei’nin yeni jenerasyon AI’ının tanıtımına geçelim. Tanıtım sırasında sunucunun kazara Ctrl-C’ye basması ile kodda gerçekte “6 saniye bekle” komutu verildiği ve demonun pek de gerçek olmadığı ortaya çıktı¹.

Bu örnekler ve hatırlatmalardan sonra demoların göz boyamasına ve her demodan sonra büyük yaygaralar koparan influencerlara kanmamak konusunda maksat hasıl olduysa biz gerçek verilere geçelim. “Devasa çok görevli dil anlama” testi (MMLU), dil modellerinin kapasitelerini ölçmek için kullanılan ve yaygın kabul gören kıyaslardan biri. Test, 57 akademik konuyu içeren 16 bini aşkın çoktan seçmeli sorudan oluşuyor. GPT 3’ün MMLU sonucu yüzde 43.9’du. GPT-4’ün ilk sürümünün MMLU sonucu yüzde 86.4 idi. GPT-4O’nun MMLU sonucu ise OpenAI’ın kendi yayımladığı verilere göre yüzde 88.7². Diğer test ve kıyasların çoğunda da GPT-4’ün ilk sürümüne göre büyük bir sıçramaya işaret etmiyor. Sosyal medyada çokça karşılaşabileceğiniz ve kendiniz de deneyebileceğiniz örneklerden^3,4 GPT-4O’nun -önceki sürümleri ile de büyük bir tutarlılık içinde- öz güvenli bir şekilde saçmalamaya devam ettiğini de söyleyebiliyoruz.

GPT-4O öncellerinden az da olsa daha ileri bir model. Ancak aradaki fark koparılan yaygaraya değecek denli bir fark değil. Öncellerine kıyasla en önemli avantajı verimlilik ve hızındaki artış. Ancak bu artış aynı zamanda GPT-4O’nun öncellerinin hatalarını daha hızlı ve daha verimli bir şekilde yineleyeceği anlamına da geliyor.

[0] https://bit.ly/44T6aIs

[1] https://bit.ly/4dXJevR

[2] https://bit.ly/4bCKdzk

[3] https://bit.ly/4aktujr

[4] https://bit.ly/3yl8NGx