ChatGPT Kısa Hikâyeler Yazmada İnsanları Geride Bıraktı

Villanova Üniversitesi bilim insanlarının öncülüğünde yürütülen yeni bir araştırma, yapay zekâ tarafından oluşturulan kısa hikâyelerin okuyucular tarafından insanların yazdığı metinlere kıyasla daha yüksek değerlendirildiğini ortaya koydu. Deney sırasında ChatGPT metinleri ilgi çekicilik ve okuyucuyu kendine çekme becerisi açısından daha yüksek sonuçlar gösterdi. Bu da modern üretken yapay zekâ teknolojilerinin metin oluşturma alanındaki yeteneklerinin ne denli geliştiğini bir kez daha doğruluyor. Konuyla ilgili Ixbt.com haber veriyor.

ixbt.com'un aktardığına göre, ilk deneyde 18 ila 81 yaşları arasında 1682 katılımcı yer aldı. Katılımcılara tanınmış edebiyat dergileri ve derlemelerden alınan üç insan hikâyesi ile bunlara karşılık gelen, yapay zekâ yardımıyla yazılmış üç metin gösterildi. Okuyuculara metnin yazarının kim olduğu hakkında bilgi verildi, ancak bu bilgi bazı durumlarda kasıtlı olarak yanlış aktarıldı. Sonuç olarak, sinir ağının oluşturduğu hikâyeler ortalama olarak kalite ve ilgi çekicilik açısından insan tarafından yazılanlardan daha yüksek puan aldı.

Yazarlık Aldatmacası ve Psikolojik Faktörler

Araştırma, metni değerlendirirken yazarın kim olduğuna ilişkin varsayımın belirleyici bir rol oynadığını gösterdi. Katılımcılar hangi metnin insan tarafından yazıldığını düşündüyse, gerçek kökeninden bağımsız olarak o metne daha yüksek puan verdi. Bu nedenle en yüksek puanı, yanlışlıkla insan eseri olduğu düşünülen ChatGPT hikâyeleri aldı. Bu durum, insan psikolojisinde yapay zekâ ürünlerine yönelik belirli bir stereotip bulunduğunu gösteriyor.

Bir sonraki aşamada bilim insanları, okuyucuların yazar hakkında hiçbir ipucu olmadan metnin kaynağını kendi başlarına belirleyip belirleyemeyeceklerini test etti. Ek deneylerden birine 424 katılımcı katıldı ve doğru tahmin oranı yalnızca %39,93 oldu. Bu oran, rastgele tahmin düzeyinden bile düşük çıktı.

Yapay Zekâ Metinlerini Ayırt Etmek Giderek Zorlaşıyor

İkinci benzer deneyde ise 481 kişi test edildi ve doğru tahmin oranı %51,97 oldu. Uzmanlara göre bu oran da istatistiksel açıdan rastgele tahminden farklı değil. Bu, ortalama bir okuyucu için sinir ağı tarafından yazılan bir metinle insan kaleminden çıkan bir metni birbirinden ayırt etmenin neredeyse imkânsız olduğunu gösteriyor.

Araştırmanın yazarları, bu deneyin edebî beceri, özgünlük veya uzun eserler yazma yeteneğini karşılaştırmayı amaçlamadığını özellikle belirtti. Deney yalnızca iki noktayı ortaya koydu: okuyucuların metin kalitesine verdiği değerlendirme ve metnin kaynağını belirlemenin ne kadar zor olduğu. Elde edilen sonuçlar, özel doğrulama yöntemleri olmadan insanların üretken yapay zekâ tarafından yazılan metinleri iyi ayırt edemediğini gösteriyor.