Yapay Zekâ ve İnsan Düşüncesi: Dil Modelleri Okuma Sürecini Tam Olarak Açıklayamıyor

New York Üniversitesi ve Massachusetts Amherst Üniversitesi bilim insanlarının yürüttüğü son araştırmalar, yapay zekâ teknolojileri ile insan beyninin metni algılama mekanizmaları arasında önemli farklar bulunduğunu gösterdi. Proceedings of the National Academy of Sciences (PNAS) dergisinde yayımlanan verilere göre, modern sinir ağlarında kullanılan bir sonraki sözcüğü veya tokenı tahmin etme ölçütünün, insan beyninin metindeki hataları düzeltme sürecini tam olarak yansıtamayacağı ortaya kondu. Bu konuda Ixbt.com haber veriyor.

Bilindiği üzere yapay zekâ sistemleri, metinleri analiz ederken büyük ölçüde olasılık teorisine ve “sürprizlilik” (surprisal) adı verilen matematiksel ölçüme dayanır. Bu ölçüt, algoritmaların önceki bağlama göre belirli bir sözcüğün ne kadar beklenmedik olduğunu değerlendirmesini sağlar. Ancak uzmanlar, bu yaklaşımın insanın okuma sürecindeki karmaşık bilişsel eylemleri tam anlamıyla kapsayamadığını kanıtladı.

Deney süreci ve temel bulgular

Araştırma kapsamında bilim insanları, 368 yetişkin okuyucunun göz hareketlerini özel eye-tracking (göz izleme) teknolojisiyle inceledi. Elde edilen sonuçlar, 409 farklı dil modelinin sunduğu sözcük olasılığı tahminleriyle karşılaştırıldı. Deneye katılanlara, sözdizimsel açıdan belirsiz olan ve okuma sırasında anlamı beklenmedik biçimde değişen özel cümleler sunuldu.

Elde edilen sonuçlar, sinir ağlarının istatistiksel tahminlerinin yalnızca metnin ilk akıcı okunması ve bilinen kavramların hızlı biçimde anlaşılması sürecini iyi açıkladığını gösterdi. Metnin ilk okunuşu sırasında yaşanan yavaşlamalar, modellerin sürprizlilik ölçütüyle örtüştü. Ancak karmaşık cümlelerle karşılaşıldığında insanın gerçekleştirdiği yeniden analiz ve gözleri geriye götürme süreçlerini tahmin etmede bu ölçütün yetersiz kaldığı görüldü.

İnsan beyni ile sinir ağları arasındaki fark

Deney, insanın metin okumasının çok aşamalı bir süreç olduğunu bir kez daha doğruladı. İlk yorum bozulduğunda insan, hatasını düzeltmek için bakışını bilinçli olarak metnin önceki bölümlerine geri çevirir ve mantıksal bağlantıyı yeniden kurar. Sinir ağları ise hiyerarşik dilbilgisi ilişkilerini yeniden hesaplamadan yalnızca doğrusal olasılığı değerlendirir.

Yazarların vurguladığı üzere bu bilimsel çalışma, dil modellerinin önemini azaltmayı amaçlamıyor; aksine, bu modellerin bilişsel bilimlerdeki kullanım sınırlarını net biçimde ortaya koyuyor. Bir sonraki tokenın olasılığı, insan algısının karmaşıklığının tek eşdeğeri olarak kullanılamaz.

Gelecekte arayüzlerin anlaşılabilirliğini değerlendiren sistemler veya okuma güçlüğü yaşayan insanlara yardımcı olan programlar geliştirilirken yalnızca otoregresif olasılıklara güvenilemez. Geliştiricilerin metnin karmaşıklığını belirlemek için açık yapısal analiz mekanizmalarını ve sözdizimsel hataları tespit eden araçları da uygulamaya koyması gerekecek.