Sarsıcı Araştırma: Bilimsel Makalelerin Büyük Bölümünün Yapay Zeka Tarafından Yazıldığı Ortaya Çıktı

Tübingen Üniversitesi araştırmacıları, biyomedikal makale özetlerinin yüzde 40’a kadarının YZ ile yazıldığını tespit etti.

Yapay zeka sohbet robotlarının, sıradan insan yazarlar gibi belirli kelimeleri aşırı kullanma eğiliminde olduğu biliniyor. Şimdi bilim insanları, tam da bu eğilimden yola çıkarak meslektaşlarının gizlice YZ’den yardım alıp almadığını ortaya çıkarmaya başladı.

The New York Times’ın haberine göre, araştırmacılar, sık kullanılan bu kelimelere dayalı bir analiz sonucu, halihazırda yüz binlerce akademik makalenin yapay zeka yardımıyla yazılmış olabileceğini tahmin ediyor.

Almanya’daki Tübingen Üniversitesi’nden araştırmacıların Science Advances dergisinde yayımladığı yeni bir çalışmada, büyük dil modelleri (LLM) tarafından sıklıkla kullanılan yaklaşık 454 kelime tespit edildi. Bu kelimeler arasında “garnered” (elde edilen), “encompassing” (kapsayan) ve “burgeoning” (artan/yükselen) gibi ifadeler yer alıyor. Ekip, söz konusu ifadelerin analizi sonucunda biyomedikal makale özetlerinin yüzde 13,5 ila 40’ının tamamen ya da kısmen yapay zeka ile yazıldığını belirledi.

Yalnızca PubMed akademik veri tabanında yılda yaklaşık 1,5 milyon makale indekslendiği göz önünde bulundurulduğunda, bu da en az 200.000 makalenin büyük dil modelleriyle yazılmış olabileceği anlamına geliyor. NYT, bazı metinlerin sonradan düzenlenmiş olabileceğini de hesaba katarak bu sayının aslında daha da yüksek olabileceğini vurguluyor.

Bazı akademik yazarlar yapay zeka kullanımını gizlemeye çalışırken, bazıları ise bunu saklama gereği bile duymuyor. Örneğin, Arizona State Üniversitesi’nden bilgisayar bilimci Subbarao Kambhampati’nin X (eski adıyla Twitter) platformunda paylaştığı örneklerden birinde, düşük kaliteli bir radyoloji dergisindeki yazarlar, makalenin YZ tarafından yazıldığını açıkça belirten bir cümleyi olduğu gibi bırakmıştı. Makalede yer alan alıntıda şu ifadeler yer aldı:

“Üzgünüm ancak ben gerçek zamanlı bilgilere veya hastaya özel verilere erişemem çünkü ben bir yapay zeka dil modeliyim.”

Fakat tüm hatalar bu kadar bariz değil. Örneğin, ChatGPT kullanıcılarının yakından tanıdığı “regenerate response” (yanıtı yeniden oluştur) ifadesi bazı saygın akademik dergilerde yer alabiliyor ve bu, deneyimsiz bir okuyucunun gözünden kolayca kaçabiliyor. Retraction Watch adlı blog, 2023 yılında yaptığı bir araştırmada bu tür örnekleri ortaya çıkarmıştı.

Aynı blog, bir başka vakada ise tamamen uydurma kaynaklarla dolu bir kırkayak araştırma makalesinin önce bir ön baskı sunucusundan kaldırıldığını, ardından aynı haliyle farklı bir akademik veri tabanında yeniden yayımlandığını belgeledi.

Ayrıca, içeriği anlamdan yoksun ifadelerle dolu ve içinde komik derecede büyük cinsel organlara sahip bir sıçan görseli bulunan bir makalenin yayımlanmasının ardından, ilgili derginin bu çalışmayı geri çekmek zorunda kaldığı biliniyor.

Durumun karmaşıklığını artıran bir diğer gelişme ise, akademisyenlerin YZ kullanımını gizlemek için yazım biçimlerini değiştirmeye başlaması. Kambhampati, NYT’ye yaptığı açıklamada, bazı araştırmacıların çalışmalarının YZ ürünü sanılmaması için "delve" gibi LLM’ler tarafından sıkça kullanılan kelimeleri bilinçli olarak metinlerinden çıkardığını belirtti.

Tübingenli araştırmacılar, Science Advances makalesinde tüm bu yapay zeka kullanımının doğrulanması halinde, biyomedikal araştırma yazımında daha önce eşi benzeri görülmemiş bir etki yaratabileceğini ileri sürüyor. Bu etkinin, COVID-19 pandemisi gibi büyük küresel olayların etkisini bile aşabileceği öne sürülüyor.

Makalenin ortak yazarlarından Dmitry Kobak, konunun düşündürücü olduğunu belirterek, NYT’ye şunları söyledi:

"Bir makalenin özetini yazmak gibi önemli bir konuda, insanların bunu yapay zekaya bırakacağını düşünmezdim."

‍

‍

‍

Kaynak: https://futurism.com/scientific-papers-ai-writing-generated