Bilim İnsanları Uyardı: ChatGPT ve Diğer Büyük Dil Modelleri, İnsan Metinlerine Karşı Kendi Ürettiklerini Kayırıyor

Yeni bir araştırma, ChatGPT’yi de içeren önde gelen büyük dil modellerinin, insan ve makine tarafından üretilmiş içerikler arasında seçim yapmaları istendiğinde, endişe verici şekilde diğer YZ’lere karşı açık bir yanlılık sergilediğini ortaya koydu. Çalışmanın yazarları, Proceedings of the National Academy of Sciences dergisinde yayımlanan bu eğilimi “YZ’nin kendi çıktısını kayırması” olarak adlandırıyor ve eğer modellerin gelecekte önemli kararlar verme ya da tavsiyede bulunma pozisyonuna gelmeleri halinde, insanlara karşı bir sosyal sınıf ayrımcılığı yaratabileceklerini öne sürüyor.

Bugün işverenlerin iş başvurularını otomatik olarak taramak için YZ araçlarını kullandığı örneklerde olduğu gibi, söz konusu durumun tohumları şimdiden atılmış durumda. Araştırma, YZ tarafından hazırlanmış özgeçmişlerin, insan eliyle yazılanlara kıyasla öne geçtiğini gösteriyor. Çalışmanın yazarlarından Charles Üniversitesi bilgisayar bilimci Jan Kulveit, çalışmayı açıkladığı X (eski adıyla Twitter) gönderisinde şunları yazdı: “YZ ajanlarının doldurduğu bir ekonomide insan olmak berbat olurdu.”

Araştırmada OpenAI’nin GPT-4, GPT-3.5 ve Meta’nın Llama 3.1-70b modelleri test edildi. Ekip, modellere bir ürün, bilimsel makale ya da film seçmeleri için hem insan tarafından yazılmış hem de YZ tarafından üretilmiş açıklamalar sundu. Sonuçlar netti: Modeller düzenli olarak YZ’nin ürettiği açıklamaları tercih etti. En dikkat çekici noktalardan biri, YZ-YZ yanlılığının ürün seçimlerinde en güçlü şekilde ortaya çıkmasıydı. Özellikle GPT-4, GPT-3.5 ve Llama 3.1 arasında en yüksek önyargıyı sergileyen model oldu. Bu bulgu, GPT-5 öncesinde pazarın en popüler sohbet botunu desteklemiş olan GPT-4 için oldukça önemliydi.

Araştırmacılar aynı testleri 13 insan araştırma asistanına da uyguladı. Sonuçta insanların da filmler ve bilimsel makalelerde hafif düzeyde YZ metinlerini tercih ettiği ortaya çıktı ama bu tercih oldukça sınırlıydı. Kulveit, “Güçlü önyargı yalnızca YZ’lere özgü.” diyerek farkı vurguladı.

Araştırma, internetin YZ içerikleriyle dolup taşmasıyla birlikte, modellerin kendi ürettikleri içerikleri yeniden tüketmeye başladığını belirtiyor. Bazı çalışmalar bunun modellerin gelişimini geriye götürdüğünü, kendi çıktısına karşı gösterilen aşırı eğilimin de bunun sebeplerinden biri olabileceğini ileri sürüyor.

Asıl endişe verici nokta ise insanların gelecekte maruz kalabileceği ayrımcılık. Kulveit, “Benzer bir etkinin iş başvuruları, okul ödevleri, hibeler ve daha birçok alanda da görülebileceğini öngörüyoruz. Eğer bir LLM tabanlı ajan, sizin sunumunuzla bir LLM tarafından yazılmış sunumu değerlendirecekse, sistematik şekilde YZ’yi tercih edebilir.” dedi.

Araştırmacılar, şirketlerin ve kurumların yüksek hacimli başvurular veya önerilerle uğraşırken YZ’leri karar destek aracı olarak kullanmasının kaçınılmaz olduğunu öngörüyor. Bunun sonucu olarak YZ’nin YZ’ye öncelik vermesi, insanlara karşı geniş çaplı bir ayrımcılığa yol açabilir. Ekip, bunun aynı zamanda bir tür “geçiş ücreti” yaratacağını, yani ileri düzey LLM erişimine sahip olanlarla olmayanlar arasındaki dijital uçurumu daha da derinleştireceğini belirtiyor.

Kulveit, “Genel olarak ayrımcılığı ve önyargıyı test etmek karmaşık ve tartışmalı bir meseledir.” diyerek uyardı. Ardından şu değerlendirmeyi yaptı: “Sunum yapanın kimliğinin kararları etkilememesi gerektiğini varsayarsak, bu sonuçlar LLM’lerin insanlara karşı potansiyel ayrımcılığına kanıt teşkil ediyor.”

Son olarak insanlara yönelik tavsiyesi dikkat çekiciydi: “Eğer YZ tarafından değerlendirildiğinizden şüpheleniyorsanız, sunumunuzu LLM’ler beğenene kadar onlara uyarlayın, ancak insan kalitesinden ödün vermemeye çalışın.”

‍

‍

‍

‍

Kaynak: https://futurism.com/chatgpt-deep-anti-human-bias