Yapay Zeka Sohbet Robotları Şiir Yoluyla Suça Teşvik Edilebilir

Yapay zeka sohbet robotlarının güvenlik duvarlarını aşmada “lütfen” gibi nezaket ifadeleri yerine talepleri şiirsel bir dille kurgulamanın etkili bir yöntem olduğu ortaya çıktı.

Roma Sapienza Üniversitesi ve yapay zeka şirketi DexAI araştırmacılarının oluşturduğu, İtalya merkezli yapay zeka değerlendirme ve güvenlik girişimi Icaro Lab tarafından yürütülen yeni bir çalışma söz konusu gerçeği gözler önüne seriyor. Bulgular, istekleri şiir şeklinde kurgulamanın, çocuk cinsel istismarı materyali, nefret söylemi ve kimyasal ile nükleer silah yapım talimatları gibi açık veya zararlı içeriklerin üretimini engellemek için tasarlanmış güvenlik özelliklerini (jailbreaking olarak bilinen bir süreç) atlatabileceğini gösteriyor.

Çalışmaları henüz hakem değerlendirmesinden geçmemiş olan araştırmacılar, bulgularının “yalnızca üslup çeşitliliğinin” sohbet robotu güvenlik özelliklerini aşabileceğini gösterdiğini belirterek, şirketlerin acilen ele alması gereken bir dizi potansiyel güvenlik açığına işaret etti.

Çalışma kapsamında uzmanlar, genellikle yasaklanan bilgilere yönelik talepler içeren İtalyanca ve İngilizce 20 şiiri elle hazırladı. Hazırlanan metinler; Google, OpenAI, Meta, xAI ve Anthropic gibi şirketlerin 25 sohbet robotuna karşı test edildi. Ortalama olarak yapay zeka modelleri, şiirsel istemlerin yüzde 62'sine, takip etmek üzere eğitildikleri kurallara aykırı düşen yasaklı içeriklerle yanıt verdi. Araştırmacılar ayrıca elle hazırlanan istemleri kullanarak, 1.000'den fazla düzyazı isteminden oluşan bir kıyaslama veritabanından kendi şiirsel komutlarını üreten bir sohbet robotunu eğitti. Yöntem yüzde 43 oranında başarılı sonuçlar verdi ve hala “şiirsel olmayan temel seviyelerden önemli ölçüde daha iyi performans” sergiledi.

Tam şiirler çalışmanın yazarları tarafından açıklanmadı. Şiirlerin hangi tarzda olduğu gibi detaylar da paylaşılmadı. Çalışmaya dahil olan araştırmacılardan Matteo Prandi, The Verge'e verdiği demeçte bilginin kamuya açıklanamayacak kadar tehlikeli olduğunu belirtti ve şiirleri yazmanın “neredeyse herkesin yapabileceği” bir şey olduğunu ekledi.

‍

‍

‍

‍

Kaynak: https://www.theverge.com/report/838167/ai-chatbots-can-be-wooed-into-crimes-with-poetry