İşitme Engelliler için Yapay Zeka Destekli İşaret Dili Avatarları Geliştiren Girişim

Dünya genelinde 70 milyondan fazla işitme engelli ya da işitme zorluğu çeken kişi işaret dili kullanıyor, ancak yorumcu eksikliği ciddi boyutlarda. Silence Speaks adını taşıyan bir Britanyalı girişim, metinleri işaret diline çevirebilen yapay zeka destekli bir avatarla bu açığı kapatmayı hedefliyor.

İletişim sorunları, özellikle arka plan gürültüsünün ve karışık konuşmaların olduğu ortamlarda, işitme engelliler için son derece yıkıcı ve yalnızlaştırıcı olabiliyor. Tren istasyonları, hastaneler, okul sınıfları ve yoğun ofis ortamlarında konuşmaları takip etmek çoğu zaman imkansız hale geliyor. Koklear implant kullanan bireyler dahi cümlelerin yalnızca birkaç kelimesini anlayabiliyor ve tonlamaları ayırt etmekte zorlanıyor.

Silence Speaks, işitme engelli topluluk tarafından geliştirildi ve metinleri doğru biçimde İngiliz İşaret Dili’ne (BSL) çevirebiliyor. İngiltere'de 150.000'den fazla BSL kullanıcısı bulunuyor. Model, bölgesel ağızlar, bağlamsal dil ve duygusal tonlamaları kapsayan veri kümeleriyle eğitildi ve böylece yalnızca doğrudan çeviri yapmakla kalmayıp, niyet ve duyguları da aktarabilen bir yapay zeka avatarı oluşturuldu.

WIRED, haberlerini yayınlamadan önce firmalarla paylaşmama politikası izliyor, ancak Silence Speaks'in bu haber için editlenmiş bir versiyonuna erişim izni verdi. Firma, yazarın görselinden hareketle örnek bir avatar oluşturdu. Metinde ise herhangi bir değişiklik yapılmadı.

Erişilebilirlik Engelleri

Vodafone’da chatbotlara yönelik yapay zeka mimarisi geliştirme geçmişine sahip olan Silence Speaks CEO’su Pavan Madduru, şirketi üç yıldan biraz fazla süre önce kurdu. Fikir, işitme engelli bir mühendis arkadaşıyla vakit geçirirken doğdu. İkili birlikte seyahat ettiğinde, işaret dili desteğinin eksikliği nedeniyle arkadaşının yaşadığı zorluklara tanık olan Madduru, bu sorunu çözmeye karar verdi.

İşaret dili kullanan işitme engelli üç tam yığın yazılım geliştiricisini işe aldı ve yapay zekanın artan potansiyelinden faydalanacak bir çeviri teknolojisi üzerinde çalışmaya başladı. Projenin ilk aşamasında, işaret dilini metne çevirme fikriyle yola çıktılar. Amaç, herhangi bir işaret dilini başka bir işaret diline anında çevirebilmekti. Ancak bu beklendiği kadar kolay olmadı.

Amerika’da yaygın olarak kullanılan Amerikan İşaret Dili (ASL), İngiliz İşaret Dili’nden (BSL) oldukça farklı. Dahası, dünya genelinde 200’ün üzerinde işaret dili bulunuyor. Silence Speaks önce BSL üzerine yoğunlaştı fakat zamanla bölgesel argo ve aksanların işaret diline de yansıdığını, hatta işaretleme hızını etkilediğini fark ettiler. Örneğin Edinburgh’daki kullanıcıların, Southampton veya Birmingham’dakilere göre yüzde 50 daha hızlı işaret yaptığını belirlediler.

Bu farkındalıkla yaklaşımlarını yeniden gözden geçiren ekip, metni BSL ve ASL’ye çevirebilen bir teknoloji geliştirdi. Mevcut sistem bulut tabanlı çalışıyor ve metin girişinden işaret diline dönüştürme süreci biraz zaman alıyor. Ancak şirket, bu işlevin cihaz üzerinde gerçek zamanlı çalışmasını sağlamak için çalışıyor. Madduru, doğruluk oranı konusundaki yüksek standartları nedeniyle gerçek zamanlı sistemin hayata geçmesinin en az bir yıl alacağını ifade ediyor. Ancak böyle bir çeviri sistemi, işitme engelliler için adeta cepte taşıyabilecekleri bir yorumcu anlamına gelecek.

Gelecekte konuşma, metin ve işaret dili arasında her yönde çeviri yapabilen bir versiyon geliştirmek şirketin vizyonunda önemli yer tutuyor. Şimdilik amaç, sağlam bir altyapı kurmak, teknolojinin işe yaradığını kanıtlamak ve erişilebilirliği iyileştirme konusunda somut katkılar sunmak. Platform ayrıca işaret dili bilmeyen ya da henüz öğrenme aşamasındaki işitme engelliler için yerleşik altyazı özelliği de sunuyor.

Ulaşım Denemeleri

Silence Speaks, Londra’daki metro hatları dahil 250'den fazla istasyondan sorumlu olan Transport for London (TfL) kurumu ile birlikte büyük bir deneme sürecine giriyor. TfL, tren duyurularını görsel olarak sunarak işitme engellilerin ve işitme zorluğu çekenlerin seyahatlerini kolaylaştırmak amacıyla Silence Speaks’in yapay zeka destekli işaret dili avatarını kullanmaya hazırlanıyor. Yolcular, cep telefonlarıyla QR kodlarını tarayarak en güncel bilgilerle ilgili işaret dili videolarına ulaşabilecek.

Bir tebrik kartı şirketi de Silence Speaks teknolojisini kullanıyor. Doğum günü ve diğer özel günler için hazırlanan kartlara QR kodu yerleştiriliyor. Alıcılar, bu kodu tarayarak özel hazırlanmış işaret diliyle bir video mesajı telefonlarından izleyebiliyor.

Teknolojinin dikkat çeken yönlerinden biri, lisans sahiplerinin kendi avatar karakterlerini yaratabilmesi. Karakterler foto-gerçekçi ya da çizgi film tarzında tasarlanabiliyor. WIRED yazarı, bu haber için tek bir fotoğraf göndererek kendine ait bir avatar oluşturarak örnek videoları deneyimledi. Yapay zeka genellikle el şekilleri konusunda zorlansa da, işaretleri doğru şekilde yapabilen ellerle birlikte oluşturulan avatarın yüzü yazara biraz tuhaf görünmüş. “Çocuklarım ürkütücü buldu.” diyor ama karakterin gerçeğe yakın olduğunu, şirketlerin karakterlerini daha da rafine edeceğini düşünüyor. Hatta Örümcek Adam veya Wonder Woman gibi popüler karakterlerin işaret dili tercümanları olarak kullanılması bile mümkün.

Destek Kazanıyor

Silence Speaks, yeni bir yatırım turu öncesinde büyük ilgi görüyor. 2022 yılında İngiliz İşaret Dili’nin İngiltere yasalarında tanınmasını sağlayan yasal düzenlemeyi hayata geçiren eski Bilim, İnovasyon ve Teknoloji Bakanı Chloe Smith, şirketin yönetim kurulu başkanlığı görevini üstlendi.

Smith, WIRED’a verdiği röportajda “İşaret dili kullanan insanlar sıklıkla dışlanıyor ve bu yanlış.Uygulamamızın işitme engelli topluluklarla işiten toplulukların daha iyi iletişim kurmasına yardımcı olacağını umuyoruz.” dedi.

Erişilebilirliğin zorlayıcı olabildiği iş yerleri de, bu teknolojinin öne çıktığı başlıca kullanım alanlarından biri. Kraliyet İşitme Engelliler Enstitüsü’ne göre, işitme engelli profesyonellerin yüzde 85’i iş yerinde dışlanmış hissediyor. Aynı zamanda Birleşik Krallık’ta insan kaynakları alanındaki önde gelen meslek kuruluşu olan Chartered Institute of Personnel and Development’ın başkanlığını da yürüten Smith, Silence Speaks gibi teknolojilerin engelleri kaldırmakta ve kapsayıcılığı artırmakta büyük rol oynayacağını belirtiyor.

Eğitim sektörü de daha fazla erişilebilirlik talep eden alanların başında geliyor. İngiltere eğitim sisteminde yaklaşık 50.000 işitme engelli çocuk bulunuyor ve büyük çoğunluğu kaynakların kısıtlı olduğu devlet okullarında eğitim görüyor. Uygun destek sunulmadığında, bu çocuklar geri kalma riskiyle karşı karşıya kalıyor. Birçok okulda işaret dili yorumcusu bulunmuyor, olanlarda ise yorumcular yalnızca belirli saatlerde hizmet veriyor. Silence Speaks teknolojisi, işaret diliyle iletişim kuran öğrenciler için sınıf deneyimini kökten dönüştürebilir.

Silence Speaks, işitme engelliler ve işitme zorluğu çeken bireyler için geliştirilen tek yeni teknoloji değil. Akıllı gözlükler yaygınlaşmaya başladıkça, XRAI gibi şirketler işitme engelliler için gerçek zamanlı altyazı hizmeti sunmaya başladı. Nuance, ses yükseltici ve işitme cihazı işlevi görebilen dahili mikrofon ve hoparlörlere sahip sesli gözlükler sunuyor. Google, 2024 yılında bire bir konuşmalar sırasında gerçek zamanlı altyazı sunan artırılmış gerçeklik gözlüklerini tanıttı. Aynı yıl Apple’ın popüler AirPods Pro 2 modeli de belirli frekansları artırarak işitme cihazı işlevi görebilecek bir güncelleme aldı. Her bireyin tercihleri farklı olabilir ve bu teknolojiler bir arada var olabilir.

Silence Speaks teknoloji geliştirmeye devam ederken, şirketin tüm üyelerinin özellikle vurguladığı bir konu var: özgünlük. İşitme engelli mühendislerin, toplulukların ve dil uzmanlarının tasarım sürecine katılımı, sistemin kullanıcıya sezgisel ve gerçekçi gelmesini sağlamak açısından merkezi öneme sahip. Söz konusu yaklaşım, benzer teknolojilerde her zaman gözetilmeyen bir hassasiyet.

‍

‍

‍

Kaynak:https://www.wired.com/story/silence-speaks-deaf-ai-signing/