Japonya’da bir bilim insanı, beyin taramaları ve yapay zekâ kullanarak bir kişinin zihnindeki görüntüleri doğru ve açıklayıcı cümlelere dönüştüren bir teknik geliştirdi.
Daha önce düşünce düzeyinde kelimelerin metne çevrilmesi üzerine çalışmalar yapılmış olsa da, karmaşık zihinsel imgelerin dile dönüştürülmesi oldukça zorlayıcıydı. Bu açıklama, çalışmanın yazarı Tomoyasu Horikawa tarafından, 5 Kasım’da Science Advances dergisinde yayımlanan makalede yapıldı.
Horikawa’nın geliştirdiği yeni yöntem, “zihin altyazısı” (mind-captioning) adıyla anılıyor. Bu yöntem, beyindeki görsel bilgileri — nesneler, mekânlar, eylemler, olaylar ve bunlar arasındaki ilişkiler — tanımlayan betimleyici metinler üretmek için yapay zekâdan yararlanıyor.
Tokyo yakınlarındaki telekomünikasyon şirketi NTT’nin İletişim Bilimleri Laboratuvarları’nda araştırmacı olarak görev yapan Horikawa, araştırmasına 22 ila 37 yaşları arasındaki 4 erkek ve 2 kadın Japon katılımcı ile başladı. Katılımcıların beyin aktiviteleri, 2180 sessiz video klip izlerken tarandı. Bu videolar, nesneler, sahneler ve hareketler gibi farklı içeriklere sahipti.
Büyük dil modelleri (LLM), bu videolara ait altyazıları sayısal dizilere dönüştürdü. Ardından Horikawa, daha basit yapay zekâ modelleri olan “çözücüler”i (decoders), video izlerken oluşan beyin aktivitelerini bu sayısal dizilerle eşleştirecek şekilde eğitti.
Sonraki adımda, bu çözücüler, katılımcıların daha önce hiç görmediği videoları izlerken ya da hatırlarken oluşan beyin aktivitelerini yorumlamak için kullanıldı. Ardından başka bir algoritma, bu beyin sinyallerine en uygun kelime dizilerini adım adım oluşturdu.
Yapay zekâ veriyle beslendikçe, bu açıklayıcı metin oluşturma aracı, katılımcıların izledikleri videoları betimleme konusunda giderek daha başarılı hale geldi.
Yapay zekâ modeli, katılımcılar İngilizce konuşmuyor olmasına rağmen metinleri İngilizce olarak üretti. Horikawa, bu yöntemin beynin dil bölgesi (language network) kullanılmadan da çalışabildiğini, yani dil merkezinde hasar olan bireylerde de işe yarayabileceğini belirtti.
Bu teknoloji, örneğin afazi (konuşma bozukluğu) olan veya ALS (Amyotrofik Lateral Skleroz) gibi konuşmayı etkileyen hastalıkları olan bireylerde iletişimi kolaylaştırmak için kullanılabilir.