脳の信号を読み取り「耳で聞いて理解可能な会話音声」に変換するシステムが誕生

コロンビア大学でニューロエンジニアリングについて研究するニマ・メスガラニ准教授が、脳の信号を「耳で聞いて理解可能な会話音声」に変換するシステムを作成しました。このシステムを用いれば口に出さなくても脳の信号を読み取るだけで、何を考え話そうとしているかが理解できるようになります。

Towards reconstructing intelligible speech from the human auditory cortex | Scientific Reports
https://www.nature.com/articles/s41598-018-37359-z

Columbia Engineers Translate Brain Signals Directly into Speech | Zuckerman Institute
https://zuckermaninstitute.columbia.edu/columbia-engineers-translate-brain-signals-directly-speech

メスガラニ准教授がコンピューターを用いて脳波を直接理解可能な会話音声に変換するシステムを開発しました。このシステムは、これまでに前例のないレベルで脳波から人の話し言葉を生成することが可能です。システムは音声合成器と人工知能を活用したものとなっており、コンピューターが脳と直接通信するための新しい方法につながる技術として期待が集まっています。

メスガラニ准教授のシステムは、筋萎縮性側索硬化症(ALS)患者や脳卒中から回復した人など、脳は機能しているものの上手く話すことができない人が外界とのコミュニケーション能力を取り戻すための大きな助けとなる可能性があります。なお、メスガラニ准教授の研究結果は科学誌のScientific Reportsで公開されています。

脳波を直接理解可能な会話音声に変換するための研究でリーダーを務めたメスガラニ准教授は、「我々の声は、周囲の友人や家族および世界中の人々とつながるための役に立つものです。よって、怪我や病気で自分の声が出せなくなってしまうということは、とても悲しいことです。しかし今回の研究により、我々はその力(声を出すということ)を取り戻すための方法を見つけたということになります。正しい技術を使えば、1度声が出せなくなってしまった人であっても、再び聞き手に理解してもらうことが可能な会話が行えるようになるということを示すことができました」と、研究の意義について語っています。

過去数十年にわたる研究から、人間が言葉を発する際、もしくは何か話すことをイメージする時でさえ、人間の脳には明らかな活動パターンが現れることが明らかになっています。また、反対に誰かの話を聞く時、もしくは聞くことを想像する時にも、脳でははっきりと認識可能な信号パターンが現れます。これらのパターンを記録し、その内容を解読するという研究はこれまでにも行われてきました。

メスガラニ准教授も同じように脳の信号から話そうとしていた内容を解読するという研究を行ってきた人物で、同分野における初期の研究では脳の一次聴覚野から記録した信号を分析して会話内容を再構成しようとするコンピューターモデルの作成を行っています。しかし、このアプローチでは理解しやすい会話音声を生成することが困難であったため、メスガラニ准教授ら研究チームは別の手法に挑戦することとなります。

以下の画像をクリックすると、メスガラニ准教授らが開発したシステムによる、「脳の活動パターンを分析して生成した音声」が再生できます。少し聞き取りづらいものの、英語で0から9までの数字を読み上げていることがわかります。
https://zuckermaninstitute.columbia.edu/sites/default/files/m5_dnn_vocoder.mp3

続きはソースで

https://gigazine.net/news/20190130-translate-brain-signals-speech/