脳情報解読技術：脳で想像したものと「同じ意味」の画像を表示できる技術

概要

「脳情報解読技術」とは、ヒトが画像を脳内で想像することで、同様の意味の画像を画面に表示できる技術。ヒトが画像を見ながら別の画像を想像した場合の脳神経活動を明らかにし、想像した画像の意味内容を推定できることを示した。想像することで画像を検索・生成する新しい情報通信技術や、重度麻痺により意思伝達が困難な人が、視覚的想像に基づいて画像を提示して意思伝達を行う新しいコミュニケーションツールへの応用が期待されている。

image (1)

なぜできるのか？

Wikipediaの情報を活用した言語モデル

言語モデルを用いて、頭蓋内脳波からヒトが見ている画像の意味内容を推定する「脳情報解読技術」を開発。この技術は言語モデルをWikipediaにある大量の文章から学習し、学習した言語モデルの意味空間内で脳情報解読を行うものである。

頭蓋内脳波を解析

脳情報解読の精度を評価するために、複数大学の協力の元てんかんなどの治療目的で視覚野周辺に頭蓋内電極を留置された17人の被験者が動画を視聴した際の頭蓋内脳波を計測。実験に用いた60分の動画には、風景、動物、文字、ヒトといった様々な意味内容が含まれている。計測した頭蓋内脳波を解析したところ、被験者が視聴している動画の意味内容が頭蓋内脳波から約70%の精度で推定できることが明らかになった。

「想像」から画像を表示するシステム

同技術を用いて、ヒトが想像することによって類似したカテゴリの画像を表示するシステムを開発した。頭蓋内脳波を計測されている４人の被験者に、脳波から推定された画像を250ms（0.25秒）ごとに画面に提示。次に、被験者には、ランダムな順番で3つの指示（風景・文字・人の顔）を与え、それぞれが意味する画像を想像して、同じ意味の画像を画面に提示するように指示した。すると、すべての被験者について、指示された意味の画像が偶然で起こる場合よりも高い確率（それぞれについて55～74%の精度）で表示された。

脳活動の認知・想像実験

被験者が画像を見ている時と他の画像を想像しながら見ている時の頭蓋内脳波を13人の被験者から計測。結果、被験者がある意味の画像を見ながら別の意味の画像を想像した時、視覚野の脳活動が想像した意味の画像を実際に見た場合の脳活動に近づくことを発見した。これらのことから、画像制御実験中には、被験者は画像を想像することで、視覚野の脳活動を変化させて画面に表示する画像を変えていた（制御していた）ことが示唆された。