東京大学大学院薬学系研究科の研究グループは、ネズミの脳とAIを接続し、ネズミの脳で絵を描くことに成功したと発表した。脳活動と人工知能を融合した描画システムは前例がなく、今回が世界初の実施例なのだという。

研究グループは、ネズミの大脳皮質から脳波の一種である局所場電位を記録し、これをもとに人工知能（AI）にイラストを描かせるシステムを構築。絵はその時の脳の状態に応じて、途切れなく次々と更新されていく。

今回はノイズから画像を作りだすことができる生成AIのひとつである潜在拡散モデルという人工知能を活用。この研究では、Stability AI社の画像生成AI「Stable Diffusion」が使用されている。描かれる画像のジャンルは使用するモデルを変えることで自由に設定することができるとのこと。

「Stable Diffusion」のような文章から画像を生成する拡散モデルでは、生成の元となるノイズと、指示文章の二つの入力を受けとり、文章に従ってノイズから画像を作り出す。一方で、指示文章をあえて入力しないことで、入力ノイズのみに依存した画像も生成することが可能だ。

このシステムでは、文章の入力ではなく、画像の元となるノイズの代わりにラットの大脳皮質から記録した局所場電位を入力している。局所場電位は、ニューロンが発する信号を記録したもので、波の形をした時系列データだ。局所場電位の次元を「Stable Diffusion」のデータ形式に合うように圧縮し、「Stable Diffusion」に入力することができるようにされている。

局所場電位は１秒の区間を1/30秒ずつずらして切り取り、その時間窓に応じて1/30秒ごとに画像が生成される。局所場電位は時系列データのため、1/30秒前の脳波と現在の脳波は類似している。これにより画像間の移行がスムーズになり、脳波の変化に応じて徐々に変化する画像を生成することができる 。

「Stable Diffusion」はノイズのほかに指示文章を入力として受けとる。この文章の内容にネズミの内部状態を反映させることができれば、ネズミが興味を持っているときには明るい雰囲気の画像、眠たいときには静かな雰囲気の画像、といったようにネズミの「気分」に応じて画像を生成できるようになるとしている。

今回開発された手法は、原理的に、神経活動だけでなく、心臓や腸蠕動などの多くのバイオ信号、風や波などの自然現象といった、あらゆる時系列信号に応用することが可能。この技術は、芸術の創作手法における新しいジャンルを拓くことが期待されている。

プレスリリースはこちら

プレスリリースはこちら（PDF）

Top Image : © 東京大学 大学院 薬学系研究科