オノマトペで質感を表現するAI：擬音語・擬態語の感性を理解する深層学習モデル

概要

「オノマトペで質感を表現する人工知能」とは、視覚的に捉えたモノの質感を「つるつる」「さらさら」などといったオノマトペ（擬音語・擬態語）によって表現する人工知能（AI）。一般的にAIは曖昧な学習は苦手とされているが、一音一音に共通の印象を与える特性を持つ“オノマトペ”を使って質感を学習させることで、印象の定量化と、多様で微細な形容表現の包含を可能にし、質感のような曖昧な学習モデルの作成に成功した。人間のように質感を表現できるコンピュータが実現すれば、将来的には人間とロボットの共存において、ロボットが人間に質感を教えるといった可能性が期待されている。

オノマトペで質感を表現する人工知能

なぜできるのか？

オノマトペの「音象徴性」への着目

AIは質感のような曖昧な学習は苦手なため、学習の手法には工夫が必要だった。そこで研究グループは、オノマトペには音韻の一音一音に印象が結びつき、共通の印象を与える「音象徴性」（言語音が触覚や視覚など何らかの感覚的印象と結びつく現象）が強く現れる傾向がある点に着目し、オノマトペによって共通の印象を定量化し、微細な表現を持つオノマトペでモノの質感を表現する人工知能を開発した。

画像とオノマトペを正解データとして学習

データの集積においては、繊維、ガラス、金属、プラスチック、水、葉、革、紙、石、木の10のカテゴリーに分類される1946枚の画像と、100人の被験者が表現したこれらに対応する3万138語のオノマトペを用意し、オノマトペによる正解データとしてAIに学習させた。この深層学習モデルで画像を入力すると出力される音象徴単語は、約80％の正解率を達成できたという。

ニューラルネットワークを用いて「モノの質感」を認識

技術の開発にあたっては、人の神経細胞をモデルにした「ニューラルネットワーク」に着目。中でも、多層な構造を持ち、画像の特徴量を学習の過程で自動で抽出できることから一般物体認識の分野で注目されている「深層畳み込みニューラルネットワーク」（Deep Convolutional Neural Network: DCNN）を用いた。