福岡工業大学システムマネジメント学科の前原研究室は、研究開発中の「AIが絵本を自動生成するシステム」が画像関連学会連合会 第8回秋季大会「優秀ポスター賞」と、日本バーチャルリアリティー学会 第25回サイバースペースと仮想都市研究会シンポジウム「優秀発表賞」の2つの賞を受賞したことを発表した。

本システムは、文章で入力したキーワードから連続性のあるストーリーと挿絵をAIが自動生成し、それらを異なる構造・教師データから作られた別のAIが取捨選択するというもの。画像生成にはOpenAI社の「DALL-E」、文章の生成には日本語に特化したGPT言語モデル「japanese-gpt-1b」、画像の選択にはトリ―ア大学が開発した「VL-T5」、文章の選択にはユーザーローカル社のテキストマイニングツールがそれぞれ使用されている。

本システムでは、入力されたキーワードから後に続く文章を起承転結の4つのステップで連続生成し、各ステップで文章に合う挿絵を生成。AI自体は絵本全体の構成や情感を理解できないが、起承転結それぞれの冒頭に接続詞が設定されることで、自動生成される文章は連続性を持つことが可能になった。また、挿絵同士が違和感なくつながる条件も明らかにしており、絵本として鑑賞しやすい挿絵の生成が可能になった。

本システムではAIによる絵本制作の簡単なデモが可能。デモでは、約10分でオリジナル絵本の一編が完成する。同研究室では、ユーザーとAIが対話的にストーリーを組み上げていく従来の先行研究と異なり、ユーザーの負荷を最小限とする自動生成を目指すとしている。

プレスリリースはこちら

福岡工業大学 公式サイト

Top Image : © 福岡工業 大学