Stability AI、画像を認識し日本語で説明できるAI「Japanese InstructBLIP Alpha」をリリース

画像生成AI「Stable Diffusion」を開発するStability AI社は2023年8月17日、同社初となる日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開した。

「Japanese InstructBLIP Alpha」は、画像を元にしたテキストを生成できるモデル。入力した画像に文字で説明を生成できる画像キャプション機能に加え、画像に質問を入力することで回答できる機能もあり、画像を用いた検索エンジンや情景の説明、質疑応答、視覚障がい者に画像について文字で説明するなどの活用が期待される。

fujisan

sakura

開発にあたっては、8月10日公開の日本語向け指示応答言語モデル「Japanese Instruct Alpha 7B」を拡張し、構造は高いパフォーマンスが報告されている画像言語モデル「InstructBLIP」のモデル構造を用いている。大規模な英語のデータセットで事前学習された「InstructBLIP」でモデルの一部を初期化し、限られた日本語データセットをチューニングし、高性能なモデルを構築している。

vending

kimono

本モデルは、「Hugging Face Transformers」に準拠する形で「Hugging Face Hub」で公開中。同社では、今後も日本向けの生成基盤モデルの研究・構築・公開を行うことで、英語圏と比べて限られている日本語のデータセットを拡張し、日本のAIコミュニティのさらなる活性化に貢献していくとしている。