Stability AI、手書きのラフスケッチを画像変換する「Stable Doodle」をリリース

Stability AIは米国時間7月13日、ラフスケッチを画像に変換する新機能・sketch-to-imageのツール「Stable Doodle」をリリースした。2023年3月に買収したInit ML社の画像処理ツール「Clipdrop」の新機能として展開する。

現在、ClipdropのWebサイトの他、iOS/Androidのアプリから利用可能。登録不要・無料で使えるが、1日の利用制限時間がある。制限を超えて利用したい場合は、無料アカウントを登録すれば、引き続き利用できる。

SD_1 プロンプト: Cat with a jeans jacket, ‘Digital Art’ Style

SD_2 プロンプト: Castle on a hill, winter, ‘Anime’ Style

SD_3 プロンプト: Cute owl, ‘Origami’ Style

利用方法はシンプル。「Stable Doodle」のキャンバスに絵を描き、プロンプトを入力して生成（Generate）すると、3パターンの画像が表示される。プロンプトは英語入力だが、簡単なイメージを入力すればよい。かなりラフなスケッチでもイメージに沿った画像生成ができる点が特徴だ。

SD_4

SD_5

画像生成スタイルの選択も可能。”No style”がデフォルトだが、”Photographic（写真風）”や”3D Model（3Dモデル）”、”Origami（折り紙）”など、現時点で14種類を提供している。一度生成した画像をベースに、スタイルだけ変えることもできる。

SD_6

SD_7

「Stable Doodle」は、Stability AIの「Stable Diffusion XL」の画像生成技術と、AIの画像生成を精密に制御する「T2I-Adapter」を組み合わせたものだ。

Tencent ARC が開発したT2I-Adapterは、既存の大規模な事前学習拡散モデルに学習可能なパラメーターを追加することで、スケッチ、セグメンテーションマップなどの入力条件の追加が可能。事前学習したText-to-imageモデル（SDXL）に、ラフスケッチのような追加ガイダンスを条件付けることで、スケッチのアウトラインを理解し、モデルが定義したアウトラインとプロンプトをもとに画像を生成するという。

SD_8