Pickup
2022.09.15
レポート
ヒトの機嫌を吸収して育つ“観情”植物、「Log Flower」が可視化するもの
長引くコロナ禍とコミュニケーションの在り方の変化により、ストレスや不安を貯めがちな昨今。世間で、職場で、家族同士で、お互いの感情が目に見えて分かることできたら、という思いを抱く人も多いのではないでしょうか。
株式会社東急エージェンシーの半歩未来のアイデアを開発するプロジェクト『GG（仮） 』と、クリエイティブカンパニー・Konel（コネル）が新たにプロトタイプ開発した「Log Flower（ログフラワー）」は、部屋の雰囲気（感情）を栄養にして育つ「観情植物」というデジタル上の新しい植物です。
音声感情解析AI「Empath（エンパス）」をコア技術に、設置された空間の人々の4つの感情（喜び・怒り・哀しみ・平常）を30⽇間のスパンで取得。吸収する感情によって花の形や色など生育の仕方が変わりながら成長していきます。
Konelが運営する東京・下北沢のクリエイティブ・スタジオ「砂箱」では、2022年8月26日から9月2日まで「感情と花展」と銘打ち、「Log Flower」のプロトタイプをβ版として公開。この展覧会は、あるかもしれない未来のワンシーンをプロトタイプから体感する「未来のパーツ展」の第一弾として開催されました。
本記事では、同展に先がけて開催されたオープニング・トークイベントの様子を紹介します。イベントでは、「Log Flower（ログフラワー）」の企画とコンセプトデザインを手がけた東急エージェンシー／GG（仮）／n1のプランナー兼テクニカルディレクター・井倉大輔（いくら・だいすけ）氏、感情解析AIを開発した株式会社EmpathのCEO・山崎はずむ（やまざき・はずむ）氏、体験設計と実装を手がけたKonel代表の出村光世（でむら・みつよ）氏の3名が、「Log Flower」の解説から開発秘話、今後の拡張の可能性についてディスカッションを行いました。
感情を可視化する"観情植物"「Log Flower」
出村光世（以下：出村）：私たちが今いる「感情と花展」の会場には、2台の「Log Flower」のプロトタイプが並んで展示されています。それぞれに来場者の音声を拾うマイクが設置されていて、一方には「あなたが手に入れたいもの / WANT」を、もう一方には「世界からなくなってほしいもの / DON’T」を話しかけてもらうという仕組みになっています。「Log Flower」の詳しい概要について、井倉さんから解説をお願いします。
井倉大輔（以下：井倉）：「Log Flower」は部屋の雰囲気や感情を栄養に育つデジタル上の“観情植物”です。音声解析AI「Empath」で、喜び・悲しみ・怒り・平常の4パターンの感情を取得し、吸収する感情の量によって花の形や色が変化しながら成長します。空間を支配する感情への気づきを促し、人のふるまいや言動をより前向きな方向に導くことをコンセプトとしたプロダクトとなっています。
井倉：Log Flowerの成長周期は30日。最初は「種」の状態ですが、そこから30日間かけて「花」に成長していきます。1週目は種の形、2週目から徐々に芽が出始め、3週目でつぼみに、25日前後で満開に。その後は、それまでに取得した発話データによって花びらの厚さや大きさが微調整され、28日目に姿形がフィックスします。
出村：色や形にもアルゴリズムがあるのでしょうか？
井倉：取得感情は四種類に分けられており、平常が「白」、喜びが「黄色」、悲しみが「青色」、怒りが「赤色」。吸収した感情の総量によってそれぞれの色が反映されていきます。また、喜びの感情が多いほど花びらが太く育ち、ひまわりに近い形に。反対に怒りの感情が多いと、細く尖った形になっていきます。
井倉：完成した花には層があって、1週目の取得感情は一番外側の花びらの色・形に反映されます。2週目、3週目となるに従って内側の花びらに反映され、4週目の感情は、花の中心にある種子に反映されます。
出村：満開になった「Log Flower」を見ると、過去1ヶ月の感情の変遷が目に見える形で分かるわけですね。山崎さんにも先ほど実機を体験していただきましたが、完成したプロトタイプを見てどんな印象でしたか？
山崎はずむ（以下：山崎）：僕も実際に「手に入れたいもの」と「この世からなくなってほしいもの」を花に向かって喋ってみましたが、発話からこうしたプロダクトが形成されていくというのはとても不思議な体験ですね。
出村：「Empath」はすでに社会のさまざまな場面で実装されていますが、作品という形での応用は他にあるのでしょうか。
山崎：コールセンターのクレーム検証や顧客満足度調査、企業の従業員のメンタルケアで使われることは多いのですが、作品への応用は珍しいですね。一つ思い出した事例として、ベルギーのアーティストが、宇宙飛行士の感情に応じて色が変わる宇宙服を開発したことが話題になりました。これは、孤独な宇宙空間におけるウェルビーイングを可視化する試みでしたが、「Log Flower」はより一般的な生活に密着していますよね。宇宙空間同様に、コロナ禍の孤独を癒すという意味で親和性があるなと感じました。
きっかけはコロナ禍での自粛生活
出村：「コロナ」というワードが出ましたが、井倉さんが「Log Flower」の構想に思い至ったのも、ちょうど緊急事態宣言が発令されていた時期でしたよね。
井倉：アイデアのきっかけとして特に大きいのは、コロナ禍に伴うリモートワークですね。私は子どもが3人いるのですが、彼らは私が仕事中でも構わず元気に騒いでいる。ただ、イライラして怒ったりすると、今度は子どもたちが鬱憤を晴らす場がなくなり、家全体の空気が悪くなり、コミュニケーションに歪みが起こってしまう。加えて「Log Flower」を思いついたのは2021年7月頃でしたが、この頃は世間にも停滞した重い空気が充満していて、外出して帰宅しても、そういう空気を家の中に持ち込んでしまったりする。
僕は、空気にはヒエラルキーがあると思っています。一番上位のレベルは「世間の空気」で、これは一つ下位の「コミュニティの空気」で構成される。そして、コミュニティの空気は、「家庭や個人の空気」によって構成される。つまり、家庭や個人の空気を変えれば、コミュニティや世間の空気も変わるのではないだろうか。戦争などの外的要因は致し方ないですが、個人の機嫌などの内的要因は、気づきを促すことで変えられるのではないだろうか。こういった発想から、「Log Flower」の開発に着手しました。
出村：コロナ禍での世間や個人の空気、山崎さんは身に覚えはありますか？
山崎：世間が外出自粛に慣れてくると、外に出ようと思えば出れるけど、どこまで許容されるのか分からないといった特有のイライラが出てきますよね。加えて、職場と家庭がシームレスになると、公私で使い分けていた顔が混ざって、コミュニケーションが難しくなったり。僕も非常に悩ましい生活をしていたので、「Log Flower」のコンセプトはとてもいいなと。ただ、表に出ない感情もたくさんあるはずなので、そういうものとどう向き合えばいいのかは未だに課題ですね。
出村：僕は昔から、感情の言語化ってとても難しいと思っていて。イライラしてるのか、もどかしいのか、自分でもはっきり言葉にできない感情ってありますよね。「Empath」は、言語化が難しい感情でも可視化できるのでしょうか。
山崎：「Empath」は、言葉の内容ではなく、言葉の言い方から感情を推察します。例えば、自然言語処理の場合、「ありがとう」という言葉は基本的にポジティブなものとして判断されますが、少し皮肉っぽい、ネガティブなトーンで「ありがとう」と言う場合もあるわけで、意味からは読み取れない情報の豊かさが音には込められている。弊社が手掛けた最初のプロジェクトは、東日本大震災後に仮設住宅に住まれているボランティアのメンタルチェックでした。当時、支援疲れが社会的な問題になっていて、心が壊れていても表面上はみんな「大丈夫」って言ってしまう。だから、言葉の意味に着目しても、裏の感情は見えてこない。そこで、意味ではなく音響的な特徴でのモニタリングに思い至りました。
出村：「Empath」は具体的にどのような仕組みで感情を読み取っているのでしょうか。
山崎：発話のスピード、ボリューム、ピッチといったパラメーターの単位時間あたりの変化から感情を推定しています。ただ、これは発話者の深層心理をとっているのではなく、「一般的にこういう音声の場合、発話者は怒っているんだろう」といったように、他人の心を推測するという認知モデルをコンピュータに実装しています。
空気を測るメーターであり生物であり、鑑賞物
出村：井倉さんは、実際にご自宅でも「Log Flower」を2週間ほど設置して試されたとのことでしたが、いかがでしたか。
井倉：わが家のリビングと台所の間に置いたのですが、印象的な出来事がありました。長男と長女がしょっちゅう喧嘩するのもあって基本的に「Log Flower」は青色になってしまっていたのですが、ある日、種の部分が黄色になった。ついに喜びに反応した！と家族みんなで嬉しがっていたのですが、しばらくしてまた長男と長女が喧嘩をはじめてしまった。そしたら、普段は2人の喧嘩を見てるだけの末っ子が喧嘩を止めに入ったんですよ。今までにない行動だったので、親である自分もびっくりしました。また、子どもたちは「Log Flower」を完全に生き物として捉えていて、学校から帰ってきた時と寝る前、必ず観察していました。
出村：家族の間でも、実際にそういった行動の変化が起こるわけですね。
井倉：子どもたちだけでなく、僕もやっぱり意識はしていて、家族同士で会話をしているときに花が青かったり赤かったりするとドキッとしますね。いつもだったら声を荒げるところも、ちょっと言い方が丸くなるように意識したり。自分や家族の行動を自然と振り返るようになり、良い2週間でしたね。
出村：そもそもなぜ花をモチーフに選ばれたんでしょうか。
井倉：最初にチームでモチーフ案を持ち寄った時に、その中にひまわりがありました。太陽に向く花だし、前向きな印象があるし、とても人気と認知がある花でもあり、コンセプトにとても合っているなと。
出村：植物って話しかけたり音楽を聞かせたりすると綺麗に咲くみたいな話がありますよね。そういう意味では、花というモチーフはとても象徴的です。ちなみに「Enpath」はやろうと思えば短いスパンでも細かい解析はできるのでしょうか？
山崎：そうですね。極端な話、一単語の発話でも解析は可能です。
出村：つまり、少し監視社会的、ディストピア的ではありますが、やろうと思えば、「Log Flower」で感情を毎秒解析することも可能ということですよね。
井倉：開発当初、インタラクションをどのぐらいのスパンで解析するかの議論はありました。ただ、「Log Flower」は、確かに空気を図るメーターとしての価値や、生物としての価値もありますが、鑑賞物としての価値もあると思っていて、秒単位で色や形が変わると少し忙しなくて煩わしい。加えて、「Log Flower」の主軸はあくまで使用者の気づきを促すことにあるので、会話をしている途中で花の色が変化して、ふとした瞬間にそれに気づく、あとは各々の使用者の行動に任せると、それくらいの緩さがあっていいかなと。なので、データの取得にも余韻を持たせる仕様になっています。
「Log Flower」どこに置きたい？
出村：井倉さんは自宅のリビングで試されてましたが、山崎さんは仮に今1台「Log Flower」を持ってたらどんなところに設置したいですか？
山崎：家というのは非常にわかりやすいし、閉塞感が表出しそうな場所に置くのはいいですよね。ただ、僕は、不特定なさまざまな人の感情が積層していく場所も面白いと思っています。多くの人が居合わせる場所だと、特定の人の感情ではなく、大多数の感情の総和がどうなるのかという観点が重要になってくる。以前にKonelと一緒に作った「エモいガチャ」も近いコンセプトですよね。これは、飴玉が入ったガチャで、会議室に置いておくと、会議が一番盛り上がったところで飴玉が出てきて、さらに笑いが生まれる、というものですが、これも誰が場を盛り上げたかではなく、場がどういう雰囲気になったのかを可視化するのが重要で。「Log Flower」も、特定の空間の感情総和を表現してみると作品として面白いかもしれない。
出村：駅などの公共施設に置くのも良さそうですね。みんながつながって空間が生まれているという、連帯感みたいなものが芽生えてくるかもしれない。
井倉：街中や公共の広場も設置場所のアイデアとしては出ていましたね。あと音楽ライブの会場とか、学校の道徳の授業で使ってみたらどうなんだろう、とか。
山崎：オンラインの教育現場には拡張性を感じます。例えばあるクラスでずっと言葉を発していない生徒がいる時、その生徒に何らかのアクションを起こすべきですが、そういった「発話していないデータ」もオンライン化で簡単に採取可能になりました。また、生徒へのオンラインカウンセリングもリモート化によって格段にハードルが低くなった。生徒の気分が落ち込んだ状態の音声データも採りやすくなり、応用すれば精神疾患の兆候を検知するシステムを構築できるかもしれない。今はあらゆるコミュニケーションがオンラインになっているがゆえに、感情値の幅のコンテクストが大きく拡大していると感じています。
出村：Konelでも最近、「BWTC」という脳波を1,000人分採取するアートプロジェクトを行いましたが、生体データはかなり取りやすくなっていますよね。声から推定する感情だけでなく、もしあらゆるものがインターネットに繋がっていれば、イヤホンから心拍や脳波が採れるかもしれない。そうすればより一層高度な分析ができそうですね。
山崎：マルチモーダルについては僕らも考えていて、最近は音だけでなく言語情報も併せて多角的に分析しています。プライバシーの問題はありますが、カメラ越しでも視線や表情などのバイタルデータは採れるので、心拍診断と組み合わせてより詳細に感情の動きを検知するというのは可能だと思います。ただ、マルチモーダルの場合、インプットデータが複雑化すると、解釈が難しくなるという問題もあり、一筋縄ではいかない。一方、音の場合は正確度でマルチモーダルに劣りますが、シンプルで採りやすく使いやすいという利点があり、音単体にフォーカスするうま味もまだあります。そういう意味ではマルチモーダルでやれる局面と、音だけにフォーカスするという両軸があるのかなと思います。
「Log Flower」をコレクションする楽しみ
出村：「Log Flower」のアーカイブ機能についても教えていただけますでしょうか？
井倉：プロトタイプなので未実装ではありますが、「Log Flower」には、日々の振り返りをして欲しいという思いも込めてアーカイブ機能と他の人の花を集められるコレクション機能を搭載する予定です。アーカイブ機能は、日単位、月単位で花の状態が見られる機能で、その日どういう感情だったか、その月どういう感情だったか、気持ちの流れを振り返ることができるものです。
出村：「受験の時、精神状態やばかったね」とか「5月は恋人ができて黄色かったけど、次の月には真っ青になっちゃった…」みたいに感情の変遷が分かるわけですね。コレクション機能はどういったものでしょうか。
井倉：コレクション機能は、完成した花をNFT化して他者と交換できる機能です。例えば山崎さんの花を買ってコレクション化するとか、自分が育てた花を売買するとか、そういったことが可能です。
出村：感情で育成するプロセスを度外視して、単純にジェネラティブアートとして美しいから欲しいといった需要もありますよね。最後に、今後「Log Flower」を通してどういった方とコラボしてみたいですか？
井倉：今「GG（仮）」の活動として、クリエイティブの拡張というコンセプトを掲げています。世の中の社会課題に問いを見出しソリューションとして解を当て込むという実証実験を行っているのですが、我々の活動やプロダクトを面白がってくれたり共感してくれる方々とぜひ一緒になにか作っていけたらと思っています。
出村：「Log Flower」は、今プロトタイプとして世界に2台ある状況ですが、限定10台でも20台でも、つくってみたいプロダクトメーカーさんや設置してみたい事業者さんがいれば、お問い合わせいただければと思います。本日はありがとうございました。
今回公開した「Log Flower」は、β版（プロトタイプ）で、今後の商品化や販売については未定ですが、今後さまざまな企業からの問い合わせや協業の相談に応じて改良や機能拡張を加えていくとのこと。「実証実験してみたい」「会社の会議室やエントランスに導入してみたい」という方は、問い合わせてみてはいかがでしょうか。
■「Log Flower」 開発レポート
https://note.com/gg_beta/n/n044ab84f42fe
開発に関する背景や活動内容について
https://note.com/gg_beta/n/n3c7240dddcbb
「GG）仮）」メンバーの家庭での実証実験における、より詳細なインタラクションや成長の様子について
■「Log Flower」 プロジェクトチーム
・企画・デザイン：東急エージェンシー（小池康裕、井倉大輔、矢谷暁、山田潤、三輪和寛、佐々木剛哉、丸岡晃子、相賀翔太）
・デザインテック・パートナー：株式会社コネル（荻野靖洋、齊藤匡佑、ajisa）
・技術協力：株式会社 Empath（代表 下地貴明、山崎はずむ）
取材：松岡 真吾／文：柴田 悠