No.631

2022.03.09

人の話し方や表情をAIが評価・解析するアプリケーション

Steach(スティーチ)

スクリーンショット 2022-03-08 15.51.44

概要

「Steach(スティーチ)」とは、AIによる話し方解析アプリケーション。ユーザーが話している様子をスマホやPCで撮影し、目線や姿勢、話すスピード、話した内容のテキスト化をAIが解析・評価する。従来、話し方のトレーニングは人間の講師の主観的な感覚に頼りがちだったが、Steachはユーザーの話し方を客観的に評価して話し方の改善を支援する。研修のサポートツールとして、また採用面接の面接練習ツールとしてなど、企業や教育の様々なシーンでの活用が期待されている。

1600e295-bb66-4a6b-9c59-9b6a032aa088-x2

なぜできるのか?

話しているシーンを撮影し、AIで解析

まずは「自己紹介してください」などのテーマに対してユーザーが回答する様子をスマホやPCで撮影。話すテーマや質問は教育担当者があらかじめ設定を行う。撮影するとAIによる解析が実行され、評価が表示。解析は録画時間1分の場合で約3分ほどで行うことができる。

解析結果のフィードバック

解析結果では話す速さ、姿勢、視線や瞬きなど主観では分かりづらい評価を確認することで改善点を見つけることができる。解析結果を確認した後はもう1度撮影からやり直して納得いくまで練習したり、結果を教育担当者などに提出してフィードバックを受けることが可能。Steachの質問作成やユーザー管理など各種設定は、管理専用WEBアプリより行うことができ、評価者として設定されたユーザーはWEBアプリから全回答者の回答と解析結果を確認し、評価を入力することができる。

動画を評価して可視化する特許を取得

Steachは、ユーザがスマホで撮影した動画をWEBで閲覧することができ、機械学習によって撮影された動画は解析されて定量化される。話し方や表情が時系列で変化していく動画を評価する、ディープラーニングによる解析エンジンの教師データの仕組みを構築。ユーザの話し方や表情に対する評価に関する情報を複数の第三者が評価(タグ付け)した結果を可視化(ヒストグラム表示)することができる機能などをはじめとした特許を取得した。

相性のいい産業分野

教育・人材

「Steach(スティーチ)」を活用した新人研修プログラム

メディア・コミュニケーション

Zoomなどの会議ツールに組み込み、ユーザーの話し方をリアルタイムでフィードバック

医療・福祉

お年寄りにも分かりやすい速度で話す介護用ロボットの開発に応用

AI

機械学習で得た人の話し方のデータをバーチャルヒューマンの開発に応用

この知財の情報・出典

・特許第6978815号

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

Top images:© 株式会社 エフィシエント