話しているシーンを撮影し、AIで解析

まずは「自己紹介してください」などのテーマに対してユーザーが回答する様子をスマホやPCで撮影。話すテーマや質問は教育担当者があらかじめ設定を行う。撮影するとAIによる解析が実行され、評価が表示。解析は録画時間1分の場合で約3分ほどで行うことができる。

解析結果のフィードバック

解析結果では話す速さ、姿勢、視線や瞬きなど主観では分かりづらい評価を確認することで改善点を見つけることができる。解析結果を確認した後はもう1度撮影からやり直して納得いくまで練習したり、結果を教育担当者などに提出してフィードバックを受けることが可能。Steachの質問作成やユーザー管理など各種設定は、管理専用WEBアプリより行うことができ、評価者として設定されたユーザーはWEBアプリから全回答者の回答と解析結果を確認し、評価を入力することができる。

動画を評価して可視化する特許を取得

Steachは、ユーザがスマホで撮影した動画をWEBで閲覧することができ、機械学習によって撮影された動画は解析されて定量化される。話し方や表情が時系列で変化していく動画を評価する、ディープラーニングによる解析エンジンの教師データの仕組みを構築。ユーザの話し方や表情に対する評価に関する情報を複数の第三者が評価（タグ付け）した結果を可視化（ヒストグラム表示）することができる機能などをはじめとした特許を取得した。