No. 305 リアルタイムで会話字幕を表示する透明ディスプレイ

See-Through Captions(シースルーキャプションズ)

See-Through Captions(シースルーキャプションズ)とは、ろう・難聴者(聴覚障害者)とのコミュニケーションのためのリアルタイム字幕を表示する透明ディスプレイ。従来、音声認識を使った文字による対話コミュニケーションは、スマートフォンなどの画面に表示された文字をお互いに見せ合うことで行われてきた。一方、See-Through Captionsは透明度の高いディスプレイに文字を表示させることで、相手の表情やボディーランゲージと字幕の両方を確認しながら会話を行うことができるため、今までよりも自然で円滑なコミュニケーションを図ることができる。将来的には、難聴者との対話の場面だけでなく、リモート対話や飛沫防止パネル越しでの会話が必要とされる昨今においてさまざまなシチュエーションでの活用も期待できる。

なぜできるのか?

相手と字幕が同時に見えるディスプレイ

ディスプレイ本体は透明度が高いものになっており、相手の身ぶりや表情を確認しながらコミュニケーションを行うことができる。また、表示される文字はサイズ、色、透明度、フォントなどをユーザーが自由に変更できるため、自分の見やすいバランスに調整することができる。

双方向に表示される字幕

相手に大きな字幕が表示される一方で、話者側にも同じ字幕が反転された小さな文字で表示される。これにより、話しながらリアルタイムで自動音声認識による変換を確認でき、誤認識にもすぐに気付くことができる。

相性のいい分野

医療・福祉
高齢者やろう・難聴者へ正確に症状を伝えるための診断の字幕表示
教育・人材
リアルタイムで自分の発音をチェックできる英会話レッスン
アート・エンターテインメント
大型化して舞台の前に設置し、大きな声で発声・歌唱しても飛沫飛散を防げるミュージカル用字幕パネル
メディア・コミュニケーション
金額や店員との会話内容を表示する飛沫防止パネル

知財情報

主な知財ホルダー:筑波大学デジタルネイチャー研究室

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

知財ハンター

荻野 靖洋 Yasuhiro Ogino
Technical Director / Konel Inc.

1985年静岡県生まれ。幼少期から高校生までをアムステルダムで過ごす。フリーランスエンジニアとして活動する傍らで、Konelを共同創業し、WEB/インスタレーション/AI/ロボットなど幅広い技術分野の開発・ディレクションを手がける。宇宙・食・脳波など、まだまだ未開拓なテクノロジーに関心がある。 誰にも仕組みがわからない物を作りたいと考えている。


知財ライティング: 佐藤拓海