富士通、東日本旅客鉄道、JR東日本クロスステーション、大日本印刷は、音の視覚化装置「エキマトペ」を用いて、2022年6月15日から12月14日までの間、JR上野駅の1・2番線（京浜東北線と山手線）ホームに流れるアナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を実施すると発表した。

本実証実験を通じて、聴覚に障がいを持つ人をはじめとした駅を利用する利用客に向けて、文字を用いた共通の体験を提供することで、より安全安心な鉄道利用を実現するとともに、ダイバーシティ＆インクルージョンへの相互理解の促進を目指す。

今回の実証実験では、音の視覚化装置「エキマトペ」を活用し、ホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音し、AI分析でリアルタイムに文字や手話、擬音語、擬声語といったオノマトペに変換して、ホーム上に設置された自動販売機上部の専用ディスプレイに表示する。音情報の視覚化にあたっては、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別する。ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表現され、電車の発着音やドアの開閉音などは、手書きアニメーションで表現されるという。

さらに駅社員によるアナウンスを、富士通が開発を手がける発話者の発言を音声認識し即座にテキスト変換することで、発言内容を複数端末にリアルタイムにテキスト表示できるコミュニケーションツール「FUJITSU Software LiveTalk」でテキストに変換し、大日本印刷が開発を手がける「DNP感情表現フォントシステム」という文章を読み取り感情や話題に合わせたフォントに自動で切り替えるシステムを通じて、文章の内容に適した感情豊かなフォントで表現する。

4社は、今後の展望について「本実証実験を通して得られた知見や駅をご利用のお客さまからの『エキマトペ』の体験に関するフィードバックをもとに、駅の利便性向上を目指してあらゆるお客さまへの情報伝達のあり方について検討を進めます」と語る。

また、台東区と連携し、手話サークルやボランティア団体などの活動情報を「エキマトペ」のディスプレイに表示することで、各コミュニティへの参加を促し、地域のダイバーシティ＆インクルージョンの活性化にも貢献していくとのこと。

プレスリリースはこちら

Top Image : © 富士通 株式会社、株式会社 JR東日本クロスステーション