解説音声を感情豊かな字幕にしてスマートグラスに表示するシステムを開発

大日本印刷株式会社（DNP）は、聴覚に障がいがある人もアート作品を一層楽しめるように、ガイドスタッフや体験会参加者の音声等をテキストにしてスマートグラスに字幕表示するシステムを開発しました。本システムでは、テキストデータの内容に合わせて、最適なフォントを表示する「DNP感情表現フォントシステム」^＊1を活用します。

また、2024年1月27日（土）から、東京都庁内にあるパブリックアートを対象に、このシステムを活用してガイドスタッフの解説音声をスマートグラスに表示する鑑賞体験会を実施します。

スマートグラスを装着して鑑賞するイメージ

スマートグラスへの字幕表示イメージ

【スマートグラスでの音声字幕表示の取り組みの背景】

美術館や博物館では、アート作品や文化財等について、より多くの人が楽しみを深められるように、年齢や障がいの有無、母国語の違い等に関わらず、必要な情報がより多くの人に届き、意思疎通が可能となるユニバーサル・コミュニケーションの取り組みを進めています。DNPは、各種情報機器やMR（Mixed Reality：複合現実）に関する実績^＊2とノウハウ等を活かし、美術館・博物館等に向けて、ヘッドマウントディスプレイ（HMD）やスマートグラスを使用したガイダンスシステム^＊3や新しい鑑賞システム等を開発・提供しています。そうした取り組みの中で今回、聴覚障がいがある人と聴者がともに楽しめるサービスの一つとして、MRや文字フォント等の技術・ノウハウなどを掛け合わせ、スマートグラスに音声を字幕で表示するシステムを開発し、体験会でその効果や課題を検証します。

【スマートグラスでの音声字幕表示の特長】

１．音声情報を認識し、スマートグラスに字幕をリアルタイムで表示

本システムは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端サービス実装分科会プロジェクト」^*4として採択を受け、開発パートナーである株式会社アイシンの協力のもとで開発しました。この連携により、リアルタイムで音声を認識し、スマートグラスに字幕を表示することが可能になりました。また、スマートグラスに接続した指向性マイクを解説している人などに向けることで、聞きたい方向の音声を拾って字幕に表示することができます。

２．会話の内容に合わせて最適なフォントを表示

本システムでは、テキストデータの内容を自動解析し、そこで表現された感情や話題に合わせて自動的にフォントを切り替える「DNP感情表現フォントシステム」を活用します。音声をテキストにした際に、単語が持つ感情やイメージに合わせて、最適なフォントや色を自動的に選択して表示します。例えば、楽しそうな表現・単語はポップなフォントや明るい色で、悲しそうな表現・単語は繊細な印象のあるフォントや寂しい色で、作品名などは太めのフォントや赤色で表示します。フォントや色が変化することで、感情やイメージを読み取りやすくなるだけでなく、テキスト内の重要な部分に目が行き、理解しやすくなります。

■パブリックアート鑑賞体験会の開催について

○日時 ： 2024年1月27日（土）、28日（日）、2月3日（土）、4日（日）

＊いずれの日も1日2回開催　①午前の部10:30-12:00、②午後の部 13:30-15:00

○場所 ： 東京都庁内（東京都新宿区）の野外パブリックアート

○参加方法 ： 以下の申し込みフォームよりお申込みください。

https:www2.enq-plus.com/enq/DNP-UCProject/entry_PublicArt/

＊各回10名まで。申し込み多数の場合は抽選になりますのでご了承ください。

＊1月27日（土）、28日（日）の申し込み締切は1月22日（月）13:00です。

＊2月3日（土）、4日（日）の申し込み締切は1月29日（月）13:00です。

【今後の展開】

DNPは、2023-2025年度の新中期経営計画の注力事業領域として「コンテンツ・XRコミュニケーション関連」を掲げ、リアルとバーチャルの空間を融合する「XR（Extended Reality）」の技術を活かし、新しい体験と経済圏の創出を目指す「XRコミュニケーション®事業」を展開しています。

その一環で、スマートグラスを利用したMR体験について、機能や用途の開発等を継続するとともに、ユニバーサル・コミュニケーションの一助となる製品・サービスを美術館・博物館や企業・自治体等に展開していきます。

＊1　DNP感情表現フォントシステム → https://shueitai.dnp.co.jp/fontsystem/

＊2　DNPインタラクティブシステム「みどころグラス®」について → 

https://www.dnp.co.jp/biz/solution/products/detail/10158094_1567.html

＊3　博物館でリアルとバーチャルが融合するMR体験を提供 →  https://www.dnp.co.jp/news/detail/20169564_1587.html

＊4　西新宿先端サービス実装・産官学コンソーシアム  → https://www.5gconsortium.metro.tokyo.lg.jp/

※記載している会社名・製品・サービス名は、各社の商標または登録商標です。

※記載した製品の仕様・サービス内容などは発表日現在のものです。その後予告なしに変更されることがありますので、あらかじめご了承ください。