スマートグラスを使ったAIによる対話型音声解説システム
～「市谷の杜 本と活字館」で体験イベントを実施～

博物館法の改正（2023年4月1日施行）により、博物館の事業の一つにデジタルアーカイブの作成と公開が位置付けられました。DNPは、こうした動きに先駆けてデジタルアーカイブの公開も見据え、DNPコンテンツインタラクティブシステム「みどころシリーズ®」を開発・提供しています。
その中で、スマートグラスを利用した鑑賞システムとして、展示物をスマートグラス越しに見るだけで、その展示物についての適切な解説が得られ、さらに質問をすることもできる「スマートグラスを使ったAIによる対話型音声解説システム」のプロトタイプ版を開発しました。
今回、一般の方にも体験いただき課題を抽出すべく、DNPで運営している文化施設「市谷の杜 本と活字館」（※1）にご来館のお客様にご協力いただき、実際に展示物を見ながら体験できるイベントを実施しました。
体験していただいたお客様にご意見や感想を伺うことで、今後のサービス化に向けたニーズや課題を把握することができました。

スマートグラスを装着し、鑑賞している展示物をハンドジェスチャーで撮影、展示物の横に操作パネルが表示され、その展示物に関する音声解説が自動で流れます。
解説パネルからあらかじめ設定された質問を選ぶか、自分で話しかけることで、AIに質問することができます。

体験された方にはアンケートにご協力いただきました。
「体験してみてよかった」「展示物への理解が深まった」「また体験してみたい」等と多くの方から好意的な回答をいただきました。

※本システムはまだ正式にリリースされておりません。
※本システムは特許出願済みです。

展示物に関する質問を選択形式と自由発話形式で行うことができ、AIとの対話を通して展示物の理解を深めることができます。
また、多言語対応も可能です（オプション）。

位置情報やマーカーを置くことなく展示物をスマートグラス越しに見るだけで展示物を特定することができます。

複雑な操作を必要とせず、スマートグラスとハンドジェスチャーを使ったより自然な動作で、実物を視界にとらえながら対話ができます。

登録した独自DBを参照し、回答する前に自動チェックすることにより、より正確な回答のみを回答します。

質問、AI回答のログを提供いたします。利用者がどのような情報に興味・関心を持っているのかを知り、マーケティングに活かすことが可能です。

DNPは、本イベントでのフィードバックをもとに「スマートグラスを使用したAI対話型音声解説システム」のサービス開発を進め、博物館や美術館、企業ショールームなど多様な利用シーンへの導入をめざします。

利用シーンは以下を想定しています。

　・美術館、博物館、図書館、動物園、水族館などの施設での利用
　・街歩きガイドなど観光事業での利用
　・企業展示会や企業ショールームなどの企業での利用
　・工場見学、校外学習など教育現場での利用

スタッフによる解説や音声ガイドとは違った新たな鑑賞体験を提供するほか、スタッフの方々の負荷軽減等の課題解決ができればと考えています。

～みる、ふれる、知識が広がる～
デジタル化された作品と多様な MLA の知的情報「みどころ」を組み合わせ、作品に対する興味のきっかけを提供する目的で開発された、インタラクティブ鑑賞システムです。