誰もがスポーツ観戦を楽しめる社会を目指し開発された音声実況AI「Voice Watch」

白熱した試合に観客達が歓声をあげる会場で、孤独感を覚えている人がいることを想像できるでしょうか？

スポーツ観戦の会場において視覚障がい者が得られる情報は、目が見える人と比較すると遥かに少なく、多くの人達と一緒になって試合を楽しむことは難しいでしょう。

株式会社電通 Future Creative Centerを始めとする電通グループのチームが開発しているVoice Watch（ボイスウォッチ）は、スポーツ観戦における視覚障がい者の情報格差をなくすための音声実況AIです。

Voice Watch開発プロジェクトのクリエイティブ・ディレクターである志村和広（しむらかずひろ）さんは、誰もがスポーツ観戦を楽しめる社会の実現を目指し、モータースポーツへの音声実況AIの導入に取り組んでいます。

開発の内容、そしてVoice Watchが目指す社会について志村さんに聞いてきました。障がいの有無にかかわらず、誰もがスポーツ観戦を楽しめる社会をどのように実現するのかを紹介します。

音声実況AI「Voice Watch」とは？

Voice Watchは、視覚障がい者が目の見える人と同じようにスポーツ観戦を楽しむための音声実況AIです。AIを活用して視覚情報を音声情報に変換することで、目の前で起きている光景をリアルタイムに視覚障がい者に伝えます。

つまり、スポーツ観戦のバリアフリーを実現する技術です。

Voice Watchの開発プロジェクトを牽引するのは、株式会社電通の志村和広さん。AIを始めとする最新のテクノロジーをビジネスの現場に導入し、新たな価値を提供してきました。

これまでに志村さんのプロジェクトチームが開発した特筆すべき技術は、マグロの目利き職人の技をAIに学習させた「TUNA SCOPE」。

マグロの競りの現場で、マグロの尻尾の切り口から品質を判断している熟練の職人達の直感をAIにより再現。限られた人間にしか分からない感覚を受け継ぐAIを実現させることに成功しました。

Voice Watchの開発プロジェクトでは、過去の事業で培った知識と経験を活かし、モータースポーツ観戦においてAIを用いた視覚障がい者の支援技術の開発に挑戦しています。

Voice Watchの開発プロジェクトのリーダー株式会社電通の志村和広さん

スポーツ観戦において視覚障がい者が抱える心理的ハードル

志村さんのプロジェクトチームでは、Voice Watchの開発にあたり、スポーツ観戦の会場に足を運んだ経験のある視覚障がい者に、観戦するときの課題についてインタビューしています。その結果、スポーツ観戦の最大の障壁は、情報の格差から生まれる孤独感でした。

視覚障がい者は、目の前で起きている光景を、目が見える人達と同じタイミングで感じ取れないため、取り残された気持ちになるそうです。また、一緒に観戦に訪れた目が見える友人に状況を説明してもらうことは、楽しんでいる状況を邪魔するので、気後れするといいます。

盛り上がっている会場で、目の前の光景が理解できずに一人だけ取り残された状況。視覚障がい者は孤独感を抱え、憂鬱な気持ちになるため、会場に行きたいとも思えないのが現状です。

本来の目的である観戦が楽しめないというのは致命的な問題。スポーツ観戦における情報の格差を排除し、新しい観戦体験をデザインすることが、志村さんが率いるプロジェクトチームが貢献できることだと思い立ち、Voice Watchの開発に着手しました。

プロジェクトを取りまとめる志村さんに、技術の内容だけでなく、Voice Watchが目指す社会について聞いてきました。

音声実況AI「Voice Watch」の技術

どのような情報をAIに学習させるのでしょうか？

志村（敬称略）
2つのインターフェイスから得られる情報を融合させることで、レースの状況を視覚障がい者へ伝えます。

1つは、私達の持っているスマートフォンのカメラから得られる情報です。観客席からスマートフォンで撮影した映像に基づいて、目の前で起きている状況をAIが音声情報に変換します。

例えば、観客席から見える最終コーナーに、「どのチームのレーシングカーが入ってきたか」、「ゴール直前でどのチームとどのチームが競争しているか」等、目の前の光景をAIにより音声にします。つまり、視覚障がい者の目の代わりになるのが、スマートフォンのカメラということです。

2つめは、レーシングカーのラップタイムやチームの順位等が記載されたタイミングモニターから得られる走行データです。モータースポーツの実況者へのインタビューを通じて分かったのですが、タイミングモニターに表示される数字の変化から、実況者はレース状況を読み取っています。

タイミングモニターには、大量のデータが並んでいますが、むしろ大量のデータを瞬時に処理するのはAIが得意とするところ。これから起こるであろう変化の兆しをつかみ、それをAIが実況というかたちの未来予測に変換します。

これらを組み合わせることで、誰もが観戦を楽しむことができる実況を生成することができます。

スマートフォンのカメラとタイミングモニターを併用する理由は？

志村
最初は、スマートフォンのカメラから得られる映像だけで取り込んでいました。

しかし、観客席の目前の光景しか分からず、広大なサーキットで起きているレースの全体的な状況を把握できません。そこで、タイミングモニターの走行データを取り入れることで、レース全体の状況を理解できるようにしました。

一方で、レースの全体感を把握するだけでも面白くないのです。観客席をレーシングカーが通過する時間は数秒ですが、エンジンの音、観客席の歓声等、ドキドキする瞬間は目の前の光景からしか感じ取れません。

サーキット全体で起きているレースの状況に、目の前で発生する情報を加えることで、スパイスのような役割を果たし、興奮も伝えられるようになります。モータースポーツの体験を音声でデザインするためには、スマートフォンのカメラと走行データを併用することが重要だと、開発を進める中で分かってきました。

会場の雰囲気を伝えるために

臨場感を演出するための工夫はあるのでしょうか？

志村
実際のモータースポーツでは、実況者が白熱したレース状況を伝えるために、演出のためのキーフレーズを巧みに使って盛り上げています。レーシングカーが競い合っている様子を見ながら「さあ！ここからが勝負どころ！」等、レースの見所で解説しているのです。

そこで、Voice Watchでは、何十時間という過去の膨大なレースの実況音声データの分析を行うとともに、プロのレース実況の学習データを取得させてもらいました。その中には長年の経験から自然と発する状況に応じたパターンがあり、キーワードやキーフレーズを抽出することができました。

開発において難しいと感じたことはありますか？

志村
実況者が持つ知識を伝えることは難しいと感じました。

プロの実況者は過去に開催されたレースの情報等を持ち合わせており、知識を織り交ぜながら実況しています。例えば、「あるコーナーで行われた過去のレーサーの駆け引きの様子」等を伝えているのです。

タイミングモニターには、現在のレースの走行データしか映し出されないので、過去のレースの情報を引っ張ってくることはできません。適切なタイミングで、適切な知識を披露して会場を盛り上げる技術は、熟練の実況者にしかできないことだと感じます。

一方で、むしろAIの方が優れているのは、リアルタイムの走行データや走行映像からその先に起こりうる展開を予測し、言語化する力。これらの大量の情報は、人間が脳内で一瞬で変化をつかみ処理することは難しいので、このあたりを活かすことでAIならではの実況になっていくと思っています。

AIの可能性と人の可能性

Voice Watchの応用先は考えているのでしょうか？

志村
具体的な例を1つ挙げると、子どもの運動会です。

子どもに来てほしいと言われて、視覚障がい者が運動会に足を運んでも、実況がない会場では何が行われているのか理解できず、楽しむことは難しいでしょう。実際に、視覚障がい者から「子どもの運動会が辛い」という声を聞くことがありました。

私達は、Voice Watchの開発で培った技術を子どもの運動会に展開しようと考えています。

人口規模の小さいマイナースポーツや、学校や地域の運動会では、会場に実況者がいない場合が多く、視覚障がい者にとって足を運ぶことが苦痛な場所です。規模の大小に関係なく、全てのスポーツに実況を導入することで、情報の格差をなくし、どんなスポーツでも視覚障がい者が観戦を楽しめる世界を私達は目指しています。

Voice Watchは、どのような社会を実現するのでしょうか？

志村
私達は、決して全てスポーツの実況をAIに置き換えようとしているのではありません。プロの実況者を始め熟練の技術を身につけている人にしかできないことは多くあります。

人口規模、経済規模の大きい分野であれば、熟練の実況者が会場を盛り上げることのほうが豊かな体験が生まれるかもしれません。

一方で、実況者がいないような規模のマイナースポーツやローカルスポーツでは、視覚障がい者は情報の格差による孤独感を抱えており、社会全体としてみると観戦のバリアフリーな環境が整っているとはいえません。しかし、Voice Watchの技術を用いれば、どんなスポーツでも情報の格差をなくし、誰にとっても楽しめる瞬間に変えていけるでしょう。

熟練者をAIで置き換えるという発想ではなく、人が持つ可能性とAIが持つ可能性を認識しながら、どちらの特徴も活かして社会に共存させることが大切だと考えています。