AIが手話表現を認識する手話学習ゲーム「手話タウン」
Googleがゲームの基盤となる手話認識技術を開発日本財団・香港中文大学 共同で公開
手話を楽しみながら学習するゲーム体験を「ろう者理解の入口」に

日本財団は、香港中文大学と共同で、「手話」や「ろう者」理解の促進を目指し、Googleおよび関西学院大学の協力のもと、AIが手話表現を認識する手話学習ゲーム「手話タウン」のベータ版(外部リンク)を公開しました。多くの方に使用してもらい、フィードバックに基づいた改善を行ったうえで、手話言語の国際デーである9月23日に完成版の公開を目指しています

手話学習教材は、学習者が手話の映像等を見て手話を記憶する形式が主流となっていますが、今回開発した手話学習ゲーム「手話タウン」は、学習者が学んだ手話をパソコンのカメラの前で表現すると、その手話表現が学習できたかをAI(人工知能)技術で確認することができる、手話学習ゲームとなります。また、ゲーム内では手話の表現だけではなく、手話を母語とするろう者の文化も学ぶことができ、「手話やろう者を理解する入り口」として、本ゲームを役立てたいと考えています。

画面イメージ
手話タウンのオープニング
画面イメージ
手話をパソコンカメラで認識する様子

「手話タウン」について

「手話タウン」は、手話が公用語の架空の町を舞台に、手話を駆使しながらアイテムを集めていくオンラインゲームです。言語は英語・日本語・中国語(繁体字)から選ぶことができ、学ぶ手話言語は日本手話と香港手話から選ぶことができます。日本手話の収集は関西学院大学手話言語研究センターに協力いただきました。
学習者は、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なテーマに合わせた手話をゲーム感覚で学ぶことができます。

各団体の本プロジェクトでの役割

日本財団 プロジェクト全体の統括、手話・ろう者に関する知見の提供、開発に必要な資金提供
香港中文大学 プロジェクト全体の共同統括、手話言語学における学術的な見地からの監修、香港手話の学習データ収集、ろう者に関する知見の提供
Google プロジェクトのコンセプト立案、AIによる手話認識技術の研究開発
関西学院大学 日本手話の学習データ収集、ろう者に関する知見の提供

なお、「手話タウン」ゲームの基盤となっている手話認識技術のソースコード(*)はオープンソースとして無償で公開しています。それによって、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発することを可能にしています。

手話認識技術の概要

手話は、手の動きだけでなく、体の動きや表情、うなずき、口形等も文法上重要な役割を果たしています。また、一般的なカメラは通常2Dで平面のみしか認識できず、動きや奥行きのある立体的な手話の動作を認識するためには、専用のカメラや手袋などの特別な設備が必要であり、一般的に普及させるのが難しい状況にありました。しかし、本プロジェクトは、通常平面のみしか認識しない一般的なカメラを使って立体的な手話の動きを、体の動きや表情、うなずき、口形等の特徴を含め認識する認識モデルを開発しました。(詳細は別紙参照)

自動翻訳モデル

本プロジェクトでは、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指しています。今回公開した手話タウンは、プロジェクトの中間成果物に当たるものであり、手話表現に欠かせない手話の文法的な特徴の認識を目指しています。

社会的背景

手話は、ろう者が意思疎通を図るために使用する言語であり、ろう者の社会参画を促進するためには、手話で生活ができる環境が不可欠です。2006年に採択された国連障害者権利条約で「手話は言語である」と明記され、日本国内でも2011年に障害者基本法で手話の言語性が認められましたが、手話とろう者への理解が十分に浸透しているとは言い難く、生活のあらゆる面で手話による参加が妨げられている現状にあります。一方で、新型コロナウイルス感染症の世界的な蔓延で政府会見に手話通訳を付与する例が世界各国でみられるなど、手話への関心は高まっており、手話の普及を推進するための好機が生じていると考えられます。ICT活用も広く推進されていることから、最先端技術を活用した「手話」や「ろう者」理解の促進を目指し、世界で初めてとなる手話学習ゲーム「手話タウン」のベータ版を開発しました。

香港中文大学について

1963年に設立された香港中文大学(CUHK)は、国際的に高く評価されている総合研究大学です。アジアの中心に位置し「伝統と現代、中国と西洋とを融合させる」を理念としています。大学独自のカレッジ(書院)制度のもと、9つのカレッジにおいてプログラムや活動を通じて人間教育やケア・サポートを提供することで、教育をより豊かなものにしています。大学には芸術、経営、教育、工学、法律、医学、科学、社会科学の8つの学部があり、大学院と合わせて、300以上のプログラムを提供しています。各学部は、幅広い分野の研究に積極的に取り組んでおり、質の高い学際的な研究を専門とする数多く研究機関や研究センターも充実しています。「ロイター:アジア太平洋地域の最も革新的な大学ランキング」において、4年連続で香港のトップ大学に選ばれ、総合でも26位にランクインしています。 本学は、イノベーションとテクノロジーの促進に力を入れており、現在、全世界で1,000件以上のライセンス特許を取得しています。その一部は、関連業界での使用が認可されており、イノベーションを市場導入することで社会へ貢献しています。 2019-20年だけでも、医療技術、バイオテクノロジー、情報技術、通信、材料科学などの分野で386件の特許を申請し、257件の特許を取得しています。

香港中文大学ロゴマーク

関西学院大学について

関西学院大学は1889年創立のキリスト教主義に基づく総合大学です。2015年4月に日本の大学では初めて、手話を言語として研究する機関である手話言語研究センターを設立しました。2016年より日本財団の助成を受け活動しています。
本プロジェクトでは日本手話の語彙の選定およびデータ収集に携わっています。

関西学院大学ロゴマーク

お問い合わせ

リリースに関するお問い合わせ

日本財団 経営企画広報部 広報チーム

  • 担当:富永
  • 電話:03-6229-5131
  • FAX:03-6229-5130
  • メールアドレス:pr@ps.nippon-foundation.or.jp

事業に関するお問い合わせ

日本財団 特定事業部 True Colorsチーム

  • 担当:川俣