AI認識による手話学習ゲーム
「手話タウン」9月22日公式リリース＜9月23日は「手話言語の国際デー」＞身近に、気軽に、手話を始められる入り口を
発表会ではYouTuberでろう者のくろえさんがチャレンジ！

日本財団は、国連の「手話言語の国際デー」（9月23日）に合わせて開発した手話学習ゲーム「手話タウン」正式版を本日発表し、公式リリースいたしました。
「手話タウン」は、ICTを活用してより身近に、より気軽に手話の学習を始められる教材として、日本財団と香港中文大学が共同で開発を進め、Googleおよび関西学院大学の協力のもと完成しました。2021年5月にリリースしたベータ版を約8,500人に利用してもらい、フィードバックに基づいて改善を行っています。

「手話タウン」は、より身近に、より手軽に手話に触れられる「入口」を提供する手話学習ゲームです。ICTやAIによる手話認識技術を搭載し、通常平面のみしか認識しない一般的なカメラを使って、体の動きや表情、うなずき、口形等の特徴を含めた立体的な手話の動きを認識する認識モデルを開発しました。

ゲーム内では、手話が公用語の架空の町を舞台に、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なシチュエーションに沿った手話をゲーム感覚で学ぶことができます。また、手話に触れたことがない人から日常的に手話を使う人まで幅広く対象としており、手話のみならず、手話を第一言語とするろう者の文化についても理解を深めることができる情報をゲーム内にちりばめています。

ろう者にとって手話は、単なるコミュニケーションの手段ではなく、頭の中で物事を考え理解する上で用いる第一言語であり、アイデンティティでもあります。「手話タウン」をきっかけに、手話で簡単な会話ができる人や、将来的に手話通訳として活躍する人が増えることで、ろう者の幅広い活躍を後押しする土壌を整えたいと考えています。また、すでにいくつかの学校で総合学習の時間に取り入れていただいており、学校の授業でも手話に触れる機会がより多くなることを願っています。

日本財団では今後、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指してまいります。

9月22日（水）の発表会における登壇者のコメント（一部）

9月22日（水）に開催した発表会では、ご自身もろう者のくろえさん（ユリマガール）に「手話タウン」を実際に使っていただき、デモンストレーションを行いました。くろえさんは、動画配信サイトYouTubeで約7万人のチャンネル登録者数を持ち、日常生活に加え、「聞こえない人のあるある」など、自身が聞こえないことを自然体でネタにした動画が人気のYouTuberです。

「手話タウン」を体験したYoutuberくろえさんのコメント

今日初めて香港手話に挑戦してみて、難しいところもあったけれど、（自身の手話と見本を）比較できる機能がある点が、分かりやすいと思いました。私には小さい妹がいるのですが、（手話は）文章だけだと理解してもらえないこともあるので、こうやって動画で比較できると分かりやすいと感じました。イラストも可愛いので、ぜひ友達などにも遊んでもらいたいです。また、私は今後色々な国に行ってみたいと思っているので、香港手話以外にも様々な国の手話が追加されると嬉しいです。

ユリマガール くろえさん

日本財団 会長 笹川陽平のコメント

手話に関する背景

手話は、ろう者が意思疎通を図るために使用する言語であり、ろう者の社会参画を促進するためには、手話で生活ができる環境が不可欠です。2006年に採択された国連障害者権利条約で「手話は言語である」と明記され、日本国内でも2011年に障害者基本法で手話の言語性が認められましたが、手話とろう者への理解が十分に浸透しているとは言い難く、生活のあらゆる面で手話による参加が妨げられている現状にあります。一方で、新型コロナウイルス感染症の世界的な蔓延で政府会見に手話通訳を付与する例が世界各国でみられるなど、手話への関心は高まっており、手話の普及を推進するための好機が生じていると考えられます。

また、ICT活用が広く推進されている一方で、手話学習は学習者が手話の映像等を見て手話を記憶する形式が主流となっています。一方、「手話タウン」は、学習者が学んだ手話をパソコンカメラの前で表現すると、その手話表現が学習できたかをAI（人工知能）技術で確認することができる世界初（日本財団調べ）の手話学習ゲームとなります。また、ゲーム内では手話の表現だけではなく、手話を母語とするろう者の文化も学ぶことができ、「手話やろう者を理解する入り口」として役立てたいと考えています。

本ゲームは、2021年5月24日にベータ版を発表し、利用者からのフィードバックを基づき改善を行った上で9月23日手話言語の国際デーを記念し正式版を発表するものです。

ベータ版リリースについてはこちらをご覧ください。

「手話タウン」機能一覧

• 対応書記言語：日本語・英語・中国語（繁体字）
• 対応手話言語：日本手話・香港手話（各36語収録）
• パソコンカメラによる手話認識：カメラに向かって手話を表現することで、手話を学べたかを確認することができます
• 各単語にイラストを追加し、小さな子どもでも読みやすく、直観的に学べるようにしました
• 子どもや漢字が苦手な人でも読みやすい、やさしい文章にしました
• 見本映像の再生スピード調整：見本映像の再生スピードを標準かスローから選ぶことができます
• 見本映像の拡大表示：見本映像を拡大表示させて、詳らかな動きを確認することができます
• 見本映像と自分の映像の比較：自分の映像を見本映像と並べて再生し、手話表現の違いを確認することができます
• ろう文化あれこれ：「手話」や「ろう者」についてより理解してもらうため、「ろう文化」についての説明がゲーム内に散りばめられています
• チュートリアル：ゲーム開始前に、カメラの使い方がチェックできるチュートリアルがあります

「プロジェクト手話」について

「手話タウン」は「プロジェクト手話」の一環で、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指しています。今回公開した「手話タウン」は、「プロジェクト手話」の中間成果物に当たるものであり、手話表現に欠かせない手話の文法的な特徴の認識を目指しています。今後、手話辞書の作成を経て、自動翻訳モデルの開発を目指します。

手話認識技術の概要

手話は、手の動きだけでなく、体の動きや表情、うなずき、口形等も文法上重要な役割を果たしています。また、一般的なカメラは通常2Dで平面のみしか認識できず、動きや奥行きのある立体的な手話の動作を認識するためには、専用のカメラや手袋などの特別な設備が必要であり、一般的に普及させるのが難しい状況にありました。しかし、本プロジェクトは、通常平面のみしか認識しない一般的なカメラを使って立体的な手話の動きを、体の動きや表情、うなずき、口形等の特徴を含め認識する認識モデルを開発しました。

これまでの多くの手話認識モデルは、手の形と動きのみに焦点を当てた認識技術を開発していますが、手話は、上半身の向き、うなずき、表情等と組み合わせて表現するため、それだけでは精度の高い認識を行うことはできません。高精度の動作検出を実現させるためには、上半身、頭、顔、口も認識できる機械学習モデルを設計する必要があります。

これらの手話の重要な文法の特徴を認識するために、Googleが公開する機械学習用オープンソースライブラリTensorFlow™ を活用し、3つの機械学習モデルを組み合わせた手話動作の検出技術を開発しました。1つ目の機械学習モデルは人のポーズとジェスチャーを認識するPoseNet、2つ目は口と顔の表情を認識するFacemesh、最後に手の形と指の検出のためのハンドトラッキングです。また、適切な学習データを得るために、日本と香港で手話を日常的に使用しているろう者の手話映像データを収集し、システムに学習させました。

この手話認識技術を活用し、手話学習ゲーム「手話タウン」として展開しました。本アプリは標準ブラウザ上で利用できるため、ダウンロードは必要ありません。さらに、すべてがJavascriptを使用してブラウザ内で実行されるため、速い通信速度で利用でき、ユーザーのプライバシーの観点からも安全です。

なお、「手話タウン」ゲームの基盤となっている手話認識技術のソースコード（＊）はオープンソースとして無償で公開しています。これにより、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発することを可能にしています。

各団体の本プロジェクトでの役割

＜日本財団＞

プロジェクト全体の統括／手話・ろう者に関する知見の提供／開発に必要な資金提供

＜香港中文大学＞

プロジェクト全体の共同統括／手話言語学における学術的な見地からの監修／香港手話の学習データ収集／ろう者に関する知見の提供

＜Google＞

プロジェクトのコンセプト立案／AIによる手話認識技術の研究開発

＜関西学院大学＞

日本手話の学習データ収集／ろう者に関する知見の提供

手話言語の国際デーについて

9月23日は「手話言語の国際デー（International Day of Sign Languages）」です。ろう者の言語である手話の認知と重要性を呼びかける日として、2017年12月19日に国連総会にて採択されました。9月23日は、世界ろう連盟が1951年に設立した日です。同団体は、世界最古の国際レベルの障害当事者団体で、ろう者の手話による社会参加促進を図っています。現在約125カ国のろう当事者団体を傘下に置いています。