日本財団らが手話習得ゲーム「手話タウン」正式版をローンチ、スマホ対応や音声からの手話作成などの目標も


公益事業をサポートする社会貢献財団「日本財団」は、「手話言語の国際デー」(9月23日)を目前に控えた9月22日に、手話学習オンラインゲーム「手話タウン」を正式公開し、発表会を開催した。同アプリは、香港中文大学関西学院大学Googleの協力を得て、ベータ版を公開していたもの。

香港中文大学と関西学院大学は、各国の手話データの収集やろう者に関する知見の提供を、またGoogleは、プロジェクトのコンセプト立案と機械学習用オープンソースライブラリー「TensorFlow」を活用し、人のポーズとジェスチャーを認識する「PoseNet」、口と顔の表情を認識する「Facemesh」、手の形と指の検出をするハンドトラッキング(Hands)といった3つの機械学習モデルを組み合わせた手話動作の検出技術を開発するといった役割を担った。

発表会では、日本財団会長の笹川陽平氏、開発チームの中心となった日本財団特定事業部True Colorsの川俣郁美氏、自身もろう者で「聞こえない人あるある」など耳の聞こえない人の日常を「ユリマガール」として発信しているYouTuber くろえ氏が登壇。手話言語を取り巻く日本の環境や、手話タウンにかける思いなどを語った。

日本では手話が言語認定されていない?

まず笹川氏は、国連総会で決議された「手話言語の国際デー」について触れ、「日本は障害者権利条約を批准しているにもかかわらず手話を言語として認めていない」という現状を語った。

日本財団会長の笹川陽平氏

「手話言語法制定がなかなか進まず、手話を言語として認めない状態では、障害者雇用も一向に進まない」とのことで、民間の大企業に関心を持ってもらうよう日本財団が働きかけてきたという笹川氏。

「世界には約15億人の障害者がいるという。働く能力も情熱もある彼らは、ビッグマーケットでもある。健常者には汲み取れないニーズを理解できる障害者を雇い入れることで、障害者が本当に必要とするような製品開発も進む。

すでにGoogleやMicrosoft、SONYや日立など大企業500社がタッグを組んで障害者雇用を率先して行っている。アフターコロナはこのようなダイバーシティ&インクルージョンが一気に進むだろう」(笹川氏)

「その取り組みのひとつが『手話タウン』。誰もが共に働ける社会の実現に向け、手話に気軽に触れてもらいたい」とあいさつをした。

手話タウンは手話への入り口

続いて登壇した川俣氏は、手話で手話タウンが生まれた背景、概要、目指すところについて説明した。

日本財団特定事業部True Colorsチーム 川俣郁美氏

聴覚障害者は世界で4億6600万人。会話はできるけれど聞き取りづらい、飛行機の轟音さえ聞こえないなどレベルは様々だが、20人に1人が聞こえで課題を持っていることになる。

そのうち、手話を日常的に使うろう者は20%。つまり、世界人口の100人に1人が手話でコミュニケーションをとっている。

ここでひとつ思い出したいことがある。私たちが「物心ついた時」というのは、言葉を覚え始めた頃ではないだろうか。つまり、言語と思考には密接な関連があるということだ。

音のない世界で生活するろう者(ここでは、手話の未習得者で耳の聞こえない人のこと)は、手話という言語を習得することにより、自分の意志を相手に伝え、相手のことを理解し、学習し、思考することができるようになる。このことから手話がコミュニケーションというものを超越した“生きることの基盤である”、ということが理解できるだろう。

しかし、「国内では手話を言語として認めないだけでなく、手話への理解も少ない」と川俣氏。「米国では手話を第2言語として教える手話クラスのある公立高校が1100校あるが、国内で手話を授業に総合学習のような形でも取り入れたことのある学校がある市区は38.3%(230市区)、に過ぎない。大学など高等教育機関に至っては、手話を語学として講義を行っているのが9校であるのに対し、米国では第2言語として792校がコースを開講している。西語、仏語に続き3番目に多く履修されている言語だ」と解説した。

「自治体で手話の講習会を開いているところもあるが、教育機関として学べる米国のように、体系的かつ若い時から学んで触れる機会がない日本では、ろう者が生活していく上で難しい場面も多い。

少しでも手話を身近なものと感じてもらいたい、手話に触れる入り口にしてもらいたい、という想いで手話タウンを開発した」(川俣氏)

公式版は、よりフレンドリーなユーザーインターフェースに

5月24日にリリースした手話タウンベータ版の体験者約8500人(延べ)から得たフィードバックにより、公式版では次のような改良が加えられた。

  • チュートリアルの追加
  • 見本動画の拡大・スロー再生機能追加
  • 見本動画と自分の手話の比較表示機能追加

手話は、顔だけでなく肘を含む手の動きで表現する。そのため、一般的なビデオ会議のとき以上にPCのカメラから離れる必要がある。どれほど離れる必要があるのか、正しく認識されているかをチェックするために、チュートリアルが追加された。

遊び方の説明も追加された。どのようにプレイするかが一目瞭然

チュートリアルではカメラの位置(実際には自分の位置)調整、認識するのに体のどの部分が必要なのかが、よりわかりやすくなった

スロー再生(0.25倍速再生)で細かい動きをしっかり把握しやすく

また、ベータ版では見本となる動画が小さく、動きも早かった。また、2つの窓で同時に表現するため、目がさまよってしまい、選んで表現したいと思う側に注目できないという課題も合った。実際、筆者も「これは指を何本立てているのか」「右下? 真下?」と戸惑うことが多かった(ダンスなどの振り付けを覚えにくいという特性も関係しているが……)。それが正式版では、拡大表示することで1ウィンドウで大きく見られるようになり、その状態でスロー再生(0.25倍速再生)して、しっかり動きを把握できるようになった。

以前の見本動画の一例。並べて表示するため小さく、目がさまよってしまう

正式版ではそれぞれの見本動画を拡大表示できるようになった。また「0.25x」をクリックすればスロー再生も可能。細かなところまで確認できる

地味な追加要素ながら、文字のわからない子どもや外国語話者でも理解できるよう、それぞれの見本動画の左上に、表現したいものを表すアイコンが添えられるようになった

見本動画と自分の手話表現の動画を見比べて、客観的に違いを確認できるように

最後は、自分の手話表現が「間違い」だったときに、見本動画と自分の手話表現の動画を横に並べることで、どこが違うのかを見比べられるよう比較表示機能が追加された。自分では完璧に真似をしているつもりでも、客観的に「そうじゃない」ということがわかるというわけだ。

手話タウンは「プロジェクト手話」の一環、音声からの手話作成や手話から音声への翻訳などの目標も

公式版になった手話タウンをプレイした くろえ氏は、「キャラクターがかわいらしいので、小さな妹と一緒にプレイできる。今、日本語手話だけでなく外国語手話に興味があるので、香港手話を学べるのはありがたい。今後、ほかの国の手話も学べるとうれしい。友人と一緒に遊んでみたい」と感想を語った。

「ユリマガール」YouTuber くろえ氏

川俣氏は、「手話タウンは、『プロジェクト手話』の一環に過ぎない。将来的には音声から手話を自動的に作成したり、手話から音声へ翻訳したりするという大きな目標がある。今は3場面、36単語しか学べない、またPCのウェブブラウザーからしかアクセスできない手話タウンだが、今後は単語数を増やし、スマホやタブレットでも遊べるようにしていきたい」と今後の抱負を述べた。

また、発表会後、個別取材に対応したTrue Colorsチーム チームリーダー青木透氏は「手話タウンは、手話に触れる門戸を広げることが第一の目的なので、今はアカウントの作成や登録なしにプレイしてもらえる仕様になっている。しかし、場面や単語数が増えた将来には、習熟度をチェックしたいというニーズも増えてくるだろう。協力者である香港中文大学、Google、関西学院大学と共に、アカウント方式にするかしないかを検討するようになるかもしれない」と話していた。

Googleが手話認識技術開発で協力、ゲーム感覚で手話を学びろう者への理解を深める「手話タウン」をプレイしてみた

9月23日は「手話言語の国際デー」だ。これは、手話言語(以下、手話)が音声の言語と対等であることを認め、ろう者の人権が保証されることを目的に、国際連合が2017年12月19日に決議したもの。手話について意識を新たにする日となる。

とはいえ、「手話はよくわからない」「やったことがない」「学んだものの試す機会がない」という人も少なくないだろう。

そのような人たちにぜひとも試してもらいたいのが手話学習オンラインゲーム「手話タウン」だ。

手話タウンとは?―日本財団が香港中文大学・関西学院大学・Googleの協力によって開発

手話タウンとは、公益事業をサポートする社会貢献財団「日本財団」が、香港中文大学、関西学院大学、Googleの協力によって開発したウェブブラウザー上でプレイできるゲーム。現在はベータ版だが、手話言語の国際デーに正式公開することを目指してテストや開発が進められている

香港中文大学はプロジェクト全体の日本財団との共同統括、手話言語学における学術的見地からの監修、手話データの収集、ろう者に関する知見の提供を、関西学院大学は日本手話の学習データ収集とろう者に関する知見の提供、Googleはプロジェクトのコンセプト立案、AIによる手話認識技術の研究開発をするといった役割を担う。日本財団は、手話・ろう者についての知見の提供ならびに開発に必要な資金の提供を行っている。

また手話タウンプロジェクトでは、2Dしか認識できない一般的なカメラでも立体的な手話の動きを、上半身、頭、顔、口も含めて認識できる機械学習モデルを開発。日本と香港で手話を日常的に使用しているろう者の手話映像データを収集し、学習させることで、手話学習者が正しく手話を表現できているかの判断を可能にしているという。基盤となっている手話認識技術はTensorFlowを活用し3つの機械学習モデル(PoseNet、Facemesh、ハンドトラッキング)を組み合わせており、ソースコードについてはオープンソースとして公開している。

ウェブカメラ、PCとウェブブラウザー、そして手話を学びたい心があればすぐに始められる

ゲームに必要なのは、ウェブカメラを搭載してネットに接続されているPCとウェブブラウザー、そして手話を学びたいという心だ。アカウントの登録も、課金も必要ない。また、あらかじめ手話を覚えておく必要もない。

手話タウンにAndroidおよびiOSのウェブブラウザーでアクセスしたところ、PC用ブラウザーを利用するようメッセージが表示された

手話タウンにAndroidおよびiOSのウェブブラウザーでアクセスしたところ、PC用ブラウザーを利用するようメッセージが表示された

プレイヤーは手話タウンと呼ばれる架空の町を旅行しながら、少しずつ手話のアイテムを集めていく。例えば、色や服飾小物、食べ物などだ。

学べる手話は、日本手話と香港手話のいずれか。小学生の頃に手話に親しんだ筆者が、ベータ版手話タウンに挑戦してみた。選んだ手話言語は日本語手話だ。

荷づくりからチェックインまで体験

手話タウンにアクセスしたら、まずは表示する言語を選ぼう。日本語、英語、中国語(繁体字)から選べる。

ついで、手話言語を日本語手話と香港手話のいずれかを選ぶ。

ゲームは、出発前の荷づくりからスタートする。アイテムをどんどん選んでいき、荷造りを完成させる。なお、始めると、2つのアイテムを示す「お手本動画」が流れる。どちらかを手話で表現することで、アイテムを「選んで」いける。

2つのお手本動画が同時に流れるので、最初は自分にとってわかりやすいものを選ぼう。「できた」という達成感が重要なのだ

正しく手話を表現できると「手話で表そうとしたのは……?○○?」と表示され、その手話が表すアイテムの“バッジ”を集められる。表現が不明瞭だと「ごめんなさい!どの手話単語か分かりませんでした。」と表示される。スキップすることも、やり直すことも可能だ。

正しく表現できると「手話で表そうとしたのは……?○○?」と表示される。意図したものであれば「はい」を選んで次へ進もう

「腕時計」「ハイヒール」をなかなか表現できず、心が折れそうになる場面も

ゲームは、アイテムのバッジを集めていくことで進んでいくが、途中で次の場面に移動することも可能。もっとも、挑戦中のステップを完成させたほうが達成感を味わえるのは言うまでもない。

荷づくりのステップで集められるアイテムは6つだが、何回もチャレンジすれば、覚えられる手話単語はその倍の12に増やせる

ゲーム内では、手話タウンにあるレストランで食事をし、ホテルにチェックインするところまで体験する。レストランではメイン料理名、食材、飲み物などの手話単語を、ホテルでは喫煙・禁煙室、現地払い、カード払いといった、実際に宿泊する際に必要になる手話単語を覚えられる。

ゲームが進むにつれ、表現が複雑になってくるのだが、何度もお手本動画を確認したり、カメラに向かって表現することでクリアできるようになる。

また、何度もプレイしているうちに、「なぜワインは『3』を表す指で表現するのだろう」「なぜレモンは……」などと疑問が浮かんでくることだろう。能動的に調べることで、「そういうことか」と謎が解け、もっと手話を学びたいと思うようになるかもしれない。

ろう者についてもっと知ることができる工夫も

手話タウンでは、手話単語だけでなく、ろう者の文化を学べる工夫もなされている。場面が進んだときに現れる白いキャラクターをクリックすると、目覚ましのアラームはどうしているのか、ろう者がいたらどのように声がけすればいいかといったプチ情報が表示され、ろう者への理解を深めるのに一役買っている。

白いキャラクターのうち、線が赤く点滅しているものをクリックしてプチ情報を表示できる

ノックの代わりに電気を点けたり消したりする、という目からうろこの情報

各場面でのプチ達成感が、手話を学びたいという意欲をかきたてる

まだベータ版ということもあり、「荷づくり」「食事」「宿泊」の3場面だけだが、各場面をコンプリートしたときに得られるプチ達成感が、手話を学びたいという意欲をかきたてる。

なお、手話は手だけでなく、顔の表情や上半身も使う。そのため上半身全体が収まるよう、カメラとの距離が必要になる。また、AIが表現した手話を認識しやすいよう、プレイするときには柄物より無地に近い服を選んだほうがよいだろう。さらに、手話を表現するときに、それが表す単語を口にすると、口の形も読み取れるため認識率がアップする。

手話タウンにチャレンジする人が増えることで、ろう者への理解が深まり、手話への抵抗感が少ない社会の醸成されることが期待したい。

グーグルが手話認識技術を開発、日本財団らが手話とろう者への理解促進を目指した手話学習オンラインゲームをベータ公開


公益事業をサポートする社会貢献財団「日本財団」は5月24日、香港中文大学関西学院大学Googleの協力を得て、手話学習オンラインゲーム「手話タウン」のベータ版を公開した。

手話タウンでは、PCカメラの前で手話を表現することで、手話が公用語の架空の町「手話タウン」を旅しながらアイテムを集めていく。学習した手話で正しく表現できているかを、AI技術を使って確認できるというわけだ。

手話学習者であれば、手話が単なる手の動きだけでなく、顔の表情、頷き、上半身を使った身振りなどを交えたものであるということを認識しているが、これまでの手話認識モデルは手の形と動きのみにフォーカスした認識技術にとどまっていた。

また、PCに搭載しているカメラは一般的に2D(平面)認識しかできず、奥行きのある立体的な手話の動作を認識するには専用カメラや認識を容易にする手袋といった特別な設備が必要だったため、広く普及させるのが困難であった。

しかし、今回の手話タウンプロジェクトでは、2Dしか認識できない一般的なカメラでも立体的な手話の動きを、上半身、頭、顔、口も含めて認識できる機械学習モデルを開発。日本と香港で手話を日常的に使用しているろう者の手話映像データを収集し、学習させることで、手話学習者が正しく手話を表現できているかの判断を可能にした。

今回、香港中文大学はプロジェクト全体の日本財団との共同統括、手話言語学における学術的見地からの監修、手話データの収集、ろう者に関する知見の提供を、関西学院大学は日本手話の学習データ収集とろう者に関する知見の提供、Googleはプロジェクトのコンセプト立案、AIによる手話認識技術の研究開発をするといった役割を担う。日本財団は、手話・ろう者についての知見の提供ならびに開発に必要な資金の提供を行っている。

誰もがスマホを持ち歩いていることから、ろう者に対しても「その場で入力したテキストを見せれば良いのではないか」と、健常者は考えるかもしれないが、生まれつき耳が聴こえない場合、文字を音として認識できず、理解が難しい場合が多い(「ろう児はどのように文字習得をするか」)。

その点、手話であれば、日常的に使っているため、一瞬で理解できる。そのことからも、2006年には国連障害者権利条約で「手話は言語である」と明記され、国内でも2011年には障害者基本法で手話の言語性が認められたが、手話とろう者への理解は未だ十分に浸透していない。

とはいえ、コロナ禍でひんぱんに行われる政府会見で手話通訳者を見る機会が増えたことから、手話への関心は高まりつつある。今回の手話タウンプロジェクトは、これを好機ととらえ手話やろう者への理解促進を図る目的で開発された。

手話タウンでは、言語を英語、日本語、中国が(繁体字)から、手話言語を日本手話と香港手話から選択可能。9月23日の手話言語の国際デーに正式公開を目指し、公式サイトにおいてフィードバックを募集している。

なお、基盤となっている手話認識技術はTensorFlowを活用し3つの機械学習モデル(PoseNet、Facemesh、ハンドトラッキング)を組み合わせており、ソースコードはオープンソースとして公開している。これにより、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発することを可能にしているそうだ。

関連記事
グーグルの研究者がビデオ通話で手話を認識して画面を切り替える技術を披露
手の動きを追跡するGoogleのアルゴリズムで手話を認識できるか

カテゴリー:パブリック / ダイバーシティ
タグ:アクセシビリティ(用語)オープンソース / Open Source(用語)関西学院大学(組織)Google / グーグル(企業)手話(用語)TensorFlow日本財団(団体)香港中文大学(組織)日本(国・地域)

関西学院大学と日本IBMが授業と同内容の「AI活用人材育成プログラム VL版」を企業・自治体・大学に提供開始

関西学院大学と日本IBMが実際の授業と同内容の「AI活用人材育成プログラム VL版」を提供開始、2024年度に受講者年間5万人を目指す関西学院大学は4月27日、日本アイ・ビー・エム(日本IBM)と共同開発した「AI活用人材育成プログラム バーチャルラーニング版」(VL版)について、2021年7月より企業・自治体・大学に対し有償提供を開始すると発表した。2024年度に受講者を年間5万人に拡大するとしている。

価格は1科目につき税込2万2000円/年、同じ科目の2年目以降の再受講は税込6600円/年で履修可能となり、継続的な学習による知識の定着を目指す。2021年度は年間5000人の社会人の受講利用を見込んでおり、2021年7月より大同生命保険が本社職員1500人の受講を予定している。関西学院大学と日本IBMが実際の授業と同内容の「AI活用人材育成プログラム VL版」を提供開始、2024年度に受講者年間5万人を目指す

関西学院大学と日本IBMが実際の授業と同内容の「AI活用人材育成プログラム VL版」を提供開始、2024年度に受講者年間5万人を目指す

VL版は、初学者でもAI活用の実践的な知識・スキルを体系的に修得できるよう設計した「AI活用入門」「AI活用アプリケーションデザイン入門」、「AI活用データサイエンス入門」の3科目(1科目20時間程度)で構成しており、すべてオンライン(オンデマンド)での開講となる。

これら内容は学内開講プログラムと同じで、音声や字幕によるガイダンス、講師の解説、デモ動画、オンラインでの演習、時間制限付きの課題研究、ランダムテストなどの多様な機能を有するオンライン・プラットフォームとなっているという。またプロシーズが提供するLMS「Learning Ware」(ラーニングウエア)を利用しているため、企業・自治体・大学側でのシステムの導入は必要ないそうだ。

学習者の質問に対しては、IBM Watson Assistantを搭載したチャットボットで回答する仕組みを構築しており、提携する企業・自治体に所属する社会人は、時間や場所の制限なく、いつでもどこでも何度でも受講が可能。

受講時間は、1科目あたり20時間程度。単元ごとに設定されているオンラインテスト(ランダム出題)すべてを一定の正解率でクリアすれば合格し、修了証と、オープンバッジ・ネットワークがブロックチェーンで管理するデジタル修了証「オープンバッジ」が発行される。オンラインテストの正解率、講義の早送り・スキップ禁止などの条件を解除する設定も可能だが、その場合は修了証は付与されない。またオープンバッジは、IMS Global Learning Consortium(IMS Global)が定める国際技術標準規格に準拠したものとなっている。

2022年度以降、「AI活用実践演習A(JavaによるWebアプリケーションデザイン)」「AI活用実践演習B(Pythonによる機械学習・深層学習)」「AI活用実践演習C(Webデザイン)」の3科目を提供科目として順次追加し、2024年度には合計6科目を提供する。

今後は企業や自治体をはじめ大学にも提案し、2022年度からは社会人、高校生などにも展開。2024年度には受講者を年間5万人に拡大させることで、関西学院大学と日本IBMは、AI人材の創出に貢献する。

関西学院大学と日本IBMが実際の授業と同内容の「AI活用人材育成プログラム VL版」を提供開始、2024年度に受講者年間5万人を目指す

関西学院大学は、「AI・データサイエンス関連の知識を持ち、さらにそれを活用して、現実の諸問題を解決できる能力を有する人材」の育成を目的に、2017年より日本IBMと共同プロジェクトを立ち上げ、「AI活用人材育成プログラム」を開発した。

関西学院大学による学術的な知見と、日本IBMのコンサルタントやデータサイエンティストによる多様なAIの社会実装の先進事例を反映した実践型プログラムとして10科目で構成しており、2019年4月より文系理系問わず全学部生を対象に開講しているという。

2021年度には「AI活用入門」「AI活用アプリケーションデザイン入門」「AI活用データサイエンス入門」の基礎3科目をe-ラーニング化しVL版として開講したところ、AIリテラシーの修得を目的とする「AI活用入門」のVL版初年度春学期の履修者は2071人に上り、学生のAIに関する関心の高さが示されたという。

関連記事
大学の入門コースをオンラインで提供、単位も取得できるOutlier.orgが32億円調達、コロナ禍で需要増大
中央大学とスクエニが「特殊講義(ゲームプランニング)」を国際情報学部で開講
法政大学とShopifyが連携、2021年春講義の実習としてeコマース人材育成プログラムを学生約100名対象に提供
「量子ネイティブ」育成に向けた「Q-LEAP 量子技術教育プログラム」公式サイトが公開
コンピューター技術者を目指す若者にまずは学位を取らせるEdTech「Edge Pathways」

カテゴリー:EdTech
タグ:IBM(企業)AI / 人工知能(用語)オンライン学習 / eラーニング / オンラインレッスン(用語)関西学院大学(組織)教育 / EdTech / エドテック(用語)日本(国・地域)