工学院大学は6月28日、国立情報学研究所情報学研究データリポジトリ（NII IDR）「研究者等提供データセット」上で、「工学院大学 多用途型日本手話言語データベース（KoSign）」（コサイン）の提供を開始した。約6360手話単語と10テーマ10件の対話が収録された、工学院大学調べで「質と量において世界初のデータセット」とのことだ。
KoSignのデータは、手話ネイティブの家系に育ったろう者で、日本手話を母語とする男女1名ずつによって、2017年から2019年にかけて、東映東京撮影所のモーションキャプチャースタジオで収録された。正面と左右に4KまたはフルHDカメラを置いて手話映像を撮影すると同時に、光学式モーションキャプチャーによる3次元動作データ（BVH形式/C3D形式/FBX形式）とKinectセンサーによる深度データ（Kinect v2のxef形式）も取得した。手話では、顔の表情や視線も大切な要素となるため、顔に33カ所、体全体に112カ所のマーカーを付けて顔や体の動きをキャプチャーしている。
日本で使われている手話には、日本手話、中間型手話、日本語対応手話の3種類があり、なかでも生まれつきのろう者が伝統的に使ってきた日本手話は、音声の日本語とは異なる文法を持ち、言語学的にも工学的にも研究があまり進んでいない。日本手話を使う人たちには、手話通訳者が使用する、話し言葉の文法と語順を基本とした日本語対応手話や、顔の表情を交えて日本手話と日本語対応手話を混在させた中間型手話では、内容を十分に理解できない場合もあるという。工学院大学の解説では、英語がよくわからない人が、英語字幕の映画を見ているような感じだと話している。
手話では3次元的な手の動きが重要となるが、これまで3次元の動作を集めた手話辞書は存在しなかった。また、紙媒体や2次元の動画教材では学習しにくいという課題があった。任意の角度から手話の動きを見られる「KoSign」は、ろう者の日常生活におけるコミュニケーションの理解度を深めると同時に、健聴者の手話学習にも役に立つと期待される。KoSignは、研究者や開発者に無料で公開されるため、所属が異なる研究者による調査でも、共通動作を対象に研究を進められるとしている。
また、データベースの単語を組み合わせて手話文を作ることもできる。下の画像は、桜島観光案内用にアンノテーション支援システムで描画し字幕を付けた応用例。
データは研究目的でのみ提供され、対象は基本的に大学の研究室や公的研究機関となる。詳細はこちら。
関連記事
・生命保険の約款や学校教材における漢字の誤読を低減、正確なイントネーションで音声合成を自動生成するAIシステム
・習得したいけど勉強は嫌……外国語が苦手な日本人でもゲーム感覚で言語が学べる無料アプリDuolingo
・グーグルが手話認識技術を開発、日本財団らが手話とろう者への理解促進を目指した手話学習オンラインゲームをベータ公開
・HTCが唇・舌・歯・アゴ・頬など口元38カ所をトラッキングできる「VIVE Facial Tracker」発表