グーグルが顔のジェスチャーを利用したショートカットやスイッチでアシスティブ技術を強化

スマートフォンをもっとアクセシブルにすることは、常に大切な考えだ。Google(グーグル)の最新機能では、主に表情で周囲とコミュニケーションをとる人がすばやくアクションを実行したり操作したりすることができるようになる。同社のProject Activateアプリやカメラスイッチ設定を使うと、ユーザーはカスタムのフレーズを話したりスイッチインターフェイスで操作するといったタスクを顔のジェスチャーだけで実行できる。

Project Activateアプリやカメラスイッチ設定の新機能では、スマートフォンの前面カメラが使われる。前面カメラがリアルタイムで、微笑む、眉を上げる、口を開ける、左を見る、右を見る、上を見るの6種類の表情のいずれかを認識する。完全にデバイス上の処理で実行され、画像データは保存されず、一般に「顔認識」と考えられていることもしていない。ここで利用されている機械学習は、例えば眉を識別してカスタマイズ可能な一定のしきい値を超えたときに信号を送るといった機能に特化されている。

それぞれの表情に異なる動作を割り当てることができる。Androidはすでにジョイスティックや息を吹き込むチューブなどのアシスティブ技術を使って操作できるようになっているが、カメラスイッチはこうしたスイッチの互換性と統合されている。これにより周辺機器を何も使わずに操作できるようになり、ユーザーは選択を繰り返す、選択項目を確認する、戻るなどの操作にさまざまな顔のジェスチャーを使うことができる。

画像クレジット:Google

Project Activateアプリを使うと、フレーズを話すというような単独で完結するアクションと表情を紐づけることができる。障がいのある人の多くはさまざまな理由で介助者のサポートを必要とするが、介助者にはできないことがある。それは、介助者に話しかけることだ。だから眉を上げるとデバイスが「ねえ!」とか「お願いします」とか「ありがとう!」と言葉を発するように割り当てられるアプリは便利だ。

ジェスチャーを使ってオーディオファイルを再生したり、テキストメッセージを送信したり、あらかじめ決めておいた番号に電話をかけたりすることもできる。表情や機能を増やすのはこれからだが、言語についてもこれからだ。顔にはもちろん言語はないが、アプリや対応するドキュメントには言語がある。Project Activateアプリはまず英語圏の国を対象とし、そこから広げていく。一方のカメラスイッチの設定は最初から80言語に対応する。

Project Activateアプリとカメラスイッチ設定は同時に使用できないことを付記しておく。両方ともカメラへのアクセスと表情の識別が必要だからだ。したがって、ユーザーは操作をするための予備の方法を用意しておく必要がある。両方とも、ここ5年ほどで販売されたAndroidスマートフォンでかなりきちんと動作するはずだ。

最後に、視覚障がいのある人向けにラベルなどを読み上げるGoogleのLookoutアプリがアップデートされ、印刷物と同じように手書きの文字もスキャンして読めるようになる。付箋、店頭にある「釣りに行っています」の貼り紙、贈り主からのメッセージが書かれたグリーティングカードなどに便利だ。このアプリはこの1年間で利用者が大幅に増えて機能が強化されている(新たにユーロとインドのルピーの紙幣を識別できるようになることも成長を加速させるだろう)。

紹介した新機能はすべて今週中に無料で使えるようになる予定だ。

関連記事:グーグルの視覚障がい者向けAIアプリ「Lookout」で食品ラベルや長文のスキャンが可能に

画像クレジット:Google

原文へ

(文:Devin Coldewey、翻訳:Kaori Koyama)

Google Android 10のジェスチャーやダークテーマの利用法

Googleが今朝からAndroid 10を配信中というニュースはすでに掲載済みだが、アップデートの目玉機能、ダークテーマとジャスチャーナビゲーションを利用するためには設定の変更が必要だ。利用の手順を簡単にまとめてみた。

アップデート

「設定」→「システム」→「詳細設定」→「システムアップデート」と進みアップデートのバナーをタップする。アップデートの際にアプリの最適化も実行されるため、アプリ数によって.30分から1時間くらいかかる。アップデート時には電源を接続しておくほうがいい。「再起動時の自動アップデート」ではアップデートされない場合があるようなので「設定」からアップデートするほうが安全だ。

ダークテーマ

Android 10で最大の注目機能の1つだが、UIデザイン要素であり正確にいえばモードではない。設定時刻になると色調が変わる「夜間モード」と紛らわしいがまったく別物。「設定」→「ディスプレイ」→「ダークテーマ」をオンにする。ダークテーマを利用するとサポートしているアプリはすべて自動的にダークテーマとなる。ただし今のところサポートしているアプリは少ない。ロック画面、ホーム画面を黒にしたい場合は「設定」→「ディスプレイ」→「壁紙」の「カムアライブ」から「バースト、ミッドナイト」など黒系の壁紙を選ぶ。

ジェスチャーナビゲーション

 

このオプションを有効にすると、「戻る」と「ホーム」の2ボタンが表示されなくなる。「設定」→「システム」→「操作」→「システムナビゲーション」と進む。「ジェスチャーナビゲーション」と「2ボタンナビゲーション」のオプションが表示される。それぞれ使い方が表示されているので「ジェスチャーナビゲーション」を選ぶ。

ジェスチャーは、「ホーム」(画面下部から上にスワイプ)、「切り替え」(下から上にスワイプ長押し)、「戻る」(左右エッジからスワイプ)の3種類。 画面下部から上にゆっくりスワイプするとアプリ一覧画面になりアプリの切り替えができる。縮小ウィンドウが表示されたら左右スワイプでアプリ間を移動するのは現行と同様。すべてのアプリを右に移動すると左側に「すべてクリア」が表示される。

記事にもあるように操作のタイミングで望みの動作行われないことがある。またアプリ内「←」アイコンが表示されていることもある。この場合アイコンのタップでもスワイプでも「戻る」動作となる。

セキュリティ・位置情報・広告

「設定」→「セキュリティ」からセキュリティアップデート、Google Playのアップデートが可能になった他、位置情報のコントロールも強化されており、「設定」→「位置情報」から利用できる。「設定」→「プライバシー」→「詳細設定」→「広告」から広告IDのリセットやターゲット広告からのオプトアウトなどができる。

ライブキャプション

Lardinois記事にあったように、まだライブキャプションは来ていないがこれがAndoroid 10で一番重要な機能かもしれない。もともとは聴覚にハンディキャップがある人々にコンテンツを漏らさず伝えたいというところから開発が始まったようだ。しかし我々にとっては英語のスピーチをワンタッチでテキスト化できるわけで応用範囲が広い。精度、信頼性、対応範囲など実際にテストみないと実用性は正確に判斷できないが、YouTubeの自動テキスカ技術のレベルなら期待できそうだ。こちらは改めてテストするチャンスがあるかもしれない。

滑川海彦@Facebook

Google、Android 10をリリース、日本でも配信中

GoogleがAndroid 10の配信を開始した。手持ちのスマートフォンがGoogleからのOSアップデートのダウンロードとインストールをサポートするならすでに利用できる状態だ。今のところこの機能を持つのはGoogle自身が発売するPiexl 3が中心となる。ただし多くのAndroidデバイスはベータ版をサポートするので、ベータ版時代に10をインストールしたユーザーもいるだろう。

最近のAndroid OSの開発は非常にオープンになっているので、機能についてはすでに広く知られている。ここ数回のアップデート同様、一見しただけでは最新版がインストールされているかどうか判別しにくい。もちろんAndroid 10にもさまざまな改良が加えられているが、最も重要なアップデートはデフォルトでは見えない位置に隠れている。

誰もが一番興味を持っていたのはダークテーマ(モード)だろう。Android 10のダークテーマは十分期待に応える出来栄えだ。これにより夜間のデバイス利用が快適になるだけでなく、OLEDディスプレイの電力消費も抑えられる。ダークテーマはGoogleフォトやカレンダーなど多くのアプリが自動切り替えサポートしている。ただしどのアプリがサポートしているかとなるとややランダムで健康アプリのFitはダークテーマをサポートしているが、Gmailはまだしていない。

もう1つの目立つアップデートはジェスチャーによるナビゲーションだ。この機能はオプションで、ユーザーは慣れ親しんだ3ボタンのナビゲーションを使い続けることができる。新しいナビゲーションはAndroid 9(Pie)で提供が開始されたオプションをさらに改良したものだ。Android 9よりもジェスチャーに正確に反応するようになるなど効率性、快適性が高まった。特にジェスチャーによるアプリの切り替え処理が高速になった。

エッジから左右にスワイプすることでアプリを切り替えることで「戻る」ボタンそのものが必要なくなったている(設定アプリの「システム」から変更する)。スワイプのタイミングによってはナビゲーションドロワーが引き出されることがある。実は「ことがある」と書いたもののこれはかなりイライラさせられる経験だ。うまく行くときもあればうまく行かないときもある。プライバシーとセキュリティ関連のアップデートもいくつかある。位置情報データの設定がきめ細かくなった。広告設定も以前よりいくらか目立つデザインになっている。

Google Playアプリがアップデートされ、重要なバグフィックスやセキュリティ機能のアップデートがGoogle Playストアから直接プッシュ配信できるようになった。つまりAndroid OS全体をアップデートしなくてもパッチを導入できるわけだ。Android OSのアップデートのサイクルは遅いのでこれは重要な新機能だ。Googleではシステムをモジュラー化してコアとなるOS部分とセキュリティやプライバシーを管理する部分を切り離していく戦略だ。

あと2つの重要な新機能はまだベータ版のままで、一般に配信されるのはもう少し待つ必要がある。ひとつはフォーカス・モードで不要なアプリを隠して当面の作業に集中できるようにする。これはまだベータ版のみだ。デバイスの利用時間をモニターするデジタルウェルビーイング系の機能だが私の場合、たいして生産性の向上には寄与しそうない。

もうひとつの目玉はあらゆるビデオ、オードィオのコンテンツに自動的に字幕を付加するLive Caption機能だが、こちらは秋にPixel向けに公開されるという。こちらはさざまなユースケースが考えられるの期待大だ。

もうひとつAndoroid 10からは折り畳みデバイスがサポートされるようになった。

以上簡単に見てきたが、あくまでアップデートのごく一部に過ぎない。パフォーマンス、使い勝手の向上のためにさまざまな改良が行われtいる。ただしほとんどのユーザーは特に新バージョンを意識することなく現行Androidの延長として利用を続けられるだろう。ダークモード、ジェスチャー・ナビゲーションなどの大きなアップデートもオプションなので利用するためには積極的に選択する必要がある。しかしこうした漸進的改良はモバイルOSのアップデートにあたってきわめて適切な方向だ。

原文へ

(翻訳:滑川海彦@Facebook