編集部注：本稿を執筆したDebbie Pope氏は、The Trevor Projectで開発部シニアマネージャーを務める人物。
—
AIや機械学習ツールが浸透し普及が進むにつれて、あらゆる組織の製品チームとエンジニアリングチームがAIを活用した革新的な製品や機能を開発するようになった。AIはデータを扱う組織なら避けては通れないパターン認識や予測、ユーザーエクスペリエンスのパーソナライゼーションなどに特に適している。
AIを適用する際に必要なのは、莫大な量のデータである。AIモデルのトレーニングには通常大規模なデータセットが必要となり、また大規模なデータセットを持つ組織はAIなら解決できるであろう課題にほぼ確実に直面している。言い換えると、データセットがまだ存在しない場合、データ収集はAI製品開発の「フェーズ1」とも言えるわけだ。
使用するデータセットが何であれ、データ収集やその他何らかの形でAI機能に人が関与しているはずだ。データ収集時やユーザーにデータを表示する際、UXデザインとデータの視覚化における指針は早期の段階で検討する必要があるだろう。
1. ユーザーエクスペリエンスを早期に検討する
ユーザーがどのようにAI製品を使用するのかをモデル開発の初期段階から理解しておくと、AIプロジェクトが明確になりチームが共有された最終目標に集中できるようになる。
例えば映画配信サービスにある「あなたにおすすめの映画」のセクションの場合、データ分析を開始する前にこの機能でユーザーに表示される内容を明確にしておくことで、チームは付加価値のあるモデル制作のみに集中できるようになる。おすすめセクションでは映画のタイトル、画像、俳優、長さがユーザーにとって重要な情報になるとユーザー調査で判明した場合、エンジニアリングチームはどのデータセットを用いてモデルをトレーニングするかを確定する際に重要なコンテキストを把握していることになる。俳優と映画の長さのデータが、おすすめのセクションの正確性の鍵となるようだ。
ユーザーエクスペリエンスは3つに分類することができる：
- 前 – ユーザーは何を達成しようとしているのか？ユーザーはどのようにしてこのエクスペリエンスに到達できるのか？ユーザーはどこへ向かうのか？ユーザーは何を期待すべきか？
- 途中 – ユーザーが判断するために何が表示されるべきか？次に何をすべきかが明確か？エラーが生じた際にどのようにして克服するか？
- 後 – ユーザーは目的を達成したか？エクスペリエンスに明確な「終わり」があるのか？フォローアップとしてのステップは何か？
モデルと関わる前、途中、後にユーザーに何が表示されるべきかを知ることで、エンジニアリングチームは最初から正確なデータでAIモデルをトレーニングし、ユーザーにとって最も役立つ結果を提供することが可能になる。
2. データの使用方法について透明性を維持する
ユーザーから収集しているデータに何が起こっているのか、そしてなぜそれが必要なのかをユーザーは認識しているだろうか。ユーザーは利用規約を読む必要があるだろうか。こういった点を解決するため、製品に理論的根拠を追記することを検討すべきである。「このデータにより、より優れたコンテンツを推奨できるようになります」といった単純な一言により、ユーザーエクスペリエンスにおける摩擦が取り除かれ、エクスペリエンスに透明性がもたらされるのだ。
The Trevor Project（トレバー・プロジェクト）のユーザーがカウンセラーに支援を求める際、カウンセラーに繋げる前に私たちがユーザーから収集する情報は、より良いサポートを提供するためのものである、ということをユーザーに明確に説明している。
Image Credits: Trevor Project
モデルがユーザーにアウトプットを提示する場合は、さらに一歩進んでモデルがどのように結論を出したかを説明すべきである。グーグルの「この広告について」のオプションでは、表示される検索結果をもたらす要素について詳しく知ることができる。さらに広告のパーソナライゼーションを完全に無効にして、ユーザーが個人情報の使用をコントロールすることも可能だ。モデルの仕組みやその正確さのレベルを説明することにより、ユーザー層からの信頼が高まり、ユーザーはその結果を利用するかどうかを自分なりに決定できるようになる。結果が低精度であっても、ユーザーから追加のインサイトを収集してモデルを改善する促進剤として活用できるわけだ。
3. モデルのパフォーマンスに関するユーザーのインサイトを収集
ユーザーに対してエクスペリエンスに関するフィードバックを提供するよう促すことで、プロダクトチームはユーザーエクスペリエンスを継続的に改善することができるようになる。フィードバックの収集について検討する際、AIエンジニアリングチームが継続的なユーザーフィードバックからどのような利益を得ることができるかについて考えてみてほしい。人間はAIが検出できない明らかなエラーを発見できる場合があり、人間だけで構成されているユーザーベースは時として非常に効果的なものとなり得る。
実際のユーザーフィードバック収集の例として、グーグルがあるメールを危険であると識別した場合でもユーザー自身の見識を元にメールに「安全」のフラグを付けることができるというものが挙げられる。ユーザーによる継続的な手動での修正により、モデルは危険なメッセージがどのようなものなのかを時間の経過とともに学習することができる。
Image Credits: Google
AIが正しくない理由をユーザー層が説明できる場合、モデルは著しく改善されるだろう。AIが示す結果にユーザーが違和感を感じた場合に、ユーザーが簡単にそれを報告できる方法を考えてほしい。エンジニアリングチームに重要なインサイトを集め、モデルを改善するための有用なシグナルを提供するために、ユーザーにどのような質問をするべきだろうか。エンジニアリングチームとUXデザイナーが共にモデル開発の早い段階からフィードバック収集を計画すれば、継続的で段階的な改善のためにモデルを設定することができるだろう。
4. ユーザーデータを収集する際アクセシビリティを評価する
アクセシビリティの問題が原因でデータ収集に偏りが生じ、偏りのあるデータセットでトレーニングされたAIによってAIバイアスが生じることがある。例えば主に白人男性の顔で構成されるデータセットでトレーニングされた顔認識アルゴリズムは、白人でも男性でもない人ではうまく機能しない。LGBTQの若者を直接サポートするTheTrevor Projectのような組織では、性的指向や性同一性への配慮が非常に重要だ。包括的なデータセットを外部から探し出すということは、提示したり収集したりする予定のデータが包括的であることを保証するのと同じくらい重要なのである。
ユーザーデータを収集する時、ユーザーがAIと関わる際に利用するプラットフォームとそれによりアクセスしやすくする方法を検討してみてほしい。プラットフォームの利用に支払いが必要な場合や、アクセシビリティ・ガイドラインを満たしていない場合、またはユーザーエクスペリエンスに問題がある場合、サブスクリプションを購入できない人、アクセスする際に特別な支援を必要とする人、またはテクノロジーに精通していない人からのシグナルが届きにくくなってしまう。
すべての製品リーダーやAIエンジニアは、社会から疎外され過小評価されているグループに属する人々が製品にアクセスできるようにする能力を持っている。データセットから無意識的に除外してしまっているグループを理解するということが、より包括的なAI製品を構築するための最初のステップと言えるだろう。
5. モデル開発の開始時に公平性を測定する方法を検討する
公平性と包括的なトレーニングデータの確保は密接に関連している。モデルの公平性を測定するには、そのモデルが特定の使用環境でどの程度公平性を低下させてしまうかを理解する必要がある。人のデータを使用するモデルの場合、さまざまな人口統計を用いてモデルがどのように機能するかを確認することから始めるのが良いだろう。ただし、データセットに人口統計情報が含まれていない場合、この種の公平性分析は不可能である。
モデルを設計する際、使用するデータによってアウトプットがどのように偏るか、または特定の人々が十分なサービスを受けられない可能性について考えるべきである。トレーニングに使用するデータセットやユーザーから収集するデータが公平性を測定できるほど充分なものであるかを確認し、また定期的なモデルメンテナンスの一環として、公平性を監視する方法を検討してみてほしい。公平性のしきい値を設定し、時間の経過とともにモデルの公平性が低下した場合はモデルを調整したり再トレーニングしたりするための計画を構築する必要がある。
新人でもベテランでも、AIを活用したツールを開発する技術者として、ツールがユーザーにどのように認識され、どう影響を与えるかを検討するのに早すぎることも遅すぎることも決してない。AIテクノロジーは何百万人ものユーザーにリーチすることができ、大変重要なものがかかっている使用事例に適用される可能性もある。AIのアウトプットが人々にどのように影響するかを含め、ユーザーエクスペリエンスを総合的に考えるということは、ベストプラクティスであるだけでなく倫理的にも必要不可欠なことなのである。
カテゴリー：人工知能・AI
タグ：コラム
[原文へ]
（翻訳：Dragonfly）
