タグ: バイアス

編集部:この記事はVince Lynchの寄稿。Lynchは人工知能企業、 IV.AIのCEO。同社は企業が顧客サービスを向上させるために人工知能による自然言語処理に関する理解を深めることを助けている。

歴史における現在の時点で人間のバイアスがもたらす危険に目を無視することは不可能だ。コンピューターがこの危険を増幅している。われわれは機械学習を通じて忍び込む人間のバイアスの危険性はいくら強調しても強調しすぎることはない。これによって引き起こされる害悪は大きく2つに分けられる。

• 影響：「AIがこうだと言っている」といえば、人々はそれを信じてしまう。 AIシステムの学習過程で人間のバイアスが混入していても気づかれにくい。ストレートなバイアスよりはるかに広い範囲に悪影響を与えることになる。
• オートメーション：AIモデルが実用的な目的のために用いられることがよくある。つまりバイアスを隠したオートメーション・システムができてしまう。

光には影がつきものだが、AIを適切に用いるならメリットは大きい。AIは一見混乱した多量のデータから隠れた意味を抽出することができる。つまりアルゴリズムはわれわれが気づかずにいたバイアスを表に出すためにも役立つ。データの山の中から倫理的に疑問のある振る舞いを発見することもできる。これがわれわれに反省を促すきっかけになるかもしれない。人間の振る舞いに関するデータをアルゴリズムで処理することはバイアスの発見に役立つ。適切に用いるならAIは人間行動中の異常な部分を発見してくれる。

しかしコンピューターが自分自身でこうしたことをしてくれるわけではないことに注意すべきだ。 たとえ教師なし学習（unsupervised learning）であっても実は「半分教師つき学習」だ。トレーニング・データを選択し、システムに入力するのはデータ・サイエンティストだからだ。人間がデータを扱うのであれば、必然的にバイアスが混入する。どうやったらこのようなバイアスを発見できるのだろうか？　まずは問題をいくつかの場合に分けて考える必要がある。

AIの運用と倫理的な懸念

悪い例は多数ある。たとえばCarnegie Mellon大学の研究はターゲティング広告におけるバイアスを指摘した。女性向けのオンライン求人広告の平均給与は男性向け広告よりはるかに低かったという。またMicrosoftがティーンエージャー向けに運用していたTwitterのボット、Tayが人種差別的ツイートを行い、閉鎖されたといいう不幸な出来事もあった。

近い将来、こうした過失は巨額の罰金やコンプライアンス上の重大問題を引き起こす可能性が十分にある。こうした方向はすでにイギリス議会で論じられている 。もちろん人工知能を扱う数学者も技術者もバイアスについては注意を払うべきだ。しかし難しいのはその度合いがケースごとに異なる点だろう。たとえばリソースが十分でない小規模な会社の場合、バイアスが発見されてもすぐに修正されるかぎりさほど過失を責められない可能性が高い。これに対してフォーチュン500社に入るような世界的大企業ではバイアスを含まないシステムを構築するために十分なりソースがあるとみなされ、したがって責任も重くなる。

オススメのTシャツを発見するのが目的のアルゴリズムなら放射線治療の効果を判定するアルゴリズムと同じほどの厳密さは必要とされない。結果が重大であればあるほど、誤った場合に法律的な責任が追求される可能性が高まる。

開発者も運用する企業のトップもAIシステムの倫理的側面を慎重にモニターする必要がある。

AI開発にあたってバイアスを抑制するための3つのカギ

AI業界の中でも自浄作用が働きつつある。たとえば、当初から人間のバイアスを慎重に検討することによりシステムのバイアスを減少させ、より倫理的な振る舞いをルール化する方法が研究されている 。

こうした方向に注目し、さらに推し進めていくべきだろう。重要なのは、既存の規制がどうであれ、システムの倫理的な側面し、その強化を積極的に進めていくことが重要だ。AI開発にあたって重要な点をいくつか紹介する。

1. その問題の解決に適した学習モデルを選ぶ

AIモデルが解決すべき問題ごとに異なるのには理由がある。異なる問題には異なる解決法があると同時に提供されるデータも異なる。こうすれば必ずバイアスを避けられるという処方箋があるわけではない。しかし開発にあたって警告を発してくれるいくつかのパラメーターがある。

教師なし学習と教師あり学習にはそれぞれのメリット、デメリットがある。ここで教師なし学習モデルの場合、データの次元削減ないしクラスター化を行う際にデータセットそのものからバイアスを学習している危険性がある。たとえばAグループに所属することとBという行動の間に高い相関関係があればモデルはこの2つをごっちゃにしてしまうだろう。これに対して教師あり学習ではデータの選択にあたってプロセスにバイアスの入り込む危険性をよりよくコントロールできるだろう。

一方、センシティブな情報を除外することによってバイアスをなくそうとする方法も正しいモデルを作る上で問題を起こすことがある。たとえば大学における志望者選抜で統一学力テストACTの点数に加えて志望者の郵便番号を考慮することは差別につながるようにみえる。しかし経済事情などの要素により統一テストの点数には地域ごとにバイアスがある。郵便番号を考慮すればこのバイアスを取り除くことができるかもしれない。

AIの利用にあたってはデータサイエンティストと十分に議論を重ね、目的に対してもっとも適切な学習モデルを構築する必要がある。どのようなモデルづくりが可能か複数の戦略を比較検討することが重要
だ。ある方法に決める前に十分トラブルシューティングしておくべきだ。 開発中にバイアスを発見して修正するほうが――たとえ時間が長くかかるように思えても―運用開始後に当局によって発見されるよりはるかによい

2. 学習用データセットは全体を代表できるものを選ぶ

データサイエンティストが十分なリソースを持っていない場合も多いが、学習用データの選択にあたってバイアスが入り込まないよう注意するのはプロジェクトの関係者全員の責任だ。バランスのとり方が非常に難しい。学習用データが十分に多様なグループを代表していることは必須だが、グループ分けの方法が現実のデータを反映しない恣意的なものとなっていると問題を引き起こす。

たとえば、グループごとに別々のモデルを構築するのは、コンピューター処理の観点からも企業広報の観点からも得策とはいない。 あるグループについて得られたデータ件数が少なかったため、重みづけをして学習させる場合がある。しかし最新の注意を払わないと新たなバイアスを生み出す危険性がある。

たとえばシンシナティでは40人分のデータしか得られなかったとしよう。全国の都市に関するモデルを構築するにあたってシンシナティのデータセットに都市の規模に応じた重みを加えたとする。するとこうしたモデルでトレンドを予測しようとするとランダム・ノイズが入るリスクが増大する。たとえばあるデータセットでBrianという名前の人物に犯罪歴があったとする。このデータセットに大きな重みづけをするとシステムは「Brianという名前の人物には犯罪傾向がある」といった結論を出してしまう。重みづけ、特に倍率の大きな重み付けをするにあたっては十分な注意が必要だ。

3. パフォーマンスの判定には現実データを用いる

企業は故意にバイアスを含んだAIシステムを作ったりしない。しかし企業内の一定の条件下では差別的なモデルであっても期待どおりの作動をする。残念ながら規制当局は（それをいえば一般公衆も）、バイアスを含んだシステムが運用された場合に、制作した企業の意図を考慮しない傾向がある。AIモデルを構築した後、現実のデータでテストを繰り返す必要があるのはそのためだ。

たとえば構築中のモデルにテストグループを使うのは好ましくない。テストグループやテストデータではなく、、できるかぎり現実のデータを用いるべきだ。たとえばAIを活用した与信審査システムを構築しているとしたら、データグループに対しては、「背が高い人のほうが背が低い人より債務不履行になる確率が高いという結果が出てないか？」といった単純な質問してみるべきだ。もしAIがそうした不合理な結論を出すならその理由を突き止めねばならない。

データを検査する場合にはr 2種類の公平性に注意する必要がある。一つは結果の公平性であり、もう一つは機会の公平性だ。AIでローンの審査を審査をする例で考えてみよう。結果の公平性というのは地域その他の条件によらず、同じ条件の借り手は同じ利率でローンを組むことができることをいう。機会の公平性とは可能であるならローンを返済する意思がある人々は地域その他の条件によらず同一の利率が得られるようにすることをいう。後者の条件を課さないと、たとえばある地域ではローンの債務不履行が頻発する文化的条件があることを隠しかねない。

偏ったデータセットを用いる危険性はあるが、結果の公平性は比較的担保しやすい。しかし機会の公平性の実現はモラルの問題が入ってくるためそれより難しくなる。多くの場合、2つの公平性を同じように確保するのは不可能だ。しかし注意深い監督下にモデルを現実のデータでテストすることはリスクを最小限にするのに役立つだろう。

こうしたAI利用の倫理的側面はやがて罰則によって強制されることになる可能性が高い。現にニューヨーク市ではアルゴリズムの利用を法的に規制しようと試みている。政府、自治体による法的規制はやがて開発段階にも及ぶだろうし、現実にAIを利用を利用した結果も厳しくモニターされることになるだろう。

モデリングに当たって、以上に紹介してきたような適切な手法を取ることによってバイアスが混入する危険を追放ないし最小限にできるというのは朗報だ。AI開発者は困難な倫理的課題を理解し、バイアスを発見し、現在の法の規定がどうであれ、正しい側に立つよう務める必要がある。。

〔原文へ〕

（滑川海彦@Facebook Google+

すべてのアルゴリズムバイアスがこれと同じくらい簡単に見つけられれば良いのに。フォトリアリスティックなやり方で、自撮り写真の編集をニューラルネットワークで行う写真編集アプリFaceAppは、人種差別的（racist）アルゴリズムを提供したことを謝罪した。

このアプリは、ユーザーが自撮り写真や、撮影済みの顔の写真をアップロードして、その見かけを微妙にあるいは大胆に変えるフィルターの適用を行わせるものだ。風貌を変える効果の中には、老化や異性化なども含まれている。

問題は、アプリには”hotness”（ホットにする）フィルターも含まれていたことで、このフィルターが人種差別主義者だったのだ。あるユーザーが指摘したように、このフィルターは議論の余地がある「美肌化」効果を出すために、肌の色調を明るく調整するのだ。フィルターの適用前後の効果は、上のオバマ大統領（当時）の写真で見ることができる。

人種差別的なアルゴリズムを謝罪する電子メールによる声明で、FaceAppの創業者兼CEOのYaroslav Goncharovは次のように語っている「この疑いようもない深刻な問題に対して深くお詫び申し上げます。これは、意図された振る舞いではなく、訓練セットの偏りによって引き起こされた、基盤を構成するニューラルネットワークによる不幸な副作用でした。この問題を緩和するために、私たちはフィルタの改名を行い、その効果に対する肯定的な含意を排除しました。また程なくリリースされる完全な修正にも取り組んでいます」。

先にGuardianが指摘したように、このアプリはここ数週間で爆発的な人気を得た。恐らくこのことが、フィルターが問題を抱えていることをFaceAppが認識することを助けたのだろう。

FaceAppは一時的に不快なフィルタの名前を “hotness”から “spark”に変更したが、非人種差別的な代替品の出荷準備が整うまではアプリから完全に削除しておいたほうがより賢明だったかもしれない。おそらく彼らはアプリのクチコミパワーの高まりへの対応に手一杯なのだろう（明らかに毎日70万人のユーザーが増え続けている）。

FaceAppのエフェクトを支える基盤となるAI技術には、GoogleのTensorFlowなどのオープンソースライブラリのコードも使われているが、”hotness”フィルターのトレーニングに用いられたデータセットは彼ら独自のもので、公開されているデータセットではないということを、Goncharovは私たちに明言した。そのため何処に責任があるかについては議論の余地はない。

率直に言って、アルゴリズム内に埋め込まれたバイアスによるリスクの（ビジュアルな）例として、これ以上わかりやすいものを探すのは難しいだろう。機械学習モデルは、与えられたデータと同じ程度にしか良くはならない。そしてFaceAppの場合には、モスクワに拠点を置くチームによって行われたトレーニングデータには、明らかに十分な多様性が欠落していたのだ。少なくとも、 潜在的なアルゴリズムバイアスの目に見えない問題を、このような視覚的にインパクトのある方法で提示してくれたという点では、彼らには感謝することができるだろう。

AIがますます多くのシステムの制御を手渡されるようになれば、その審問を完全に行うためにアルゴリズムの説明責任への圧力が高まるし、人間のバイアスが私たちのマシンに埋め込まれることを避けるための堅牢なシステムの開発の必要性も高まる。自律技術とは「人間の欠陥から自由になれる」ものではない、もし人間の欠陥から自由になれると主張しようとする開発者がいるならば、それは嘘を売ろうとしているのだ。

[ 原文へ ]
（翻訳：Sako）