【編集部注】著者のKristian HammondはNarrative ScienceでR&Dに従事する主任科学者兼共同創業者である。Krisはまた、ノースウェスタン大学のコンピュータサイエンスの教授でもある。
私たちは何かと、マシン、特にスマートマシンを、冷静に計算しバイアス（偏り、偏見）がないものと考える傾向がある。私たちは、自動運転車は、運転手と無作為な歩行者の間の生死の決定に対して、好みを持っていないと考えている。また私たちは、信用調査を実施するスマートシステムは、収入やFICOスコアなどの真にインパクトのある指標以外は無視しているものと信頼している。そして私たちは、学習システムは、バイアスのないアルゴリズムによって動作しているのだから、常に真理に基づいた地点に達するものだと考えている。
機械の厳格な視点の外側は感情的であるはずはないと考える人もいる。また機械は人間のバイアスから自由であるはずだと思う人もいる。そしてその中間として、機械は客観的だという見方がある。
もちろん、そんなことは全くない。現実には、純粋にバイアスのない知的システムは非常に少ないだけでなく、バイアスにも複数の源泉がある。これらのバイアス源には、システムを訓練するために使用するデータバイアス、「現場」でのインタラクションを介したバイアス、偏向出現バイアス、類似性バイアス、そして相反する目標に対するバイアスが挙げられる。これらの源泉のほとんどは意識されることがない。しかし、インテリジェントシステムを構築して展開する際には、意識しながら設計し、可能なら潜在的な問題を避けるためにも、そうしたバイアス源を理解することが不可欠だ。
データ駆動型バイアス
自ら学習するシステムの場合、出力は受け取ったデータによって決まる。これは別に新しい洞察ではなく、文字通り何100万ものデータによって駆動されるシステムを私たちが見る際に、忘れられがちなことである。圧倒的な量のデータは、任意の人間のバイアスを圧倒するだろうというのがこれまでの考えだった。しかしトレーニングセット自身が歪んでいたときには、結果も同じように歪んでしまうのだ。
最近では、この種のバイアスは、ディープラーニング通した画像認識システムに見ることができる。ニコンのアジア人の顔に対する混乱や、HPの顔認識ソフトウェアにおける肌色認識の問題といったものは、どちらも歪んだトレーニングセットからの学習の産物であるように思える。どちらも修正可能であり、かつ意図的ではないが、これらはデータのバイアスに注意を払わない場合に発生する可能性のある問題を示している。
顔認識以外にも、現実世界に影響を及ぼす厄介な例が他にもある。仮釈放者、犯罪パターン、または従業員候補者の再犯率の予測のためのルールセットを構築するために使用される学習システムは、潜在的に負の影響を与える。歪んだデータを用いてトレーニングを受けた場合、あるいはデータはバランスが取れていても意思決定にバイアスがかかっていた場合には、バイアスも永続化する。
インタラクションを介したバイアス
サンプルセットを一括して調べて学習するシステムもある一方で、インタラクションを通じて学習する種類のシステムも存在する。この場合には、システムとインタラクションを行うユーザーのバイアスによって、システムのバイアスが引き起こされる。このバイアスの顕著な例は、ユーザーとのやりとりから学ぶように設計されたTwitterベースのチャットボットであるMicrosoftのTayだ。残念なことにTayは、Tayに人種差別主義者と女性差別を教え込んだユーザコミュニティの影響を受けた。要約して言えば、コミュニティはTayに対して攻撃的な発言を繰り返しツイートし、その結果、Tayはそれらの攻撃的発言を反応のための材料として使うようになったのだ。
Tayがひとかどの人種差別主義者になって、Microsoftがシャットダウンするまでには、わずか24時間しかかからなかった。Tayの人種差別的暴言はTwitterの中に限られていたが、それは実世界への影響の可能性を示唆しているものだ。人間のパートナーと共同で意思決定を行い、そして学ぶインテリジェントなシステムを構築する際には、更に問題のある状況で、同様に悪いトレーニング問題が発生する可能性がある。
ではその代わりに、インテリジェントなシステムに、時間をかけて指導する人たちとパートナーシップを結ばせればどうだろうか？融資の可否を決定する、あるいは仮釈放の可否を決定するマシンに対する、私たちの不信を考えて欲しい。Tayが教えてくれたことは、そのようなシステムが、それらを訓練する人々の意見を反映して、良くも悪くも、その環境と人びとの偏見を学ぶことである。
偏向出現バイアス
ときには、パーソナライゼーションを目的としたシステムによる意思決定が、私たちの周りにバイアスの「バブル」を作り出すことがある。このバイアスが働いている様子を見るためには、現在のFacebook以上に相応しい場所はない。Facebookのトップページで、ユーザーは友人たちの投稿を見て、彼らと情報を共有することができる。
残念ながら、データフィードの分析を使用して他のコンテンツを提示するアルゴリズムは、ユーザーが既に見た好みのセットに一致するコンテンツを提供する。この効果は、ユーザーがコンテンツを開いたり、 「いいね！」したり、共有したりするにつれて増幅される。その結果得られるのは、ユーザが既に「信じていること」に向かって歪められた情報の流れである。
それは確かにパーソナライズされ、しばしば安心もさせるものだが、それはもはや私たちがニュースと考えるようなものではない。これは情報のバブルであり、「確証バイアス」（仮説や信念を検証する際にそれを補強する情報ばかりを集め、それに反する情報を無視または集めようとしない傾向）のアルゴリズムバージョンなのだ。システムが自動的にそれを実行してくれるので、ユーザは自分の信念と矛盾する情報から自分で身を守る必要はない。
理想的な世界では、インテリジェントなシステムとそのアルゴリズムは客観的なものだろう
ニュースの世界に対しては、こうした情報のバイアスの影響は厄介だ。しかし、企業における意思決定を支援する方法としてソーシャルメディアモデルを考えた場合、情報バブルの出現をサポートするシステムは、私たちの思考を歪める可能性がある。自分のように考える人々からの情報しか得ていないナレッジワーカーは、対照的な視点を決して見ることはなく、選択肢は無視して拒否する傾向がある。
類似性バイアス
時にバイアスは、単に設計されたように動作するシステムの生産物そのものである。例えばGoogleニュースは、ユーザーの問い合わせに合致するストーリーを、関連するストーリーとセットで提供するように設計されている。これはまさに設計された通りの結果で、とても上手く働いている。もちろん、得られた結果は、お互いの確認と裏付けをする傾向のある、類似したストーリーのセットになる。つまり、Facebookで見たパーソナライズバブルと似ている、情報のバブルを得ることになる。
ここには確かにこのモデルによって強調される、ニュースの役割とその拡散に関連する問題が存在している — 最も明白な問題は情報へのバランスのとれたアプローチだ。「編集制御」の不在は、幅広い状況を調べることになる。類似性は、情報の世界では強力なメトリクスだが、それは決して唯一のものではない。異なる視点は、意思決定のための強力なサポートを提供する。問い合わせや既存の文書に「類似する」結果しか提供しない情報システムは、独自のバブルを生成する。
例えイノベーションと創造の視点に対する、縮小、反対、矛盾であっても、類似性バイアスは、特に企業では受け入れられる傾向にあるものの一つだ。
相反する目標バイアス
時には、特定のビジネス目的のために設計されたシステムが、全く予期されなかったバイアスを持つことがある。
たとえば、求職者に対して仕事の説明を提供するように設計されたシステムを想像してみて欲しい。ユーザーが仕事の説明をクリックすると、システムによって収益が発生する。当然、アルゴリズムの目標は、最高のクリック数を得るジョブ記述を提供することになる。
結局のところ、人びとは自分のセルフイメージに合った仕事をクリックする傾向があり、そのイメージは単に選択肢を示すだけでステレオタイプの方向に強化することができる。例えば、「看護」と「医療技術者」というラベルが付けられた仕事を提示された女性は、最初の方に向かう傾向がある。仕事が彼らのために最適という理由ではなく、ステレオタイプがイメージされて、自分自身をそのイメージに重ねるからである。
ステレオタイプの脅威が行動に及ぼす影響は、仕事に結びついたステレオタイプ（例えば、性別、人種、民族）に関する個人の知識に合致する仕事の提示が、より多くのクリックに結びつくことである。その結果、クリックスルーの行動に基づく学習コンポーネントを持つサイトは、ステレオタイプをより強化する機会を提示する方向に変化する傾向がある。
マシンのバイアスは人間のバイアスだ
理想的な世界では、インテリジェントなシステムとそのアルゴリズムは客観的なものだろう。残念なことに、これらのシステムは私たちによって構築され、その結果、私たちのバイアスを反映してしまう。バイアス自体と問題の源泉を理解することで、わたしたちはシステムを積極的に設計してバイアスを回避することができる。
おそらく、完全に客観的なシステムやツールを作成することはできないだろう、しかしそれらは、少なくとも私たち自身よりはバイアスが少なくなるだろう。そうなれば、おそらく選挙が私たちに不意打ちを食らわすこともないだろうし、通貨はクラッシュしないだろうし、パーソナライズされたニュースのバブルの外の人たちと、コミュニケーションを行うことができるだろう。
[ 原文へ ]
（翻訳：Sako）