【編集部注】著者のBrian Brackeenは、顔認識ソフトウェアを開発するKairosのCEOである。
最近MIT Technology Reviewに掲載された記事で、記事の著者Virginia Eubanksが自身の著書である”Automating Inequality”（不平等の自動化）について論じている。その中で彼女は、貧困層が不平等を増加させる新技術のテスト場にされていると主張している。なかでも、アルゴリズムがソーシャルサービスの受給資格を判断するアルゴリズムに使用されると、人びとがサービスを受けにくくなり、一方では侵害的な個人情報提供を強制される点が強調されている。
私は、法執行機関による顔認識の公的使用に関する危険性について、多くのことを語ってきたが、それでもこの記事には目を開かされた。アルゴリズムデータに基く決定によって、本当にサポートサービスが必要な人たちに対する支援が拒絶もしくは削減されてしまうという、不平等で生命を脅かす実情が存在している。
私たちは、住宅ローン、クレジットカード申請、自動車ローンなどの、私たちの生活について恣意的な決定を下す企業にはある程度慣れている。とはいえそうした決定は、決定のための直接的な要因にほぼ基いている、クレジットスコアや、雇用状況、そして収入などだ。これに対してソーシャルサービスに対するアルゴリズム的決定の場合には、受給者に課せられる強制的なPII（個人特定情報）の共有と組合せられた、徹底的な調査の形のバイアスが存在している。
Eubanksは、例としてAllegheny Family Screening Tool（AFST：アレゲーニー家族スクリーニングツール）を利用する、Pittsburgh County Office of Children, Youth and Families（ピッツバーグ郡、青少年、および家族のためのオフィス）を挙げている。このツールは統計的モデルを用いて幼児虐待やネグレクトのリスクを評価するものだ。このツールを使用すると、貧困家庭の割合が不均衡に増えることになる。なぜならツールのアルゴリズムに供給されるデータは、公立学校、地方住宅機関、失業サービス、少年保護観察サービス、そして郡警察などから得られることが多いためだ。基本的に、ここに集まるデータはこうしたサービスを利用したりやりとりのある事の多い、低収入の市民たちから得られるものが多くなる。反対に、私立学校、子守サービス、プライベートな精神衛生および薬物治療サービスといった、民間サービスからのデータは入手できない。
AFSTのような決定ツールは、貧困を虐待の危険性の兆候としてみなすが、それはあからさまな階級差別である。そしてそれはデータの非人道的取り扱いの結果なのだ。法執行機関や政府監視におけるAIの無責任な使用は、生存を脅かす真の危険性を秘めている。
Taylor Owenは、2015年に発表した“The Violence of Algorithms”（アルゴリズムの暴力）という記事の中で、彼自身が情報分析ソフトウェア会社のPalantirで目撃したものを報告し2つの主要な点を指摘した。1つはこうしたシステムは、ほぼ人間によって書かれ、人間によってタグつけされ入力されたデータに基いているということ、そしてその結果「人間の偏見とエラーで溢れたものになってしまう」ことだ。そして2つめに彼は、こうしたシステムが徐々に暴力に用いられるようになっていることを示唆している。
「私たちが構築しているのは、世界の巨大なリアルタイム3次元表現です。私たちの永久的な記録…しかし、こうしたデータの意味はどこから来たのでしょうか？」と彼は問いかけ、AIとデータセットに固有の問題を明示した。
履歴データは意味のあるコンテキスト与えられた場合にのみ有用なものとなるが、多くのデータセットには与えられていない。ローンやクレジットカードのような金融データを扱おうとしているときには、前述のように判断は数字に基いている。これらのプロセス中に誤りやミスがあることは間違いないが、クレジットの信用に値しないという判断が下されたとしても、警察がそれを摘発に行ったりはしないだろう。
しかし、逮捕データを判断時の主要なファクターとして利用する、法逸脱予想システムの場合は、警察の関与を招きやすくするだけでなく ―― そうすることが意図されているのだ。
画像提供：Getty Images
少数民族を対象にした、当時は完全に合法だった近代の歴史的政策を思い起こせば、ジム・クロウ法（南部の州で制定されていた人種差別法の総称）がすぐに心に浮かぶ。そして、公民権法が1964年に成立したにもかかわらず、1967年になるまでは先の法律たちは憲法違反であるとは裁定されなかったことも忘れないようにしよう。
この文脈からはっきりわかることは、憲法上黒人が完全なアメリカ人だとみなされるようになってから、まだたったの51年間しか経っていないということだ。現在のアルゴリズムバイアスは、それが意図的であれ固有のものであれ、貧困層と少数民族をさらに犯罪へと追いやり疎外するシステムを生み出してしまう。
明らかに、社会として私たちが担う責任をめぐる倫理的課題が存在している。私たちの総力を上げて、政府が人びとを殺し易くする手助けをすることを避けなければならない。もちろん、この責任を最も重く背負うのは実際にアルゴリズムを訓練する人びとではあるが ―― 微妙なニュアンスも良心も解すことのできないシステムを、明らかに情報の権限を持つ位置に置くべきではない。
Eubanksはその著書の中で、アルゴリズムを使い仕事をする人たちのために、ヒポクラテスの誓いに近いものを示唆して居る ―― 害意を持つこと無く、偏見を避け、システムが冷酷で厳しい抑圧者とならぬように。
この目的に向かって、Algorithmic Justice Leagueの創設者でありリーダーでもあるMITのJoy Buolamwiniは、顔の分析技術を責任を持って使用することを誓約した。
この誓約には、人間の生命と尊厳に対する価値を示し、致命的な自律的武器の開発に従事することを拒否し、そして個人に対する不当な追跡を行うための顔分析製品ならびにサービスを法執行機関に配備させない、といったコミットメントが含まれている。
この誓約は自主規制のための重要な第一歩であり、私は顔認識利用に関するより大きな草の根規制プロセスの始まりだと思っている。
[原文へ]
（翻訳：sako）