極度の貧困と人権に関する国連の特別報告者は、イギリスが、デジタル技術とデータツールを使って公共サービスの提供方法に関する国家規模の根本的な再構築を急いでいることに懸念を示し、本日（イギリス現地時間の11月16日）、デジタル社会保証制度が社会的弱者に与える影響は「計り知れない」と警告するステートメントを発表した。
特別報告者はまた、AIなどの技術を公共サービスの提供に利用することが、結果的に人々を傷つけることにならないよう、人権に基づく法的な枠組みを持つ、より厳格な法律を制定し施行することを求めた。
「政府の中で、この進展が生活保護手当給付制度よりも目立つようになった部分がいくつかある」と特別報告者Philip Alston教授は話している。「戦後のイギリスの社会保障制度は、ウェブページやアルゴリズムの影で次第に見えなくなり、そこにはデジタル社会保障制度が現れてきた。イギリスでもっとも弱い立場の人たちへの影響は計り知れない」
これは、よいタイミングの介入だった。今やイギリスの閣僚たちですら、デジタル技術を使って、窓口で料金を支払わずに済むイギリスの医療保健制度を改変しようと躍起になっているからだ。
Alstonのステートメントではまた、公的サービス提供の自動化（AI技術の積極的な導入）を推し進める姿勢には、不透明な部分があることも心配だと警告されている。
「イギリス政府による新技術の開発に関して、もっとも大きな問題は、不透明性だ。そうした自動化された政府システムの存在、目的、基本的な機能は、多くの部分に謎を残し、それらに対する誤解や不安を焚き付けている」と彼は書いている。さらに「そうした流れの中では、とくに、もっとも貧困な人たちや、もっとも弱い立場の人たちの人権が脅かされることが証明されている」
つまり、技術系巨大企業が無作法に破壊的な事業を強行するように、イギリスの政府機関も、きらびやかな新システムをブラックボックスで提供しようとしているのだ。そしてそれが、詳しい説明をできなくする理由にもなっている。
「自動化計画の情報公開を拡大すれば、商業的利益やAIコンサルタント会社との契約に、先入観による影響を与えてそまい、知的財産権は侵害され、個人に制度の抜け穴を与えることになると、中央政府機関も地方の政府機関も一様に主張する」とAlstonは書いている。「しかし、自動システムの開発と運用に関するより多くの知識を公開することが必要であることは明らかだ」
過激な社会再構築
彼によれば、2010年に整備された国内政策の「緊縮の尺度」の枠組みが誤解を招いたという。つまり、政府の意図はむしろ、国際金融危機を利用して、公共サービスの提供をデジタルに置き換え、社会を変えることにあると。
またはこうも指摘している。「証拠から示された結果として判明したのは、貧困に関連する政策の分野では、その推進力は経済ではなく、過激な社会再構築を進めたいという意欲にあった」
Alstonのイギリスでの調査は2週間にわたった。その間、彼はイギリス社会のさまざまな人たちに話を聞いている。それには、行政や市民団体による職業紹介所やフードバンクなどの施設、大臣から職員まで、どさまざまな階層の政府の人たち、さらには野党の政治家、市民団体の代表や現場で働く労働者なども含まれていた。
彼のステートメントには、イギリスの社会補償制度の全面的な見直しという批判の多い問題にも詳細に触れている。政府は、複数ある社会保障制度を「ユニバーサル・クレジット」と呼ばれるものに一本化する計画を進めている。とりわけ彼が注視したのは、「大いに議論の余地」がある「デフォルトがデジタル」というサービスの提供方法だ。なぜ、「もっとも弱い立場にいる人たちや、デジタルの知識を持たない人たちが、全国的なデジタル実験と思えるものに使われなければならないのか」
「ユニバーサル・クレジットは、大勢の人々の権利の行使を実質的に阻止する、デジタルの壁を作ってしまった」と彼は警告し、低所得者はデジタル機器の扱いに不慣れで、デジタルに関する知識も大変に乏しいと指摘している。そして、緊縮財政の対象とされているにも関わらず、市民が自分たちの命を支える役割まで担わされている現状を、詳しく述べている。
「現実には、こうしたデジタルの支援は公立図書館や市民団体に外注されいる」と彼は書いている。社会的に弱い立場にいる人たちにとって、光り輝くデジタル世界への入り口は、むしろファイヤーウォールになっているという。
「ユニバーサル・クレジットの権利を行使したいが、デジタル社会から排除されデジタルの知識を持たない人たちを救済する最前線に、公共図書館はある」と彼は言う。「国中の公共図書館の予算が大幅に削減されているが、それでも図書館員たちは、ユニバーサル・クレジットを求めて図書館に押しかけてくる大勢の人たちに対処しなければならない。オンラインの手続きでパニックに陥ることも少なくない」
さらにAlstonは、「デフォルトがデジタル」とは、実際には「デジタルのみに近い」と指摘している。政府が推奨しない電話相談などの別の手段では、「長い待ち時間」や「あまり訓練されていないスタッフ」による不愉快な対応に悩まされる。
自動化によるエラーに対処する人的コスト
彼のステートメントでは、自動化は大規模なエラーを引き起こす恐れがあることも強調されている。何人かの専門家や市民団体から聞いた話として、リアルタイム・インフォメーション（RTI）システムがユニバーサル・クレジットを支えている問題を挙げている。
RTIは、雇用主から歳入関税局に提出された給与のデータを取得し、それを雇用年金局と共有して月ごとの収入を自動的に計算している。しかし、給与データがに誤りがあったり提出が遅れた場合には、給付に影響が出る。Alstonによれば、政府は、請求者の訴えよりも、この自動システムの判断を優先させることを許している。
「コンピューターがダメと言っていますから」という対応は、すなわち、弱い立場の人たちの1カ月間の十分な食事と暖房が奪われることを意味する。
「雇用年金局によると、常時50名の職員が、月間数百万件にのぼる誤データのうちの2パーセントの処理にあたっている」と彼は書いている。「雇用年金局はそもそも、自動システムの判断を優先させる立場なので、請求者は適正な給付を受け取るまでに数週間も待たされることになる。システムが間違っていたという証拠を文書で示されても、そこは変わらない。昔ながらの給与明細も、コンピューターの情報と違っていたら無視されてしまう」という。
もうひとつ、自動化された社会保障システムの特徴として、「リスク対策の認証」などに関連して、請求者がリスクの高さによって分別される危険性について彼は論じている。
これには、「「リスクが高い」と判定された人たちが「その事実が判明していなくても、より厳しいセキュリティーと捜査の対象にされる」問題も含まれているとAlstonは言う。
「生活保護手当の請求者の推定無罪は、全面監視システムにより、悪いことをする可能性があると判断された時点で覆される」と彼は警告する。「自動システムの存在や仕組みが不透明なため、不服を訴えたり、実効性のある改善を求めても意味がない」
こうした彼の懸念を総合すると、自動化が政治的にも民主主義的にも良い結果を生み出すには、高いレベルの透明化を実現してシステムを評価できるようにする必要がある、ということになる。
倫理規範よりも法の支配を
「自動化を可能にする人工知能やその他の技術に、最初から人権や法の支配を揺るがす機能が備えられているわけではない。政府が意のままに政策を進める手段として、そうした技術を利用しているというのが本当だ。その結果は、良くもなれば悪くもなるのだが、自動システムの開発と運用が透明化されていなければ、その評価はできない。さらに、その分野での意思決定から市民を排除するなら、人工民主主義に基づく未来のためのステージを、私たちは提供することとなる」
「新技術の存在、目的、運用を、政府と国民との間で透明化しようという話し合いを重ね、技術がわかりやすく解説されるようになり、社会に与える影響が明確になるまでには、長い時間を要するだろう。新技術に、社会を良くする大きな可能性があることは確かだ。また、知識を高めれば、技術の限界を現実的に知ることができる。機械学習システムはチェスで人間を下せるだろうが、貧困といった複雑な社会の病を解決するまでには至っていない。
彼のステートメントは、現在イギリス政府が準備を進めているビッグデータとAIを管理する制度への懸念も示している。それは開発を導き、方向性を示すためのものだが、「倫理に大きく偏っている」と彼は指摘する。
「たしかに前向きな動きだが、倫理の枠組みの限界から目を離してはいけない」と彼は注意を促す。「たとえば公正さのよう倫理的概念は、定義とは相容れないものだ。法律で規定できる人権とは、性質が異なる。個人の権利が大幅に制限される恐れがある政府の自動化の推進は、倫理的規範だけでなく、法律によって縛るべきだ」
現行の法律を強化して、公共部門でのデジタル技術の使用を適正に制限することに対しても、Alstonはさらなる警鐘を鳴らしている。それは、公共部門のデータのためのプライバシーに関する法律の改正時に、政府が書き加えた権利に関する心配だ（今年の初めにTechCrunchが指摘した問題だ）。
それに関して、彼はこう書いている。「EUの一般データ保護規制には、自動化された意思決定に関する前途有望な条項（37）と、データ保護影響評価が含まれているが、2018年データ保護法では、政府のデータ利用と、政府によるデータ処理のための枠組みという図式の中でのデータの共有に関して、大きな迂回路ができてしまった」
[原文へ]
（翻訳：金井哲夫）