New York市が近く、行政の各部局が使用しているアルゴリズムの公正さを監視するタスクフォースを設ける。自動化システムのエキスパートと、それらのシステムのユーザーや受益者（ときには受‘害’者）代表から成るそのチームは、市が使っているアルゴリズムを精査して、説明責任を強化し偏向を避けるための推奨を行う。
平凡な名前のその設置条例は市議会で可決され、今は市長のデスクの上で署名を待っている。ACLUのニューヨーク支部も、これに賛同している。
たとえば、“自動化決定システム(automated decision system)”（これは法律用語だ！）が、被告人の保釈の可否を決めている、としよう。しかしそのシステムの訓練データに偏向があったため、特定の人びとをほかの人びとよりも不法に依怙贔屓（えこひいき）している、としよう。
そんな場合タスクフォースは、この状況をどのように処理するかを書いたレポートを市へ提出する。そこにはたとえば、次のようなことに関する推奨事項があるだろう:
- 被告人など関連する人びとが、自分の状況をアルゴリズムが評価した/しなかったことを、どうやって知るのか。人びとはその評価過程について、どのように報告されるべきか。
- システムは特定グループ、たとえば高齢者や移民、障害者、少数民族などに特別の（好悪どちらかの）対応をしていないか。
- もししているなら、そのような対応を受けた人びとに対し何をすべきか。
- システムはその技術的細部と市によるそれらの使い方の両面で、どのように機能しているのか。
- システムとその訓練データは、どのように文書化され保存されているのか。
タスクフォースは条例の署名後3か月以内に組織され、そこには“公正さと説明責任と自動化システムの透明性に関するエキスパートと、その自動化決定システムの影響を被る人びとを代表する福祉団体などの専門家”を、擁さなければならない。
つまり必要なのは大量の機械学習の専門家と数名の弁護士ではなく、ソーシャルワーカーや人権保護活動家などである。同じことを、ぼくも前に書いたと思う。
レポートは18か月以内に作成され、一般公開される。しかし、拙速は禁物。このようなシステムの評価はデータ集約的なタスクであり、評価のために複数の並行的な行政システムを作ることによって、人びとがシステムの割れ目に落ちてしまわないようにすることが、市民のための行政としてきわめて重要だ。
