タグ: 人工知能・AI

編集部注：本稿はJinyan Zang氏、Latanya Sweeney氏、Max Weiss氏による寄稿記事である。Zang氏はハーバード大学のData Privacy Labの研究者、Sweeney氏はハーバード大学で「政府とテクノロジー」を専門にする教授、Weiss氏は今回のディープフェイクテキスト実験を実施したハーバード大学の学生だ。

—–

米国の連邦政府機関は国内における新型コロナウイルスのパンデミック拡大を阻止しようとさまざまな措置を講じており、その厳しさは増すばかりだ。連邦政府により策定される規則の影響を受ける米国民と企業は、自分たちの意見や経験をどのように政府に伝えることができるのだろうか。移動の制限や監視の強化などをはじめとする新たな規則の多くは、施行に際して連邦政府の権限を平時よりも拡大する必要がある。このような場合、米国の法律では、連邦政府が規則案を一般に公開し、国民がオンラインで意見を投稿できるようにすることが義務付けられている。しかし、米国の民主主義にとって不可欠な仕組みである連邦政府のパブリックコメントウェブサイトは、今回のような危機に際して安全に機能するのだろうか。ボットによる攻撃に対して脆弱ではないだろうか。

2019年12月、筆者らは、自動化された攻撃に対するパブリックコメントプロセスの脆弱性に関する実調査についてまとめた新しい研究論文を発表した。この調査では、誰でも利用できる人工知能を使用してディープフェイクテキスト（コンピュータが深層学習により人間の発言を模倣して生成するテキスト）によるコメントを1001件生成し、それを実際にアイダホ州のメディケイド被保険者に就業状況報告を義務付ける連邦規則案に関するパブリックコメントを募集するためにCenters for Medicare & Medicaid Services（メディケア・メディケイド・サービス・センター、CMS）が開設したウェブサイトに投稿するという実験を行った。

ディープフェイクテキストを使用して作成したコメントは連邦パブリックコメント期間中に投稿されたコメント総数1810件の55%以上を占めた。筆者らは、その後の追跡調査で、これらのコメントがボットによるものだと思うか、実際に人が書いたものだと思うかを尋ねるアンケートを実施した。回答者の正答率は50%、当てずっぽうで答えたときの確率と同じだった。

上記はボットによって生成されたディープフェイクテキストの例だ。アンケート回答者全員がこのテキストは人が書いたものと判断した。

筆者らは実験終了後、ディープフェイクコメントを投稿したことをCMSに通知し、それらのコメントを投稿履歴から削除したが、悪意のある攻撃者がそれと同じことをするとは思えない。

連邦ウェブサイトに対する大規模なフェイクコメント攻撃は過去にもあった。例えば、2017年、ネット中立性規制を撤廃する規則案について、連邦通信委員会（FCC）のウェブサイトに対してフェイクコメント攻撃が行われたことがある。

ネット中立性規則に関するパブリックコメント期間中、通信業界団体のBroadband for America（ブロードバンド・フォー・アメリカ）に雇われた複数の企業が、ボットを利用してネット中立性規則の撤廃を支持するコメントを作成したのだ。こうして投稿された数百万件のコメント（中にはすでに亡くなっている有権者や架空の人物になりすましたものもあった）によって、世論がねじ曲げられたのである。

ネット中立性に関するコメントを事後にテキスト解析したみたところ、FCCのネット中立性撤廃案に対する2200万件を超えるコメントのうち実に96～97%がボットを使ったコメント操作だった可能性が高いことがわかった。このコメント操作では比較的単純で目立つ検索・置換方式が使われていたため、FCCのように膨大な数のコメントが投稿された場合でも容易に検出できたはずだ。しかし、調査の結果、簡単な検索・置換方式で作成された不正なコメントであることが判明した後も、FCCはそれらのコメントを正当なパブリックコメントとして受理していた。

このように、比較的単純な方法でも連邦政府の政策決定に影響を与えることができたという前例がある。しかし、ボットによるディープフェイクテキスト投稿がもたらす脅威について筆者らが行った実験から、今後の攻撃はより高度で検出困難になる可能性が明らかになった。

パブリックコメントに関する法律と政策

はっきりさせておこう。自分たちの要求を伝えそれを検討してもらうことができる仕組みは民主主義モデルの根幹である。憲法に明記され、人権擁護団体によって厳密に保護されているとおり、すべての米国民は、投票、自己表現、異議申し立てなどにより、政府に参加する役割を保証されている。

連邦政府機関が全米市民に影響を与える新しい規則を策定する際には、規則案によって最も影響を受ける一般市民、権利擁護団体や企業が連邦機関に対して懸念を表明できるようにパブリックコメント期間を設け、その規則について最終決定を行う前にそれらのコメントを検討することが法律で義務付けられている。このようなパブリックコメントの義務化は、1946年の行政手続法の成立により導入され、2002年には電子政府法により、連邦政府はパブリックコメントを受信するオンラインツールを作成することを求められるようになった。それ以来、投稿されたコメントを実際に調査したことを証明すること、およびパブリックコメントに基づいて下した決定に関連する分析結果や決定の正当性を示すものを開示することを連邦政府に要求する判決がいくつも下されている[Overton Park保護団体対Volpe 401 U. S. 402, 416（1971）、Home Box Office対FCC 567 F.2d at 36（1977）、 Thompson対Clark 741 F. 2d 401, 408（CADC 1984）を参照のこと］。

実は、筆者らがCMSのパブリックコメントサイトでディープフェイクテキスト投稿に対する脆弱性をテストしたのは、2019年6月、米国最高裁が7対1で「CMSは、州内でのメディケイド資格取得規則に就業状況報告義務を追加するという州政府の提案を検討する際に、行政手続法のパブリックコメント検討義務を省略することはできない」という判決を下したからだ。

政治学者の研究によると、パブリックコメントは連邦政府機関による最終決定に大きな影響を及ぼす可能性がある。例えば、ハーバード大学が2018年に行った調査によると、連邦準備制度が定めるドッド-フランク法関連規則についてコメントを投稿した銀行は、コメントしなかった銀行よりも70億ドル（約7600億円）多い超過リターンを獲得していたことが判明した。さらに、同調査においてボルカー規則とデビッドカード交換規則について投稿されたコメントを分析した結果、さまざまな銀行から投稿されたコメントが、初期草案から最終案に至る「不透明なプロセス」に重大な影響を与えたことがわかった。

2017年のネット中立性撤廃規則では、業界団体のブロードバンド・フォー・アメリカが、正式な社名を使って直接コメントするだけでなく、ネット中立性撤廃を支持する数百万件のフェイクコメントを投稿することで、FCCの規則案が米国市民によって広範に支持されているという誤った認識を作り上げた。

ディープフェイクテキストによるパブリックコメントへの投稿を阻止するテクノロジー

筆者らの研究はディープフェイクテキストの脅威がパブリックコメントウェブサイトに混乱をもたらすことを示しているが、これは、長年にわたり米国の民主主義を支えてきたパブリックコメントウェブサイトという仕組みを終わらせるべきだということではない。テクノロジーを活用して、人間が書いたパブリックコメントのみを受け入れ、ボットによるディープフェイクテキストは拒否する革新的なソリューションを実現する方法を見つける必要がある。

パブリックコメントプロセスには、コメントの投稿とコメントの受理という２つの段階があり、どちらの段階でもテクノロジーを活用して問題を解決できる可能性がある。

まず、コメントの投稿という最初の段階にテクノロジーを利用することで、そもそもボットがディープフェイクコメントを投稿するのを阻止できる。そうなると、攻撃者はボットの代わりに大勢の人を使わざるを得なくなり、コストが高くなって攻撃自体が割に合わなくなる。すでに広く浸透しているソリューションの1つにCAPTCHAボックスがある。インターネット上の入力フォームの末尾で、ある単語を視覚的に判読するか音声で判別するように求め、正解した場合にのみ送信をクリックできるようにする仕組みだ。CAPTCHAでは余分な手順の追加によりボットによる送信実行が困難になる。こうしたツールは、障がい者でも使えるように改善する余地はあるものの、正しい方向への一歩といえるだろう。

ただし、海外の安い労働力を使ってCAPTCHAの入力を行わせディープフェイクコメントを投稿するという手段を取られたら、CAPTCHAでは攻撃を阻止できない。これに対抗する１つの方法として、コメントを投稿するたびに毎回厳密な個人情報の入力を求めるという方法が考えられるが、その方法だと、CMSやFDA（食品医薬品局）によって現在行われている匿名コメントの受け付けが不可能になる。匿名コメントは、ヘルスケアなどのデリケートな問題に関する規則案によって多大な影響を被る可能性のある個人がプライバシーを守りつつコメントする方法として有用だ。したがって、ユーザーの認証手順とコメントの投稿手順を切り離して、認証された個人だけがコメントを匿名で投稿できるようにすることが技術的な課題となるだろう。

最後に、第2段階のコメントの受理においては、より高度なテクノロジーによって、ディープフェイクテキストと人間による投稿を識別できる。筆者らの研究では100人を超える調査対象者がディープフェイクテキストの例をフェイクとして判別できなかったが、より高度なスパム検出アルゴリズムが登場すれば、判別率は向上するだろう。今後、機械学習による手法が進歩するにつれ、ディープフェイクテキストの生成アルゴリズム開発と判別アルゴリズム開発がせめぎ合うようになるかもしれない。

当面の課題

将来、テクノロジーの進歩によってさらに包括的なソリューションが可能になるとはいえ、ディープフェイクテキストが米国の民主主義に及ぼす影響は現在進行中の脅威である。そのため、連邦政府のすべてのパブリックコメントウェブサイトで、当面のセキュリティ措置として最新のCAPTCHAを採用することを推奨したい。この方針は、米国上院調査委員会のReport on Abuses of the Federal Notice-and-Comment Rulemaking Process（連邦告知とコメント規則策定プロセスの乱用に関する報告）でも支持されている。

加えて、より優れたテクノロジーソリューションを開発するために、政府、研究者、民間のイノベーターという産学官の連携を確立する必要がある。ハーバード大学が、他の20の教育機関およびニューアメリカ財団、フォード財団、ヒューレット財団と共にPublic Interest Technology University Network（パブリックインタレストテクノロジー大学ネットワーク）に参加したのもそのためだ。このネットワークは、公益に資することを目指す新世代の技術者や政策担当者を支援することに専念している。さまざまなカリキュラム、研究および実験的な学習プログラムを通して、パブリックインタレストテクノロジーという分野を構築するのが目的だ。将来的には、最初から公共の利益を考えてテクノロジーの開発と規制が行われるようになることを目指している。

新型コロナウイルスによって米国社会のさまざまな部分が大きな打撃を受けたが、トランプ政権下の連邦機関が規制緩和規則を提案する動きは弱まっておらず、それらの緩和規則が及ぼす影響は現在のパンデミック収束後も長く続くだろう。例えば、2020年5月18日に環境保護庁（EPA）が、EPAによる規制の支持に使用できる研究調査の制限に関して新しい規則を提案したが、この規制案には2020年4月6日時点で61万件のコメントが寄せられている。また、2020年4月2日には、教育省がオンライン教育と遠隔教育に関する規制を恒久的に緩和する新しい規則を提案した。さらに、2017年に2200万件ものボット生成コメントが投稿されたFCCのネット中立性規則に関するパブリックコメントは、「FCCはネット中立性規則の廃止が公共の安全と低所得者向け携帯電話アクセスプログラムに及ぼす影響を無視した」という連邦裁判所の判決をうけて、2020年２月19日にコメント募集が再開された。

連邦機関のパブリックコメントサイトは、規則の最終案が決定される前に米国の市民と団体が連邦機関に対して懸念を表明する唯一の手段だ。より高度なテクノロジーを活用して不正防止を図ることにより、国家の危機の際に米国の民主主義がディープフェイクテキストによってさらなる脅威にさらされるという事態を防ぐ必要がある。

関連記事：Facebookが10億円超を投じてディープフェイクの識別に賞金

Category：パブリック　人工知能・AI

Tag：ディープフェイク　ディープラーニング

[原文へ]

（翻訳：Dragonfly）

編集部注：本稿はPhilip N. Howard（フィリップ・N・ハワード）氏とLisa-Maria Neudert（リサ-マリア・ニューデルト）氏による寄稿記事である。ハワード氏はOxford Internet Institute（オックスフォードインターネット研究所）所長。ニューデルト氏は、オックスフォード大学のオックスフォードインターネット研究所でComputational Propaganda Projectに取り組む研究者だ。

—–

韓国は新型コロナウイルスの感染拡大速度を低下させることに成功した。大規模な隔離対策と検査の実施に加えて、革新的な方法でテクノロジーを活用したことが韓国における同感染症の拡大抑止に大きく貢献したと言われている。欧州各国や米国が悪戦苦闘する中、多くの国々は、現在および今後長期にわたって疫学研究を推進し公衆衛生を管理するためのツールとしてAIに注目し始めており、接触者追跡、症状追跡、免疫証明などの用途に利用するための技術ソリューションの開発が進められている。このようなテクノロジーがあると心強いのは確かだが、その利用によって人権が侵害されるようなことがあってはならない。

韓国政府は、クレジットカード取引から、監視カメラ映像や携帯電話の位置情報に至るまで、数百万に及ぶデータポイントを分析し、市民のプライバシーに踏み込んだ個人データを広範囲に集めた。韓国のMinistry of the Interior and Safety（行政安全部）は、自主隔離中の市民のGPSデータを政府職員に通知するスマートフォンアプリまで開発した。隔離中の人が指定された「電子フェンス」の外に出ると、アプリから政府職員に警告メッセージが送信される。このような大規模な監視がプライバシーとセキュリティに与える影響は、深く憂慮すべきものだ。

ウイルス拡散防止のために個人データを活用している国は韓国だけではない。中国、イラン、イスラエル、イタリア、ポーランド、シンガポール、台湾などの国々も、携帯電話から収集された位置情報データを、新型コロナウイルスと戦うために開発されたさまざまなアプリケーションに利用してきた。人工知能と機械学習が駆使されたこれらのデータは、社会統制や社会監視に利用すべきでないばかりか、移動パターンの予測、アウトブレイクが予想されるホットスポットのピンポイント特定、感染経路のモデル化、または免疫予測にも利用してはならない。

人権とデータプライバシーへの影響は、新型コロナウイルスが終息した後もずっと長く続く。差し迫る脅威に立ち向かうための一時的な対策として導入された、大規模なデータ共有、観察、監視が、現代社会における生活の一部として定着する可能性がある。将来起こり得る公衆衛生の非常事態から市民を守るという建前で、期間限定のアプリケーションが恒久化されるかもしれない。少なくとも、政府が焦って未成熟な技術を導入することを決め、場合によってはその使用を法で義務づけるようなことをすると、危険な先例を作ってしまうことになる。

とはいえ、そのようなデータやAIを駆使したアプリケーションは、新型コロナウイルスとの戦いにおいて前進していくうえで有用なものになり得るし、政府は、匿名化されて個人特定が不可能な個人データから、公衆衛生を脅かすこの未曽有の非常事態を乗り切るための貴重な知見を得られる。ホワイトハウスは、携帯電話から収集できる集団レベルの匿名位置データの活用方法について、さまざまなテクノロジー企業と活発に協議しているようだ。英国政府は、位置情報と利用データの活用について携帯電話会社と話し合っている。いつもは先頭に立ってデータ権利を擁護するドイツでさえ、健康管理用の端末やスマートウォッチからのデータ供与を活用して新型コロナウイルスの地理的な拡散状況を見極めるという、賛否両論あるアプリを導入した。

大手テクノロジー企業も救助に駆けつけている。Google（グーグル）は140以上の国々で、店舗、娯楽施設、職場、住宅地などの場所における人々の移動傾向を知ることができる「コミュニティモビリティレポート」を公開している。Apple（アップル）とグーグルは接触者追跡アプリを共同開発し、APIなどの開発者ツールキットをリリースしたばかりだ。Facebook（フェイスブック）は、ユーザーの位置情報に基づいて地方自治体、緊急対応機関、法執行機関が通知を送信できる「ローカルアラート」機能を展開している。

市民の健康状態や位置情報に関するデータ開示がこれ以上ないほど個人特定に近づいていることは明らかだ。このようなデータを活用するアプリケーションには大きな潜在的メリットもあるが、その不正利用や悪用に関する懸念も同じくらい大きい。データ保護にはセーフガード（おそらく最も進んでいるのは欧州のGDPRだろう）が存在するが、政府は国家の有事に際して例外措置を設ける権利を持っている。さらに、民主制においてAIを合法的かつ倫理的に利用するための枠組みは（すでに存在していればの話だが）それほど確立されていない。

政府が社会統制、アウトブレイク予測、感染追跡を実施するのに役立つ可能性があるアプリケーションは数多くあり、役立ちそうなものもあれば、そうでないものもある。接触者追跡アプリは欧州各国や米国で政府が今最も注目しているものだ。分散プライバシー保護接近追跡（DP3T）という、Bluetoothを使ったアプローチでは、同意したユーザーが、安全な分散型プロトコルを使って、公衆衛生当局にデータを提供できる。すでにEuropean Commission（欧州委員会）が、分散型アプローチを推奨する「接触者追跡アプリケーションに関する指針」を発表している。言うまでもなく、EU加盟国は、このようなツールの導入にあたり、中央集中型かどうかに関わらず、GDPRを順守しなければならない。

オーストリア、イタリア、スイスは、アップルとグーグルが開発した分散型アプローチを採用する計画であることを表明している。ドイツは最近、現在進行中の国民による議論とプライバシー専門家からの厳重な警告をうけて、中央集中型アプリの導入計画を中止し、代わりに分散型アプリを採用することを発表した。しかし、フランスとノルウェーは、機密性の高い個人データが中央サーバーに保存される中央集中型システムを使用している。

英国政府も中央集中型アプローチによるアプリの開発を進めており、現在ワイト島で実証実験を行っている。National Health Service（国民保険サービス、NHS）の一機関であるNHSXはこのアプリを、感染が疑われる市民に保健当局の職員が直接、個人ベースで連絡できる仕様にする予定だ。収集されたデータをどのように使用するか、他のデータソースと結合させて使うかどうか、といったことは現時点ではまだ不明である。現行の規定によると、英国はEU離脱の移行期間が終了する2020年12月まで引き続きGDPRを順守しなければならない。

政府主導の取り組みとは別に、接触者追跡やその他の方法によるアウトブレイク阻止を目的としたアプリやウェブサイトが無数に出現するという困った事態が生じている。このようなアプリやウェブサイトは、個人データの任意提供を市民に求める一方で、プライバシーやセキュリティ性能は（たとえあったとしても）ほとんどないに等しく、機能性に欠けることは言うまでもない。善意により開発されていることは間違いないが、このようなツールは趣味でアプリ開発をしている人やアマチュアのハッカソンイベントによって生み出されている場合が多い。

有用なシステムとそうでないものを選別するのは簡単ではなく、おそらく政府にはその選別能力はない。現時点で、人工知能、特にガバナンスにおける人工知能の使用は、公的機関にとっていまだに不慣れな分野である。切羽詰まった規制当局は、さまざまなAIシステムについて、その正当性やより広範囲に及ぶ影響を民主主義的価値に照らして評価するのに四苦八苦している。十分な調達ガイドラインや法的枠組みがまだ整備されていないため、政府はAI導入に関する決定―今こそ最も必要とされている決定―を下すための準備ができていない。

さらに悪いことに、9・11同時多発テロ事件後の保安強化措置とは異なり、AI主導アプリケーションをひとたび世に送り出してしまうと、それを元に引きもどすことは難しい。新型コロナウイルスの第二波や迫り来る別のパンデミックを回避するには個人データを使用することが必要だと政府が主張する可能性もある。

規制当局が新型コロナウイルス危機の間にAIに特化した新たな規制を策定する可能性は低いため、今後も前に進み続けるには、少なくとも今、「公衆衛生の危機に対処するために開発されるあらゆるAIアプリケーションは、公衆衛生研究者や公共科学機関によって公益のために保持される関連データ、アルゴリズム、入出力内容も含めて、最終的には公共アプリケーションになるものとする」という合意を形成しておく必要がある。新型コロナウイルス感染症パンデミックを出しにして、プライバシー規制を破ることや、一般市民から貴重なデータを吸い上げることは許されない。

治療の提供や公衆衛生の非常事態収束に最先端のAIを活用してほしいと、誰もが願っている。新型コロナウイルスによって人々の命が失われている今は、個人のプライバシーやAIの人権に関する短期的リスクへの注目度が下がるのも当然だ。しかし、新型コロナウイルスをめぐる事態が収束したら、すべての人が個人のプライバシーを取り戻し、権利を回復させたいはずだ。民主主義下の政府や企業がこの問題に取り組みつつ、体制の強さを保ちたいなら、アプリがどのように機能するかをすべての人が観察する必要があり、公衆衛生に関するデータが医療研究者のところに集まるようにする必要があり、一般市民が追跡システムの監査や無効化を実行できなければならない。AIは長期的に見て優れたガバナンスに寄与するものでなければならないのだ。

新型コロナウイルス感染症パンデミックは、最優先で取り組むべき公衆衛生の非常事態であり、今後、何十年にもわたってガバナンスに大きな影響を及ぼすことだろう。また、このパンデミックにより、現行システムの大きな欠点も浮き彫りになっている。AIはすでに実用できる段階にあり、これからさらに強力なAI主導アプリケーションが開発されていく。しかし、政府には、その民主的利用を実現する能力がまだ備わっていない。世界規模のパンデミックが及ぼす計り知れない影響を目の当たりにしている今、急場しのぎの政策立案だけでは優れたガバナンスを実践するには不十分だが、でもそれが、現時点で手が届く最善の解決策なのかもしれない。

Category：人工知能・AI

Tag：接触者追跡　新型コロナウイルス

[原文へ]

（翻訳：Dragonfly）