タグ: 児童ポルノ対策 / 児童虐待（用語）

先にApple（アップル）は、同社の端末を使う児童の安全性の向上を目的とした一連の新機能を発表した。この新機能はまだリリースされていないが、2021年後半にはダウンロード配信される予定だ。これらの機能は、未成年の保護と児童性的虐待画像の拡散を抑えることをも目的としており、良い機能として受け入れられているものの、アップルが採用しているやり方に疑問の声が上がっている。

関連記事：アップルがiCloud上の児童虐待画像を検出する新技術「NeuralHash」導入へ

この記事では、アップルのプライバシー担当責任者Erik Neuenschwander（エリック・ノイエンシュバンダー）氏に、アップル製端末に搭載されるこれらの新機能について話を聞いた。同氏は、この機能についてユーザーが抱いている多くの懸念について丁寧に回答してくれた。この機能の導入後に発生する戦術的、戦略的な問題についても詳しい話を聞くことができた。

また、密接に関連しているが、同じような目的を持つ完全に独立したシステム群であるこれらの機能の導入についても話を聞いた。アップルは今回3つの機能を発表しているが、これらの機能はその守備範囲においても、一般ユーザーの間でも、混同されることが多いようだ。

iCloud写真でのCSAM検出：NeuralHashと呼ばれる検出システムは、全米行方不明・被搾取児童センターやその他の組織のIDと照合可能なIDを作成し、iCloud写真ライブラリにある既知のCSAMコンテンツを検出する。大半のクラウドプロバイダーでもユーザーライブラリをスキャンしてこうした情報を取得しているが、アップルのシステムは、クラウド上ではなく端末上でマッチングを行う点が異なる。

メッセージアプリの通信の安全性：親がiCloudファミリーアカウントで未成年向けにオンにできる機能。画像を表示しようとする子どもたちに、その画像には露骨な性的表現が検出されていることを警告し、親にも同じ警告がなされることを通知する。

Siriと検索への介入：Siriや検索を介して児童性的虐待画像関連の表現を検索しようとするユーザーに介入して、そのユーザーに介入を通知し、リソースを紹介する。

これらの機能の詳細については、当社の記事（上記にリンクがある）またはアップルが先に投稿した新しいFAQを参照いただきたい。

関連記事：アップルがメッセージアプリで送受信される性的な画像を検知し子どもと親に警告する新技術を発表

筆者は、個人的な体験から、上記の最初の2つのシステムの違いを理解していない、あるいは、自分たちの子どもの無害な写真でも何らかのフィルターに引っかかって厳しい調査を受ける可能性があると考えている人たちがいることを知っている。ただでさえ複雑な内容の発表に混乱を生じさせる結果となっているようだ。この2つのシステムはもちろん、組織がすでに虐待画像と認識しているコンテンツと完全に一致するコンテンツを検索するCSAM検出システムとは完全に別個のものである。メッセージアプリの通信の安全性では、すべての処理が端末上で実行され、外部には一切報告されない。単に、端末を使っている子どもに、性的に露骨な画像を表示しようとしている、またはその可能性があることを、その場で警告するだけである。この機能は親によるオプトイン方式となっており、有効化されていることを親も子どもも意識する必要はない。

アップルのメッセージアプリの通信の安全性機能（画像クレジット：Apple）

また、端末上で写真をハッシュ化しデータベースを使って比較対照できるIDを作成する方法についても疑問の声が上がっている。NeuralHashは、写真の高速検索など、他の種類の機能にも使用できるテクノロジーだが、iPhone上では今のところCSAMの検出以外には使用されていない。iCloud写真が無効になっている場合、この機能は、まったく動作しない。これにより、この機能をオプトアウトできるようにしているのだが、iCloud写真がアップルのオペレーティングシステムに統合されていることの利便性を考えると、オプトアウトすることで失うものが非常に大きいことは明らかだ。

エリック・ノイエンシュバンダー氏へのインタビューでは、これらの新機能について考えられるすべての質問に答えているわけではないが、アップルの上級プライバシー担当者による公開の議論としては、最も詳細な内容になっている。アップルがこれらの新機能の内容を公開しており、継続的にFAQを更新し、記者会見を開いていることから、同社はこのソリューションに明らかに自信を持っているように思われる。

この機能については、さまざまな懸念や反対意見があるものの、アップルは、必要なだけ時間をかけてすべての人たちに納得してもらうことに尽力しているようだ。

このインタビューはわかりやすくするために編集されている。

ーーー

TC：大半の他のクラウドプロバイダーは、すでにCSAM画像のスキャンをかなりの期間実施していますが、アップルはまだ行っていません。現在、サーバー上でCSAM画像の検出を行うことを強制する規制はありませんが、EUやその他の国では規制による混乱が起こっています。今回の新機能はこうした動きを受けてのことでしょうか。なぜ、今なのですか。

なぜ今リリースするのかという点については、児童の虐待からの強力な保護とユーザーのプライバシーのバランスをとるテクノロジーが実現したということに尽きます。アップルはこの分野にかなりの期間注目してきました。これには、クラウドサービス上のユーザーのライブラリ全体をスキャンする最先端の技術が含まれますが、ご指摘のとおり、アップルはこうした処理、つまりユーザーのiCloud写真を走査するという処理を行ったことがありません。今回の新システムもそうした処理は一切行いません。つまり、端末上のデータを走査することもなければ、iCloud写真に格納されているすべての写真を走査することもありません。では、何をやっているのかというと、既知のCSAM画像が蓄積し始めているアカウントを特定する新しい機能を提供しているのです。

ということは、この新しいCSAM検出テクノロジーが開発されたことが重要な転機となって、このタイミングで今回の機能をリリースすることになったというわけですね。しかも、アップル自身も満足のいく形で、なおかつユーザーにとっても「良い」方法でこの機能を実現できると考えていると。

そのとおりです。この機能には、同じくらい重要な2つの目的があります。1つはプラットフォーム上での児童の安全性を向上させること、もう1つはユーザーのプライバシーを保護することです。上記の3つの機能はいずれも、上記の2つの目的を実現するテクノロジーを組み合わせることで実現されています。

メッセージアプリの通信の安全性機能とiCloud写真でのCSAM検出機能を同時に発表したために、両者の機能と目的について混乱が生じているようです。これらを同時に発表したことは良かったのでしょうか。また、この2つが別個のシステムなら、なぜ同時に発表されたのでしょうか。

確かにこれらは2つの別個のシステムですが、Siriと検索における当社による介入の増加に伴って開発されたものです。アップルのiCloud写真サービスの中の既知のCSAMのコレクションが格納されている場所を特定することも重要ですが、その上流部分を特定することも重要です。上流部分もすでにひどい状況になっています。CSAMが検出されるということは、すでにレポートプロセスの処理対象になったことのある既知のCSAMが存在しており、それが広範囲に共有されて子どもたちが繰り返し犠牲になっているということです。そもそも最初にそうした画像が作成される原因となった虐待があり、そうした画像の作成者がいたはずです。ですから、そうした画像を検出することも重要ですが、人々が問題のある有害な領域に入ろうとするときに、あるいは、虐待が発生し得る状況に子どもたちを仕向ける虐待者がすでに存在している場合に、早期に介入することも重要です。メッセージアプリの通信の安全性と、Siriおよび検索に対する当社の介入は、まさにその部分に対する対応策です。つまり、アップルはCSAMに至るまでのサイクルを遮断しようと試みているのです。最終的にはCSAMがアップルのシステムによって検出されることになります。

iCloud写真システムにおけるアップルのCSAM検出プロセス（画像クレジット：Apple）

世界中の政府と政府機関は、何らかのエンド・ツー・エンドまたは部分的な暗号化を組織内で使用している大規模組織に常に圧力をかけています。政府機関は、バックドアや暗号解読手段に賛成する理論的根拠として、CSAMやテロにつながる可能性のある活動を抑えることを挙げることがよくあります。今回の新機能および端末上でのハッシュ照合を実現する機能をリリースするのは、それらの要求を回避し、ユーザーのプライバシーを犠牲にすることなく、CSAM活動を追跡し防止するために必要な情報を提供できることを示すための取り組みでしょうか。

最初に、端末上での照合についてですが、このシステムはマッチング結果を（通常マッチングと考えられているような方法で）端末または（端末が作成するバウチャーを考えている場合でも）アップルに公開しないように設計されている、という点を申し添えておきます。アップルは個々の安全バウチャーを処理することはできません。このシステムは、あるアカウントに、違法な既知のCSAM画像に関連付けられたバウチャーのコレクションが蓄積した時点で初めて、そのユーザーのアカウントについて調査できるように設定されています。

なぜそんなことをするのかというと、ご指摘のとおり、これはユーザーのプライバシーを保護しながら検出機能を実現するための仕組みだからです。我々の動機となっているのは、デジタルエコシステム全体で児童の安全性を高めるためにもっと多くのことを行う必要があるという事実です。上記の3つの機能はすべて、その方向への前向きな一歩になると思っています。同時に、アップルが、違法行為に関わっていない人のプライバシーを侵害することも一切ありません。

端末上のコンテンツのスキャンとマッチングを可能にするフレームワークを作成するというのは、法的執行機関の外部のフレームワークを作るということでしょうか。つまり「アップルはリストを渡します。ユーザーのデータをすべて検索するようなことはしたくありませんが、ユーザーに照合して欲しいコンテンツのリストを渡すことはできます」ということでしょうか。そのリストをこのCSAM画像コンテンツと照合できるなら、探しているCSAM画像以外のコンテンツとも照合できますよね。それは、アップルの現在の考え方、つまり「アップルはユーザーの端末を復号化できない。端末は暗号化されていて、我々はキーを持っていないのだから」という立場を損なうことになりませんか。

その立場は一切変わりません。端末は依然として暗号化されていますし、アップルは復号化キーも持っていません。今回の新システムは端末上のデータに対して機能するように設計されています。アップルが作成したのは端末側コンポーネントです。プライバシーを向上させる端末側コンポーネントも含まれています。サーバー上のユーザーデータをスキャンして評価するやり方もあったわけですが、そのほうが（ユーザーの承認なしに）データを自由に変更できるし、ユーザーのプライバシーも低いのです。

今回のシステムは、端末側コンポーネントとサーバー側コンポーネントで構成されています。端末側コンポーネントは、バウチャーを作成するだけで何も認識しません。サーバー側コンポーネントには、バウチャーと、アップルのサービスに入ってくるデータが送信され、当該アカウントについて、違法なCSAM画像のコレクションが存在するかどうか調査されます。つまり、サービス機能です。話が複雑になりますが、このサービスの機能に、バウチャーが端末上に作成される部分が含まれているのですが、何度も申し上げているとおり、端末上のコンテンツの内容が認識されることは一切ありません。バウチャーを生成することで、サーバー上ですべてのユーザーのコンテンツを処理する必要がなくなりました。もちろん、アップルはiCloud写真の内容を処理したことも一切ありません。そのようなシステムは、プライバシー保護の観点から、より問題を起こしやすいと思います。ユーザーに気づかれずにシステムを本来の設計意図とは異なるものに変更できてしまうからです。

このシステムに関して大きな疑問が1つあります。アップルは、CSAM画像以外のコンテンツをデータベースに追加して端末上でチェックするよう政府やその他の機関から依頼されたら拒否すると明言しました。アップルには、ある国で事業展開したければ、その国の法律に最高レベルで準拠しなければならなかった例が過去にあります。中国の件が良い例です。政府からシステムの意図的改ざんを要求または依頼されても、アップルは、そうした干渉を一切拒否するという約束は本当に信頼できるのでしょうか。

まず、このシステムは米国内でのみ、iCloudアカウントのみを対象としてリリースされます。ご質問では国全般または米国以外の国からの要請を想定されているようです。少なくとも米国の法律では、こうした要請を政府が行うことは許されていないと思われます。

システムを改ざんする試みについてですが、このシステムには、多くの保護機能が組み込まれており、児童虐待画像を保持している個人を（政府が）特定するにはあまり役立たないようになっています。ハッシュリストはオペレーティングシステムに組み込まれるのですが、アップルは1つのグローバルなオペレーティングシステムのみを所有しており、個々のユーザー向けにアップデートを配信することはできません。ですから、ハッシュリストはシステムを有効にしているすべてのユーザーに共有されます。第2に、このシステムでは、（バウチャーの中身を見るには）画像のしきい値を超える必要があるため、個人の端末または特定のグループの端末から単一の画像を探し出すことはできません。というのは、システムはアップルに、サービスに保存されている特定の画像について一切情報を提供しないからです。第3に、このシステムには手動によるレビュー段階が組み込まれています。つまり、あるアカウントに、違法なCSAM画像のコレクションが保存されていることを示すフラグが立つと、外部の機関に報告する前に、アップルのチームがその画像が確かに違法なCSAM画像と一致していることを確認するようになっています。ですから、ご指摘のような状況（アップルが政府の要請に応じてシステムを改ざんするような事態）が発生するには、例えばアップルに内部プロセスを変更させて違法ではない（既知のCSAM以外の）コンテンツも報告させるようにするなど、本当に多くの作業を行う必要があります。それに、アップルは、そうした要請を行うことができる基盤が米国内に存在するとは考えていません。最後に付け加えておきますが、ユーザーはこの機能を有効にするかどうかを選択できます。この種の機能が気に入らなければ、iCloud写真を使わない選択をすればよいだけです。iCloud写真が無効になっていれば、このシステムは一切機能しません。

iCloud写真が無効になっていればこのシステムは機能しないと、確かにFAQでも明言されています。この点について具体的にお聞きしますが、iCloud写真が無効になっている場合でも、このシステムは端末上で写真のハッシュの作成を継続するのでしょうか。それとも、無効にした時点で完全に非アクティブな状態になるのでしょうか。

ユーザーがiCloud写真を使用していない場合、NeuralHashは実行されず、バウチャーも生成されません。CSAMの検出では、ニューラルハッシュがオペレーティングシステムイメージの一部である既知のCSAMハッシュのデータベースと比較対照されます。iCloud写真を使用していない場合、安全バウチャーの作成やバウチャーのiCloud写真へのアップロードなどの追加部分は、一切実行されません。

アップルは近年、端末上での処理によりユーザーのプライバシーが保護されるという事実に注目しています。今思い浮かぶ過去のすべての事例において、これは真実です。確かに、例えば写真をスキャンしてそのコンテンツを特定し、検索できるようにするといった処理は、ローカルの端末上で実行し、サーバーには送信しないで欲しいと思います。しかし、この機能の場合、外部の使用ケースがなければ個人的な使用をスキャンするのではなくローカルの端末をスキャンするという点で、ある種の抗効果が発生し、ユーザーの気持ちに「信頼性の低下」というシナリオが生まれる可能性があるように思います。それに加えて、他のすべてのクラウドプロバイダーはサーバー上をスキャンすることを考慮すると、この実装が他のプロバイダーとは異なるため、ユーザーの信頼性が低下するのではなく向上するのはなぜか、という疑問が生じるのですが。

アップルの方法は、業界の標準的な方法と比較して、高い水準にあると思います。すべてのユーザーの写真を処理するサーバー側のアルゴリズムでは、どのようなものであれ、データ漏洩のリスクが高くなり、当然、ユーザーのライブラリ上で行う処理という点で透過性も低くなります。これをオペレーティングシステムに組み込むことで、オペレーティングシステムの完全性によって他の多くの機能にもたらされているのと同じ特性を実現できます。すべてのユーザーが同じ1つのグローバルなオペレーティングシステムをダウンロードおよびインストールするため、個々のユーザー向けに特定の処理を行うのはより難しくなります。サーバー側ではこれは実に簡単にできます。いくつかのプロパティを用意しそれを端末に組み込んで、この機能が有効になっているすべてのユーザーでプロパティ設定を統一できることで、強力なプライバシープロパティが得られます。

第2に、オンデバイステクノロジーの使用によってプライバシーが保護されるというご指摘ですが、今回のケースでは、まさにおっしゃるとおりです。ですから、ユーザーのライブラリをプライバシー性の低いサーバー上で処理する必要がある場合の代替策になります。

このシステムについて言えるのは、児童性的虐待画像という違法行為に関わっていないすべてのユーザーのプライバシーが侵害されることは一切なく、アップルがユーザーのクラウドライブラリに関して追加の情報を得ることも一切ないということです。この機能を実行した結果としてユーザーのiCloud ライブラリが処理されることはありません。その代わりに、アップルは暗号的に安全なバウチャーを作成できます。このバウチャーには数学的プロパティが設定されています。アップルがコンテツを復号化したり画像やユーザーに関する情報を取得できるのは、そのユーザーが、CSAMハッシュと呼ばれる違法な画像ハッシュに一致する写真を収集している場合だけです。一方、クラウド処理スキャンサービスでは、まったく状況が異なります。すべての画像を復号化された形式でくまなく処理し、ルーチンを実行して誰が何を知っているのかを決定するからです。この時点で、ユーザーの画像に関して必要なことは何でも確定できます。それに対して、アップルのシステムでは、NCMECおよび他の児童虐待保護組織から直接入手した既知のCSAM画像ハッシュのセットに一致することが判明した画像について知ることしかできません。

このCSAM検出機能は、端末が物理的にセキュリティ侵害されたときにも全体として機能しますか。何者かが端末を手元で操作できれば、暗号がローカルに迂回されることもあります。これを防ぐための保護レイヤーはありますか。

これは難しく、犠牲が大きい問題ですが、非常に稀なケースであることを強調しておきたいと思います。この問題はほとんどのユーザーにとって日常的な関心事ではありませんが、アップルはこの問題を真剣に受け止めています。端末上のデータの保護は我々にとって最重要事項だからです。では、誰かの端末が攻撃されたという仮説の下で説明してみます。その攻撃は極めて強力なので、攻撃者が対象ユーザーに対して行えることはたくさんあります。攻撃者にはアクセス可能なユーザーのデータが大量にあります。誰かの端末のセキュリティを侵害するという極めて難しい行為をやってのけた攻撃者にとって最も重要なことが、アカウントの手動レビューを起動させることだという考え方は合理的ではありません。

というのは、思い出して欲しいのですが、しきい値が満たされていくつかのバウチャーがアップルによって復号化されても、次の段階で手動レビューによって、そのアカウントをNCMECに報告するべきかどうかを決定するわけですが、我々は合法的な高価値レポートであるケースでのみこうした報告を行うべきだと考えています。我々はそのようにシステムを設計していますが、ご指摘のような攻撃シナリオを考えると、攻撃者にとってあまり魅力的な結果にはならないと思います。

画像のしきい値を超えた場合のみ報告されるのはなぜですか。CSAM画像が1つ見つかれば十分ではないでしょうか。

NCMECに対してアップルが報告するレポートは高価値でアクション可能なものにしたいと考えています。また、すべてのシステムについて共通しているのは、その画像が一致するかどうかにある程度の不確かさが組み込まれるという点です。しきい値を設定することで、誤報告によってレビューに至る確率は年間で1兆アカウントに1つになります。ですから、既知のCSAMのコレクションを保持しているユーザー以外の写真ライブラリをスキャンすることに興味がないという考え方に反することになりますが、しきい値を設定することで、レビューしているアカウントをNCMECに報告したとき、法執行機関は効果的に調査、起訴、有罪判決まで持っていくことができると確信できます。

関連記事
・電子フロンティア財団が「アップルの大規模な監視計画に反対」と声明発表、請願書への署名を呼びかけ
・アップルが台湾・香港・中国向け刻印サービスで「ダライ・ラマ」「雨傘革命」など法的義務以上に検閲と明らかに
・アップルがSiri改善のためフィードバック収集アプリ「Siri Speech Study」をひそかに提供開始
・また批判を浴びるアップルの児童虐待検出技術
画像クレジット：Bryce Durbin / TechCrunch

［原文へ］

（文：Matthew Panzarino、翻訳：Dragonfly）