【コラム】イーロン・マスクやスティーブ・ジョブズ、「独創的」な考え方を持つ脳多様性な人たちも活かすソフト設計とは

ホモ・サピエンスは実に多様性に富んだ種である。地球上のさまざまな地域に起源を持つ私たちは、出自に基づく区別を呈する姿をしており、コミュニケーション手段には何千もの言語が存在する。そしてそれぞれの経験、伝統、文化に基づいた異なる思考パターンを持ち合わせている。私たちの脳は、そのすべてに独自性がある。このような特性をはじめとするあらゆる機能を駆使して、私たちは問題を分析し、意思決定を行う。

これらの要素はすべて、私たちがビジネスを行う方法と、職務を遂行するためにツールを使用する方法に直接影響している。ビジネスを上手く進めることは、ほとんどの人にとって課題をともなうチャレンジングなものだ。しかし、ニューロダイバース(神経学的に多様)の特性を有する人々、故Steve Jobs(スティーブ・ジョブズ)氏がかつて述べたような「think different(異なる考えを持つ)」プロフェッショナルたちは、その才能が企業内でしばしば過小評価されるか、未開拓である、独自の類型となっている。こうした企業は、標準化に価値を置き、通常のワークパターンからの逸脱は限定的であることを好む傾向にある。

ニューロダイバーシティ(神経多様性 / 脳の多様性)の役割

ニューロダイバースな資質を持つ(ニューロダイバージェント)人々は、主流派とは異なる方法で情報を処理する。自閉症スペクトラム、失読症、注意欠陥障害(ADD)を持つ人々もその例として挙げられるが、専門家は全人口の40%がニューロダイバージェントであると考えている。

優秀なセールスパーソンほど粘り強さを発揮し「独創的」な考え方をすることが多いことを勘案し、このパーセンテージはセールス専門職ではさらに高くなると思う人も少なくない。あるセールスチームの誰かがスーパースター級のセールスパーソンであっても、彼らが情報や他者とどのようにやり取りするかに影響を与える神経学的変異を持っているという可能性は低い。こうしたことから、ニューロアティピカル(神経学的に非定型)な人々をセールス組織に統合し、彼らを成功に導く知恵についての非常に興味深い議論が生じている。

例えば、セールスパーソンはCRM(Customer Relationship Managementm、顧客関係管理)ソフトウェアシステムを利用している。このシステムでは、すべての記録、ワークフロー、アナリティクスが標準化されており、ユーザーエクスペリエンスはシステムに設定された1つの方法に限定されている。

だが、このような複雑で柔軟性に欠けるシステムを誰もが最適に使用できるわけではない。特に、ユーザーインタラクションレイヤーが非常に厳しく制限されている場合はなおさらだ。ニューロダイバースな人々の多くは、特に「独断的」なアプリケーションを使うことに困難を感じる。このようなアプリケーションでは、ユーザーに特定の作業方法を押し付ける傾向があり、ときにユーザーの人間性のすべての面、つまり情報を処理し、ワークフローをナビゲートするユーザー独自の方法を考慮しないこともある。そのため、ほとんどのセールス組織において、最も高いパフォーマンスを発揮するセールス担当者は、CRMを最低限しか更新していないことが多い。ノートテイキングアプリケーション、タスク、スプレッドシートなどの基本的なツールで取引のパイプラインを管理しているセールス担当者が多いのも、こうした理由からだろう。

ニューロダイバースなプロフェッショナルは、異なる視点と強みをもたらし、しばしば現状に挑戦する。思考の多様性が、特別なやり方で組織に力を与えるのだ。

企業はニューロダイバースの人材から何を得るべきだろうか?

JP Morgan(JPモルガン)は、2015年にニューロダイバーシティのパイロットプログラム「Autism(自閉症)at Work」を立ち上げた。その結果は注目に価するものであった。このプログラムに参加した従業員は、同僚よりも48%早く仕事を完了し、92%生産性が高かった。オーストラリアのDepartment of Human Services(福祉省)の別のパイロットプログラムの結果によると、同組織のニューロダイバースなソフトウェアテストチームは、ニューロティピカル(神経学的に定型)なチームよりも30%生産性が高くなっていた。

自閉症の人の多くは細部にまで強いこだわりを持つことが知られている。例えば、自閉症スペクトラムの7歳の少年は、歴史上のあらゆる難破船の詳細を暗記している。この種の情報への集中と欲求は、適切な役割に利用されることで、驚くべきポテンシャルが生み出される。自閉症の人材は、データアナリティクス、技術サービス、ソフトウェアエンジニアリングなど、知識経済の急成長分野の一部に理想的に適していることも多い。実際、Tesla(テスラ)のCEOであるElon Musk(イーロン・マスク)氏は、自身が自閉症の一種であるアスペルガー症候群であることを最近明らかにしている

ニューロダイバーシティの別の領域として、独創的な考え方をする人は失読症であることが多い。世界を変革した失読症の人々について考えてみよう。Steve Jobs(スティーブ・ジョブズ)氏、Richard Branson(リチャード・ブランソン)氏、Bill Gates(ビル・ゲイツ)氏。これはほんの一部の例にすぎない。彼らに共通しているのは、世界を違った目で見る能力である。

ソフトウェアのジレンマ

企業はこうしたメッセージを意識し始めている。ニューロダイバージェントの従業員は才能と貢献の巨大な源泉として評価されるべきであるという認識である。同時に、2020年の出来事をきっかけに、あらゆる種類の社会的不公平に対する意識が高まり、より多くの組織がニューロダイバーシティを多様性、公平性、インクルージョンの取り組みの一環として認識するようになった。

しかしこれまでのところ、焦点が当てられているのは、雇用、トレーニング、オンボーディングプロセス、さらにはオフィス設計(私たちがオフィスに復帰した場合)がどのようにしてニューロダイバージェントの人々にとってより包括的になることができるのかということだ。例えば、SAP(エスエイピー)とMicrosoft(マイクロソフト)は、ニューロアティピカルの従業員をより多く雇用する取り組みを拡大している。

こうしたイニシアティブは重要であるが、ソフトウェア企業は一歩進んで、中核的な設計レベルでアプローチを変える必要があると私たちは考えている。

多くのソフトウェアは、ユーザーの視点からすべてのものがどのように感じられ、どのように流れるかについてほとんど、またはまったく配慮することなく、ユーザーに特定の作業方法を課している。そしてその過程で、この硬直的なシステムは、ニューロダイバースな人々を排除してしまう。その結果、ユーザーは日々の業務で課題に直面することになる。これまで提供されてきたツールは、標準化という名の下に、情報の処理方法やワークフローの操作方法に適合していないのである。そして、組織はツールやシステムの適用状況が不十分であることに悩まされている。

このようなことを意図的に行っているベンダーは存在しない。ただ、実行して良い結果を出すのは難しいということである。しかし、あらゆるユーザーを念頭に置き、すべてのユーザーが同じように効率的かつ生産的になれるような、共感できるソフトウェア設計を追求することは、すべてのソフトウェア企業にとってコアバリューとなるはずだ。それは、すべての「ユーザー」が同じではないことを認識し、尊重することから始まる。そうすることで、より多くの人々が自然に利用できる、より柔軟でアプローチしやすいソフトウェアを設計する道が開けてくるだろう。

セールス組織がニューロダイバージェントの人材を多く擁しているとしたら、間違った種類のツールがもたらす影響を想像してみて欲しい。例えば、ADHD(注意欠陥・多動性障害)を持つ人に大量の単調なデータ入力タスクを要求するCRMソフトウェアのようなものだ。熟練した、ニューロダイバースなセールスパーソンが、自分の潜在能力を十分に発揮するには不適切なツールを与えられたために、フラストレーション、潜在能力の喪失、士気の低下が生じてしまうことを想像して欲しい。

業界全体として、ソフトウェアのユーザーエクスペリエンスについての考え方を広げ、柔軟性を主要な設計原則として組み込む時期がきているといえるだろう。

編集部注:本稿の執筆者Pouyan Salehi(プーヤン・サレヒ)氏は、Scratchpadの共同設立者兼CEO。

画像クレジット:Hiroshi Watanabe / Getty Images

原文へ

(文:Pouyan Salehi、翻訳:Dragonfly)

【コラム】Apple Cardをめぐる米国の法執行はどのように間違ったのか

編集部注:本稿の著者Liz O’Sullivan(リズ・オサリバン)氏は、企業のモデルリスクとアルゴリズムのガバナンスを自動化するプラットフォームParityのCEO。また、Surveillance Technology Oversight ProjectやCampaign to Stop Killer Robotsに対して、人工知能に関するアドバイスを行っている。

ーーー

アルゴリズム正義の支持者たちは、UHGApple Cardのような企業に対する法的調査によって、いわゆる「裁判の日々」を迎え始めている。Apple Card訴訟は、定量化可能な公正性という新たな分野において、現在の反差別法が科学的研究の急速なペースに追いついていないことを示す好例である。

Appleとその引受会社が公正貸付違反を犯していないと判断されたのは確かかもしれないが、今回の判決は、あらゆる規制区域で機械学習を利用している企業に対する警鐘となり得る、明確な警告を提示した。経営陣がアルゴリズムによる公正さをもっと真剣に受け止め始めない限り、彼らの前途は法的な問題と評判の低下に満ちたものになるだろう。

関連記事:Apple Cardプログラムは公正貸付法に違反していないとNY州金融サービス局が報告

Apple Cardに何が起きたのか

2019年後半、スタートアップのリーダーでありソーシャルメディアで著名なDavid Heinemeier Hansson(デイヴィッド・ハインマイヤー・ハンソン)氏は、Twitter上で重要な問題を提起し、大きな反響と称賛を巻き起こした。「いいね!」やリツイートが5万件近くある中、同氏はAppleと引受パートナーのGoldman Sachs(ゴールドマン・サックス)に対し、同じ金銭的能力を持つ同氏と同氏の妻に付与される信用限度額が異なる理由を説明するよう求めた。アルゴリズムの公正性のフィールドに立つ多くの関係者にとって、私たちが提唱する問題がメインストリームになるのを目にすることが重大な分岐点となり、結果的にニューヨーク州金融サービス局(DFS)からの照会に結実した。

DFSが2021年3月に、ゴールドマンの引受アルゴリズムについて、1974年に制定された女性やマイノリティを差別融資から保護する厳格な金融アクセス規則に違反していないと結論づけたことは、一見したところ、信用引受会社にとって心強く思えるものかもしれない。活動家にとっては残念な結果だが、財務部門のデータチームと密接に協力している私たちにとっては驚く結果ではなかった。

金融機関向けのアルゴリズムアプリケーションの中には、試行のリスクが利益をはるかに上回るものがあり、信用引受もその1つだ。貸付の公正性に関する法律は(古いものであれば)明確かつ厳格に施行されるため、ゴールドマンが無罪となることは予測できた。

とはいえ、ゴールドマンのアルゴリズムが、現在市場に出回っている他のすべての信用スコアリングおよび引受のアルゴリズムと同様、差別化していることは疑いの余地がない。また、仮に研究者がこうした主張を検証するために必要なモデルやデータへのアクセスを許可されたとしても、これらのアルゴリズムが崩壊することはないだろう。私がこれを知っているのは、ゴールドマンのアルゴリズムを検証するための方法論をニューヨーク州DFSが部分的に公開したからであり、ご想像の通り、その監査は、今日の最新のアルゴリズム監査人によって保持されている標準には遠く及ばないものだった。

DFSは(現行法の下で)Apple Cardの公正性をどのように評価したか

DFSは、Appleのアルゴリズムが「公正」であることの証明として、ゴールドマン・サックスが申請者の性別や配偶者の有無などの「禁止された特性」を利用していたかどうかを最初に検討した。これはゴールドマンにとってパスするのは容易だった。人種、性別、婚姻状況をモデルの入力に含めていないからだ。しかし、いくつかのモデル特性が、保護されたクラスの「プロキシ」として機能し得ることは、何年も前から知られている。

50年間の判例に基づくDFSの方法論では、この問題を検討したかについて言及されていないが、検討されなかったことは推測できる。もしそうであれば、信用スコアと人種との間に強い相関関係があることがすぐに判明するはずだ。それに関連して、一部の州では損害保険への利用を禁止することを検討している。プロキシ特性は最近になって研究の焦点になったばかりであるが、科学がいかにして規制を凌駕してきたかを示す第1の例を提供するものだ。

保護された特性がない場合、DFSは、内容は類似しているが、異なる保護クラスのユーザーに属する信用プロファイルを調査した。不正確な感じがするが、申請書で性別を「フリップ(反転)」させた場合に信用供与の決定にどのような影響があるかを明らかにしようとした。男性申請者の女性バージョンも同じ扱いになるかということだ。

直感的には、これは「公正」を定義する1つの方法のように思える。機械学習の公正性の分野には「フリップテスト」と呼ばれる概念がある。これは「個人の公正性」と呼ばれる概念の多くの尺度の中の1つであり、まさにそのように聞こえる。筆者は、AI専門の大手法律事務所bnh.aiの主任研究員であるPatrick Hall(パトリック・ホール)氏に、公正貸付の事例を調査する上で最も一般的な分析について尋ねた。DFSがApple Cardを監査するのに使用した方法を参照して、同氏はそれを基本回帰、または「フリップテストの1970年代バージョン」と表現し、不十分な法律について第2の例を提示した。

アルゴリズム的公正性のための新しい語彙

Soron Barocas(ソロン・バロカス)氏の独創的な論文「Big Data’s Disparate Impact」が2016年に発表されて以来、研究者たちは哲学の核となる概念を数学的な用語で定義することに熱心に取り組んできた。いくつかのカンファレンスが開催され、最も注目すべきAIイベントで新たな公正性の道筋が示された。この分野は高度成長期にあり、現在のところ法律が追いついていない状況だ。しかし、サイバーセキュリティ業界に起きたように、この法的猶予は永遠には続かないだろう。

公正な貸付を管理する法律は公民権運動から生まれたもので、制定以来50年以上の間にあまり進展が見られなかったことを考えると、DFSの軟式監査は容認できるかもしれない。法律上の前例は、機械学習の公正性に関する研究が本格的に始まるずっと前のものだ。もしDFSが、Apple Cardの公正性を評価するという課題に適切に対処できるように装備されていれば、過去5年間に花開いたアルゴリズム評価のための堅牢な語彙を使用することができただろう。

例えばDFSの報告書は、Joy Buolamwini(ジョイ・ブオラムウィニ)氏、Timnit Gebru(ティムニット・ゲブル)氏、Deb Raji(デブ・ラジ)氏による、2018年に発表された調査の中の有名な規準「equalized odds」の測定については触れていない。同氏らの論文 Gender Shades」では、顔認識アルゴリズムが明るい肌の被験者よりも暗い女性の顔で間違った推測をすることが多いことを証明しており、この推論はコンピュータービジョンだけでなく、予測に関するさまざまなアプリケーションにも当てはまる。

均等オッズは、Appleのアルゴリズムに対して問うべきものだろう。どのくらいの頻度で信用力を正確に予測しているか。どれくらいの頻度で間違った推測をしているか。性別、人種、あるいは障害ステータスの異なる人々の間でこれらのエラー率に違いがあるか。ホール氏によると、これらの測定は重要だが、法制度を完全に体系化するには新しすぎるという。

もしゴールドマンが、現実世界の女性申請者を常に過小評価していたり、黒人の申請者に対して実際に適用されるべきものよりも高い金利を設定していたりすることが判明すれば、こうした十分なサービスを受けていない人々が、全国規模でどのような悪影響を受けるかは想像に難くない。

金融サービスのCatch-22(落とし穴)

最新の監査人であれば、判例によって指示された方法では、マイノリティのカテゴリー内でのセクション間の組み合わせに対する公正性の微妙な差異を捉えることができないことを認識している。この問題は、機械学習モデルの複雑さによってさらに深刻化している。例えば、あなたが黒人で、女性で、妊娠している場合、あなたが信用を得る可能性は、それぞれの包括的な保護されたカテゴリーの結果の平均を下回るかもしれない。

マイノリティのサンプル数は定義上セット内のより少ない数であることを考えると、これらの過小評価されたグループは、その独自性に特別な注意を払わない限り、システムの全体的な監査から利益を享受することはないだろう。このことから、最新の監査人は、各グループの個人の人口動態を明確に把握した上で結果を測定できる「認知による公正性」アプローチを採用する傾向にある。

しかし「Catch-22(落とし穴)」が存在する。金融サービスやその他の厳格に規制された分野では、監査人は最初から機密情報を収集することができないため「認知による公正性」を利用できないことが多い。この法的制約の目的は、貸し手が差別されないようにすることにあった。運命の残酷なねじれの中で、これはアルゴリズムによる差別を覆い隠し、私たちに法的不備の第3の例を与える。

この情報を収集できないという事実は、モデルが十分なサービスを受けていないグループをどのように扱っているのかを知る上で障害となっている。それがなければ、私たちは実際的に真実であることを証明できないだろう。例えば、専業主婦は両方の配偶者の名前ですべてのクレジットベースの購入を実行するわけではないため、より薄い信用ファイルを確実に持っている。マイノリティのグループは、ギグワーカー、チップを受け取る労働者、または現金ベースの業界に属する傾向が極めて高く、マジョリティにはそれほど一般的ではないことが証明されているような所得プロファイルの共通性がもたらされることが考えられる。

重要な点として、申請者の信用ファイルにおけるこれらの相違は、必ずしも真の財務責任や信用力につながるものではない。信用力を正確に予測するには、その方法(例えば信用スコア)がどのようにブレークダウンするのかを把握する必要があるだろう。

AIを使用する企業にとってこれは何を意味するのか

Appleの例で言えば、同社が時代遅れの法律で守られている差別に対抗するために、信用ポリシーの帰結的なアップデートを行ったという話に希望に満ちたエピローグを挙げる価値がある。AppleのCEOであるTim Cook(ティム・クック)氏は声明の中で「業界が信用スコアを計算する方法に公正性が欠けている」ことを即座に強調した。

関連記事:アップルが配偶者とティーンエージャーのための「Apple Card Family」発表、ジェンダー差別疑惑を払拭

新しいポリシーでは、配偶者や親が信用ファイルを結合して、信用ファイルが弱い方が強い方の恩恵を受けられるようにしている。これは、世界に構造的に存在する差別を実際に減らす可能性のある措置を先を見越して考えている企業のすばらしい例だ。Appleはポリシーを改訂するにあたり、今回の調査の結果として導入されるかもしれない規制に先んじた。

これはAppleにとって戦略的に有利な点と言える。なぜなら、ニューヨーク州DFSはこの分野を支配する現行の法律が不十分であることに徹底的に言及しており、規制のアップデートは多くの人が考えているよりも間近かもしれないからだ。金融サービス監督官Linda A.Lacewell(リンダ・A・レイスウェル)氏の言葉を借りれば「現在の形での信用スコアリングの利用と、融資における差別を禁止する法律や規制は、強化と近代化を必要としている」。規制当局と協働した筆者の経験では、これは今日の当局が極めて熱心に追求していることだ。

米国の規制当局が、自動化と数学における平等に向けた堅牢な語彙を活用して、AIを統制する法律の改善に取り組んでいることは間違いない。連邦準備制度、OCC(通貨監督庁)、CFPB(消費者金融保護局)、FTC(連邦取引委員会)、連邦議会は、ペースが遅くとも、アルゴリズムによる差別に対処することに意欲的である。

その一方で、アルゴリズムによる差別が横行していると信じるに足る十分な理由が存在する。その主なるものとして、業界がここ数年、学術界の言葉を取り入れるのに消極的だったことが挙げられる。企業がこの新しい公正性の分野を活用できず、ある意味で保証されている予測的差別を根絶できないことに対する言い訳の余地はほとんどない。EUは、今後2年以内に採択される予定のAIに特化した法案に同意している。

機械学習の公正性の分野は急速に成熟しており、毎年のように新しい手法が生み出され、無数のツールがそれを助けている。この分野は今になってようやく、ある程度の自動化によってこれを規定できる段階に達しつつある。標準化団体は、米国の法律の採択が遅れている場合でも、これらの問題の頻度と深刻さの低減に向けたガイダンスを提供し、積極的に関与している。

アルゴリズムによる識別が意図的であるかどうかは、違法性を有する。そのため、医療、住宅、雇用、金融サービス、教育、または政府に関連するアプリケーションで高度な分析を使用している場合、誰もが知らずにこれらの法律に違反している可能性がある。

センシティブな状況下でのAIの無数のアプリケーションについて、より明確な規制ガイダンスが提供されるまでの間、業界はどのような公正性の定義が最善かを自力で判断する必要がある。

画像クレジット:SOPA Images / Getty Images

原文へ

(文:Liz O’Sullivan、翻訳:Dragonfly)