この数年間、次から次へと悲惨なニュースを聞かされてきた。どれも事前に知り得て、予防できたはずの事故だ。飛行機の墜落、原子力発電所のメルトダウン、外国の権力による個人情報の不正取得、ひとつの州を焼き払ってしまった電力網。
これは規制や国籍に由来する問題ではない。特定の社会的構造が共通して抱える問題でもない。Facebookで機械学習のプログラムを行っている人が、フォルクスワーゲンの自動車エンジニアや日本の原発設計者とつるんでいることもない。彼らは同じ学校の出身者でもなく、同じ教科書で学んだわけでもなく、同じ専門紙を読んでいるということもない。
これらのまったく異質で悪質な事件の根本的な共通原因は他にある。それは、ますます毒性を増す錬金術、複雑性と資本主義だ。この2つの問題は、安全文化の再生によってのみ修繕することができる。
予期せぬ災害は「当たり前に起きる事故」
責任の所在を突き止める前に、一歩下がって、これらの技術的システムを見てみよう。自動車の排ガス、原子力発電所、飛行機、アプリケーションプラットフォーム、送電網。これらには、ひとつだけ共通していることがある。すべて、大変に複雑化された高度な結合システムであるという点だ。
複雑化とは、使用されている無数の部品が、ときとして非線形に接続されている状態だ。結合システムの高度化とは、ひとつの部品への摂動が、即座にシステム全体の運用に影響を及ぼす状態だ。
そのために、安全システムは大幅に縮小され、737MAXを墜落させた。ソーシャルプラットフォームではAPIが大幅に制限され、ユーザーの個人情報のストリームが外へ漏れてしまった。また、送電線網は木に触れて発火し、火災となって数十人の人の命を奪った。
こうした悲劇は、理論的には予防できた。とは言え、複雑な結合システムの相互作用の程度は測り知れない。つまり、小さな変化が大きな結果を引き起こす。
随分前になるが、Charles Perrow氏は素晴らしい本を著した。複雑性と結合性の高度化と、悲惨だが「ノーマル・アクシデント」（当たり前に起きる事故）とを結びつけた。それがその本のタイトルにもなっている。彼は、そうした災厄は珍しいものでもショッキングなものでもなく、それらのシステムの設計そのものが、かならず事故が起きるように作られていると指摘している。何百万、何億という数の相互作用で成り立つシステムでは、検査や設計段階で事故を防ぎきれるものではない。したがって、事故は当たり前に起きるというわけだ。
彼は、未来のエンジニアリングについて厳しい意見を述べている。これはかなりの皮肉に聞こえるかも知れない。技術者は、どんどん複雑さを増すシステムに、より高度なツールで対処してきた。そのツールは、ほとんどがより強力なコンピューターパワーと、より優れたモデリングから生まれている。しかし、それらのシステムの複雑さに対する私たちの組織的な行動に限界があるために、技術的ツールの効力にも限界があるというのだ。
管理者の安全妄想
シュタッドハレ議会センターの前で報道陣に発表を行うフォルクスワーゲン弁護団代表Markus Pfueller氏。2018年9月10日、自動車メーカー、フォルクスワーゲンのディーゼルエンジンの排ガスデータ改ざんによって経済的損失を被ったとする投資家の訴えに対する公判がドイツのブランシュバイクで開かれた。（写真：Alexander Koerner/Getty Images）
エンジニアが、さらに高度なツールを手に入れる可能性があったとしても、管理者そのものは、どうしても高度にはならない。
安全は掴み所ない概念だ。安全性を否定する企業のリーダーはいない。一人もだ。世界中のどのリーダーも管理職も、たとえリップサービスであれ、安全の大切さを口にする。建築現場は危険で満ちているが、「安全帽着用」という標識がよく見えるところにかならず掲げられている。
企業などの組織において、たしかに安全は最重要課題だが、年次業績報告書や四半期業績報告書の中の安全に関するごく小さな記述は、何時間も読み込まなければ見つけられないない（大事故が起きた後は別だが）。
この資本主義と複雑性が交わるところで、物事は歪められてしまう。
すべての工学上の大災害に共通するひとつのパターンがある。それは、どの事故においても、事前にその危険性に気づき内部告発する人がいたということだ。どこかの誰かが、これから何が起きるかを知っていたが、事業の停止ボタンを押すことができなかった。
無理もない。四半期収益や成長のプレッシャーが非常に強く、企業の中の誰一人、CEOですら、システムを止めることはできないからだ。
しかし、そのように事前に知り得た大事故が、企業に収益をもたらすわけではないと考えると奇妙だ。カリフォルニアのガス電気供給会社PG&Eは破綻した。Facebookは数百万ドルの罰金を科せられた。フォルクスワーゲンは和解金147万ドルを支払った。737MAXの事故は、ボーイングが成長企業でいられるかどうかを危うくしている。
価値のない株券をシュレッダーにかけたいと思う株主はいない。いったいどこで食い違いが生じたのか。
工学の文化に倫理基準を再興する
倫理は、トップのリーダーシップと、あらゆる利害関係者、とりわけ株主との間の、とくに安全と規制に関するコミュニケーションを円滑にすることから始まる。複雑な技術製品を製造する企業の株主には、彼らが所有する企業は短期的な利益よりも安全を優先させますと、繰り返し伝える必要がある。長期的成長と持続性に重点を置いていることを周知しなければいけない。
ウォール街の飲み屋の常連でもなければ、こうした販売プロセスが困難であることを知って衝撃を受けるだろう。投資家は、配当のベーシスポイントがわずかでも減少することを嫌う。それぐらいなら、クレジットデフォルトスワップに飛びついて、船が文字通り沈むか、比喩的に沈むとなれば、すぐに飛び降りほうを選ぶ。
しかし、短期トレーダーだけが投資家ではない。資本市場は一様ではなく、大事故が不可避という危険性がない長期的な成長に投資しようと、何兆ドルもの資産を用意している投資家もいる。投資家との良好な関係を築く上での重要な鍵となるのが、企業の文化に同調してくれる投資家を探すことだ。投資家が安全を重視しないなら、もう他に安全を重視する人はいなくなる。
こうした不祥事は、企業の墓場をどんどん広げてゆくことにつながる。だがそれは、安全に関する会話の役に立つ。
重役会や株主とは別に、工学の文化に、その準備ができたときに、製品を自信を持って出荷できる回復力を養う必要がある。技術の統括者は会社の経営陣に対して、安全の重要性と、継続的に安全性を高めることが、あらゆる出資者にとって必要であることを言い聞かせる必要がある。
技術の統括者は、安全基準を維持するために、組織の上と下の両方を説得しなければならないため、おそらくもっとも難しい役割を担うことになる。この数年間、数々の大事故の報告書を読んで、安全性に関する食い違いは、ほとんどがここから始まっていることに気付いた。つまり、技術部門の管理者が、自社製品の安全性よりも経済性を優先させるようになったときだ。こうした金銭的影響力には、なかなか抵抗できないが、安全はすべての人の合言葉であるべきだ。
最後に、出資者も従業員も、個人として常によく目を配ることが大切だ。技術開発の作業に従事しつつ、安全について意識を高め、問題があれば、早めに何度でも指摘する。安全には粘り強さが肝心だ。もし、あなたが勤務する組織が腐敗してしまっていたとしたら、赤い停止ボタンを押して告発し、その狂気を止めるられるのは、恐らく、あなたしかいない。
Extra Crunchでは、私たちの責務として、この問題への関心を高める活動を行っている。私たちの常駐ヒューマニストGreg Epstein氏が、現代の技術世界における難しい倫理の問題について、さまざまな思想家にインタビューし、会話を重ねている（現在、Extra Crunchは英語版のみ）。
倫理感のある技術者の消滅を既成事実にしないために、彼の記事を参考にして欲しい。当たり前に起きる事故を、できる限り正常な状態にして、当たり前でなくさなければいけない。技術系企業のあらゆる階層によりよいツールと説明責任を導入すれば、資本主義の修復は可能だ。長期的視点に立てば、急速に拡大する企業の墓場を見てもわかるが、それは将来に向けての非常に重要な投資になる。
[原文へ]
（翻訳：金井哲夫）