MITのComputer Science and Artificial Intelligence Lab（コンピューターサイエンスと人工知能研究所, CSAIL)が、ニューラルネットワークの内部を調べて、それらが実際にどうやって判断をしているのかを知るための、方法を考案した。その新しいプロセスは二年前にチームがプレゼンしたものの完全自動化バージョンで、以前は人間が調べて同じ目的を達成していた。
ニューラルネットワークの動作の理解に人間が介入しなくなったことは、研究の大きな進歩だ。これまでのディープラーニングのテクニックには、彼らの動作に関する不可解な部分が多かった。いったいどうやってシステムは、その判断結果に到達しているのか？ そのネットワークは信号処理の複数の連続した層を使って、オブジェクトの分類やテキストの翻訳などの機能を実行するが、ネットワークの各層がどうやって判断しているのかを、われわれ人間が知るための方法がほとんどなかった。
CSAILのチームはのシステムは、ちょっと手を加えたニューラルネットを使い、その個々のノードが入力画像に反応するときの反応の強度を返させる。そして、最強の反応を生成した画像を分析する。この分析は最初、Mechanical Turkのワーカーたちが行い、画像中の具体的な視覚的コンセプトに基づいて分類をしたが、今ではその仕事が自動化され、分類はマシンが生成する。
すでにこの研究から、ニューラルネットの動作に関する興味深いインサイトが得られつつある。たとえば白黒の画像に塗り絵をするよう訓練されたネットワークは、そのノードの大きな部分に集中することによって、絵の中のテクスチャ（絵柄、模様、パターン）を同定する。またビデオの中にオブジェクトを見つけるよう訓練されたネットワークは、そのノードの多くがシーンの同定に動員され、一方、シーンを同定するよう訓練されたネットワークはその逆に、多くのノードにオブジェクトを見つけることに集中した。
私たちはそもそも、分類や認識を行う人間の思考を完全には理解していないし、ニューラルネットはその不完全な理解に基づく人間の思考の仮説的なモデルだ。だからCSAILの研究は今後、神経科学の疑問も解き明かすかもしれない。そのペーパーは今年のComputer Vision and Pattern Recognition（コンピュータービジョンとパターン認識）カンファレンスで発表されるが、人工知能の研究者たちの、大きな関心を喚（よ）ぶことだろう。