今公立学校の子供たちは、何が有効かをわれわれが調べるよりも早く変化を見出したがる、政策立案者たちのモルモットになっている。実験的改革は応々にして、政策関連の調査を嫌う学界から取り残された真空地帯の専門領域を埋めるイテオロギー的シンクタンクによる根拠のない調査を拠り所にしている。「私は非常に不愉快な代物をいくつか調べた」と、ラトガース大学のBruce Baker教授は失望して言った。同教授は、データ主導教育に関する影響力のあるブログ、schoolfinance101を通じて政策報告書批評の第一人者になった。
例えば、自由主義派シンクタンクのThe Reason Foundationは、教育改善への財政支援を認める賛否両論のプログラムが有効であったという結論を下したが、同政策が採用されたのは変化が始まった後〉だったことを指摘していない。「そこには誤情報、偽情報が無限に溢れていることに気付いた」と彼は言う。
ネイト・シルバーによる影響力のある統計的手法を用いた選挙予想ブログと同じく、Bakerはデータの再検討によって、対立者の結論をこき下ろすことで評判となった。そして、シルバーの新しい独立系チャンネルTV 538と共に、Bakerの統計重視学説は教育ジャーナリズムの将来を担う可能性を持っている。。
教育の奇蹟をはやし立ててはいけない。つまるところ教育の効果は小さい
「数学と確率の教育は本当に失敗だった」とBakerは非難する。同氏は生徒の成績が劇的に改善されたとする政策のユニコーン神話をしばしば暴いてきた。大体において、実験によって数字が5%ポイント以上動くことはめったにない。統計学者は効果を「標準偏差」で測る。生徒が他の生徒から相対的にどれだけ変化したかの指標だ。
1標準偏差は、平均して、下位（33百分位）から平均（50百分位）までをカバーする。もし「誰かが、1あるいは0.5標準偏差の追加成長などと言いだしたら ― それはあなたのインチキ検知器が鳴り始める時だ」。
スタンフォード大学の最新調査が、政府の論争を呼ぶ成果別教員給与政策が0.5標準偏差の効果を与えたと報告した時、新聞見出しが躍った。「教員評価の効果を調査が証明」と、New York TimesのEconomixブログは書き立てた。
Latest NAEP school test scores suggest that school reform helps. Big improvements in DC & Tennessee, both centers of reform.
—
Nicholas Kristof (@NickKristof) November 08, 2013レポートには、改革によって辞めなかった良い教員の数がわずかに改善されたデータが埋もれていたが、生徒の成績への影響は事実上なかった。さらに悪いことに、多くの他学区でも同様の戦略が試されているが、結果は大きくばらついている事実をこの調査は無視している。Bakerはすぐにブログ記事をまとめ、改革志向の全州について、生徒の初期成績と関連付けて読解力と数学のデータを再構成した。
醜いグラフではあるが、これによると大きく伸びた州（赤線より上）もあるが、効果はまちまちだ。スタンフォード大学自身による記事は、注意深く研究者の懐疑的見解を示しているが、多くのメディア記事では省かれている。この結果一部の州は過激な成果報酬方式を採用した。
Miracle charters have also been a favorite target for Baker, who finds that many apparent success stories of market-driven schools actually end up spending far more per-pupil than similar public schools.
奇蹟のチャータースクールも、Backerの格好の標的となった。市場主導校のサクセスストーリーと思われた事例の多くにおいて、類似の公立学校と比べて生徒1人当たりの費用がはるかに多いことを彼は発見した。
この煽情的なレポートは、人気チャーター・スクール、KIPPの反論を呼び、著名な教育論文誌における改革議論に健全な懐疑説を投げかけた。
彼の教育報告書を読む際の信念の一虻粟は「確信を捨てろ」。
学界という氷河
学界と報道メディアは時間軸が大きく異なる。ニュースのサイクルは恐らく24時間ほどだが、相互査読論文誌では1件の論文の掲載まで優に1年以上かかる。経済効果を最大にするために、スタンフォードのような大学は報告書を相互査読に出す前にマスコミに発表する。
「昨今発表されている大規模な調査研究でさえ、注目を集めるための方法は、大がかりなプレスリリースを行い、相互査読の末論文誌に掲載されるずっと以前に研究結果を公表することだ。1週間以内の反応さえ十分早くはないことも多い」とBakerは言う。
そこでBakerは、光速のブログ記事と過去の学術研究を組み合わせている。例えば、ルイジアナ州のチャーター・スクールが、ニュージャージー州の”Failure Factories”を上回る成果を上げているという神話を暴くために、両地域の数学の成績を相互査読された統計的手法で再評価したものを比較して、貧困率を正確に見積った。
Bakerによると、生活費は州によって異なるので地域間比較をするために収入の全国平均を使うことはできない。各州を地域の貧困度で重み付けしたところ、ニュージャージーは貧しい子供たちの数の割に、かなりよくやっている可能性が高いことが明らかになった。
問題は、教育とはトリッキーであることだ。ノーベル賞受賞経済学者のJames Heckmanはかつてこう皮肉った。人々は生徒を年間向上率で評価したがるが、「子供たちは妊娠中を除き9ヵ月間では成長しない」
研究が厳密な無作為化対照実験に基づいており、相互査読の論文誌に発表されたものでない限り、誰かが汎用的な解を見つけたと主張する時は、インチキ検知器で武装する必要がある。それまでの間、過熱する改革の記事に対するBakerの反応を追いかけるとよい。私はそうしている。
[原文へ]
（翻訳：Nob Takahashi / facebook）
