よくテレビの教養番組で、「最新の研究結果によると！」というのがありますが、これはどこまであてになるのやら。
そもそも、多くのケースでは、出所やその研究内容まで紹介するケースはほとんどなく、ラットで成功した結果を人間まで拡大解釈しているようなケースもあり、以前話題になりました。
まあ、こういったケースはある種の「やらせ」的なテレビの演出ですが、今回の話題はそうではなく、本当に正しく研究を引用したとしても、そもそも研究そのものが間違っていて、間違ったことを伝えてしまうという話です。
世に出回っている研究結果というのは、どのくらい信頼できるのでしょうか？
これに関して、エコノミストで面白い記事が掲載されています。
これによると、科学的研究結果には、誤っているものも多く存在しているということです。通常、ちゃんとした研究結果であれば、各分野の著名な論文誌に掲載されています。論文誌に掲載されるためには、その分野の選ばれた専門家のチェック（査読）を受けてOKがでたもののみ掲載されます。権威のある論文誌になると、数％の掲載率となり、ほとんどが落ちる難関です。
しかしながら、こういったプロセスを受けても、多くの間違った研究結果が世に出回ってしまいます。
例えば、バイオベンチャー向けのVCの経験則では50％の研究成果が再現できないといわれています。また、あるバイオテクノロジーの企業が、がん研究の目立った研究53のうち再現可能性があったのはわずか６しかないという事例が掲載されています。
実際、すばらしい発見と言われた研究が後に間違いだったということは多く発生しており、例え厳しい査読を通り抜けても多数のミスが含まれてしまうということが見て取れます。
ある意味あたりまえで、査読というのは正直ただ読むだけです。数学や物理など一定の分野を除けば誰も再現をしようなんてことは考えません。特にバイオなど手間もお金もかかる分野で、ただで査読者が再現しようなんてことはありません。
それに対して、VCは実際に金がかかっているわけで、その研究が本当に再現できるかどうかは死活問題になります。なので、当然VCの方が、著名な査読者よりも厳しいチェックをするのはある意味当たり前と言えます。
で、このように通常の査読だけでは誤った研究論文が世に出回ってしまうのですが、そもそもなぜ間違った論文ができてしまうか、それをこの記事では統計的に説明しています。
Daily chart: Unlikely results | The Economist
多くの研究では、「効果のないものをあると言ってしまう」（第一種の過誤）を避けるように注意してデータを分析します。通常は、「効果のないものをあると言ってしまう」確率が5％以下になるかどうか（5%有意）で検定します。
例えば、何かの病気に効きそうな薬が1000種類たったとします。ここで、本当に有効なのは、そのうち100種類だとします。
この病気の研究について、1000回検証された場合に、「この薬が効果がある！」と
論文発表され、しかもそのうち間違えている確率を考え見ます。
まず、「効果のないものをあると言ってしまう」ケース（第一種の過誤）は、
900 × 5% = 45
となります。
一方で、「効果があるものをないと言ってしまう」（第2種の過誤）場合もあります。通常研究論文でここに言及されることはあまりありません。例えば、ここではその確率を20%と仮定すると、「効果のあるものをないと言ってしまう」ケースは、
100 × 20% = 20
となります。そうすると、本当に効果があるもののうちで見つけられるものは、
100 - 20 = 80
となります。
そうすると、
「効果がある！」と考えられた数 = 45 + 80 = 120
そのうち、
「効果がないものをあると言ってしまった」数 ＝ 45
となり、
「効果がある！」と発表された論文のうち実は誤っている確率は、
45 ÷ 120 = 36%
となります。
つまり、普通に真面目に分析しても、研究論文というのは結構間違えてしまうわけです。特に実験系では再現性が難しいこともあり、検証できないため、ある一定割合の間違った論文が世の中に出回ることになります。
なので、ましてやテレビで「最新の研究によると！」なんてのは、もっと信用ならないわけです。それは、番組制作側に悪意があるにせよ、ないにせよ。
