图片来源：catherinecronin CC BY-SA 2.0

本文转载自公众号“知社学术圈”

原文作者：Adam Mastroianni（美国哥伦比亚商学院管理系博士后研究学者）

六十多年来，科学界一直在进行一项巨大的“实验”。实验设计的不是很好：没有随机分组，也没有对照组，确切地说，也没有人在总体上负责，更没有人进行一致的测量。然而，这是有史以来最大规模的实验，它包括了地球上的每一位科学家。

大多数人甚至没有意识到他们在参与实验。他们中的许多人，包括我自己，在实验开始时还没有出生。如果我们注意到了正在发生的事情，也许我们会要求基本的科学严谨性。即便知道了这是实验，也许依然没有人会反对，因为这个假设看起来如此明显地正确：如果有人检查每一篇论文并拒绝那些不符合要求的论文，科学会变得更好。这件事叫做“同行评议”。

现代人对此习以为常并不代表“向来如此”。从古代到近代，科学家们通过写信和出版专著来介绍自己的工作，阻碍交流的主要问题是纸张、邮资或印刷的费用。学术期刊出现在 17 世纪，那时它们的运作更像杂志或时事通讯，它们挑选文章的过程从一开始的“得到什么就印什么”，到“编辑问他的朋友怎么想”，再到“全社会投票”，有时期刊无法获得足够的论文来发表，所以编辑们不得不四处找朋友们来帮忙投稿，或者自己写东西来填满页面。顺便说一句，爱因斯坦的论文中只有一篇经过了同行评议，他感到非常惊讶和不安，于是他在另一份期刊上发表了自己的论文。

二战后，一切都变了。政府向研究投入大量资金，并召集“同行评审员”来确保他们不会把钱浪费在看似愚蠢的提议上。这笔资金变成了大量论文，期刊编辑们从发愁如何填满页面变成了发愁如何选择论文。在发表前审查论文，这在 20 世纪 60 年代以前是“非常罕见的”，后来变得越来越普遍。

现在，几乎每份期刊都聘请外部专家来审核论文，让审稿人不满意的论文会被拒绝。你仍然可以写信给你的朋友，告诉他们你的发现，但是大学的招聘委员会和资助机构好像认为唯一真实存在的科学就是发表在同行评议期刊上的东西。这就是我们已经进行了60年的大型实验。

而我认为这项实验的结果是：失败。原因如下：

同行评议是一项巨大而昂贵的干预措施。据估计，科学家每年用于评审论文的工作时长加起来有一万五千年。一篇论文通过审查系统可能需要几个月甚至几年的时间。大学为获得同行评议的期刊支付了数百万美元，而这些钱几乎没有一分落入作者或审稿人的手中。

巨大的投入似乎应该产生巨大的成效，但事实并非如此。科研生产率几十年来一直是持平甚至下降，不断增加的科研经费带来的回报越来越低，同行评议也没有能够改变这一趋势。（参考《Nature：颠覆性大滑坡，科研还能有实质创新吗？》）太多经过同行评议而发表的论文，其结果无法复现，甚至其中大部分可能是完全错误的。如果学家们评价 20 世纪上半叶物理学、医学和化学领域获得诺贝尔奖的发现时，他们会说同行评议前的发现与同行评议后的发现一样好，甚至更好。

答案是否定的。多项研究证实，在提交的手稿中故意添加的明显错误，只有 25%~30% 被发现了。而当问题论文被发现甚至撤稿后，类似“论文声称是随机对照试验，但事实并非如此”，“根据图表中的数据，很明显没有效果”，以及“作者得出的结论完全没有数据支持”的结论才刚刚出现，它们本该在评审阶段就应该有了。

欺诈性的论文一直在发表，如果评议有效，我们应该听到的故事是“张三教授因试图提交一份伪造的论文而被解雇了”，但事实是，几乎所有有关论文不端的报道都是从论文被撤稿开始的——问题论文已经被发表了。为什么审稿人没有发现很明显的错误和明目张胆的造假？一个原因是，他们几乎从来不看手稿背后的数据，而这些数据恰恰是最有可能出现错误和欺诈的地方。

“等等，这些不是真正的误差线…作者只是把字母‘T‘放在条形图的上方