Nature:超过半数的科研人员无法重复自己的实验!

超过70%的科研人员无法成功重复别人的实验,有超过一半的科研人员在重复自己曾经的实验时遭遇失败(www.91fn.cn)。这就是《Nature》杂志针对1576名科研人员所做的在线网络调查得到的结果,该调查的主题就是-科研试验的可重复性(reproducibility)。

该调查发现,科研人员对待实验可重复性的态度经常是互相矛盾的。虽然有52%的参与者都认为,实验的可重复性在目前是一个比较大的问题,但只有不到31%的人认为,无法重复出那些已发表论文的结果意味着该结果极有可能是错误的,大部分被调查者都表示,他们愿意相信论文的真实性。

有多少科学文献的结果是可重复的,关于这个问题,我们没有太多的数据。在这方面,最著名的相关分析是针对心理学和肿瘤生物学文献的,结果发现这两个领域的可重复性分别只有40%和10%。不过这次我们的被访者都比较乐观,其中有73%的人认为,在他们各自的研究领域,至少超过一半的论文是可以被信任的,其中物理学家和化学家的信心是最高的。

英国布里斯托大学的生理心理学家Marcus Munafozai一直非常关注科研试验的可重复性问题,他认为,科学研究无法重复是一件非常重大的事情。据他介绍,他还在上学时就曾经尝试重复一些论文里报道的、简单的试验,结果没能成功。因此,他对科研产生了信任危机,后来他发现,这是一种非常普遍的感觉。

问题并不在于清除已发表论文中那些无法重复的研究。Munafo认为,做最前沿的科研就意味着,很多时候,得到的结果可能并不是那么确定的。他们希望有新的发现,但同时伪阳性率也别太高。

可重复性的范围

不过要想从那么多错误的实验中找出真正的科研发现可并不容易。虽然在参与网络调查的科研人员当中,绝大部分人都有过没能重复出别人实验结果的失败经历,但只有不到20%的被调查者表示,有无法重复出他们实验的失败者曾经与他们联系过。

少部分受访者表示,曾经想过要发表重复研究的结果。如果实验没能重复出来,科研人员们通常会认为是有合理原因的。实际上,有多名曾经发表过重复实验失败工作的受访者都表示,杂志编辑和审稿人都要求他们淡化与原始研究的对比。

不过,还是有24%的被访者表示,他们发表过成功复制别人试验的研究结果,13%的人也发表过没能成功复制别人试验的研究结果。总体而言,投稿被接受的机会还是比被拒稿的机会大一些,只有12%的受访者表示没能发表“成功复制别人实验的研究结果”。而10%的受访者表示没能发表无法成功复制别人试验的研究结果。

还有一些人认为,要成功发表一篇重复性的研究工作离不开以下几点,即运气、坚持,和编辑的喜好。医药开发顾问Michael Adams也是本次网络调查的被调查者之一,据他介绍,他们有一篇文章证明了一个糖尿病动物模型存在严重的缺陷,但是被拒稿6次,有一部分原因就是该工作并没有发现新的药物作用靶点。但是另外一个证明某种药物治疗Chagas病(Chagas disease)效果不佳的研究就很快被接收了。

纠正手段

1/3的受访者表示,近五年来,他们实验室都有非常具体的操作规程,来提高试验结果的可重复性。不过这个比例的变动范围很大,医学类是最高的,达到了41%,而物理和工程学类是最低的,只有24%。自由文本反应(Free-text responses)表明,自己重复试验,或者让实验室里的其他人来重复,是最常用的确保手段。其它常用手段还包括加强实验记录,以及对实验步骤进行标准化管理等。

不过上述这些手段都算不上是根本性的保证方法。英国一名要求匿名的生物化学专业毕业生表示,在实验室,因为重复实验,所以时间和实验试剂都要额外多付出一倍,解决一些棘手实验问题的时间还需要另算。虽然重复实验能够确保实验结果的可靠性,但是因为需要付出这么大的代价,所以她只会为创新性的项目,或者预期之外的实验结果进行重复试验。

而被宣传得最广、用来提高科学研究可重复性的方法就是预注册(pre-registration)方法,即科研人员在试验开始之前就向第三方说明他们的科学假设,以及数据分析计划等科研方案,以防日后出现有选择性的统计学结果。但是只有不到12个人提到了这种方案。墨尔本大学(University of Melbourne)专门研究道德决定(moral decision-making)问题的研究生Hanne Watkins就曾经这么做过。

据Watkins介绍,在收集完数据只会再回过头想想最初的研究问题,这能防止她掉进兔子洞(going down a rabbit hole)。虽然这个过程比较费时间,不过与获得伦理委员会的同意,或者设计调查问卷相比,也不算什么。“如果这个研究从最开始在方向上就是正确的,那接下来就顺着这条道路走下去就行了。”

试验无法重复的原因

网络调查也询问了这样一个问题,即为什么科研试验无法重复。超过60%的被调查者都提到了以下两点原因,即论文发表的压力和选择性报道(selective reporting)。超过一半的人指出,他们在实验室里就没有开展足够的重复试验,此外,还存在监管不严,统计效力不够等问题。还有一些人提到了试剂的不稳定性和高难度的试验技术等因素。

不过美国威斯康星大学麦迪逊分校(University of Wisconsin–Madison)的发育生物学家Judith Kimble认为,这都不是最根本的原因,对基金和职位的激烈竞争才是最根本的原因,同时,越来越多的行政事务也逐渐挤占了科研人员大量的科研时间。Kimble评价道:“每个人都在被挤占。成本已经超越了任何一项科研项目。如果研究生所在的实验室里高年资的人没时间培训低年资的人,那么那些低年资的学生就只能够自己干了,这样下去就会越来越糟。”

我们能改变什么

本次被调查者被要求对11种不同的方案进行排序,看看如何才能够提高科研成果的可重复性。超过1000人(超过90%)都认为,更好的试验设计、更科学的统计学分析,以及更好的监管和指导这三点是最重要的,远远超过其它因素,比如基金或教学补助等刺激计划等。不过即便被选择率最低的杂志审核也获得了69%的支持。

这次网络问卷调查的方式是综合了给《Nature》杂志的读者发邮件、在网站和社交媒体上投放广告等方式,所以我们的受访者可能更倾向于对科研结果可重复性更加关注的人群。不过美国斯坦福大学(Stanford University in California)研究科研可靠性问题的John Ioannidis认为,他们这次的研究还是表明,有志于解决这个问题的杂志社、科研项目资助者、科研机构应该携起手来,共同解决这个问题。Ioannidis表示,大家一定会欢迎他们这么干的。大约有80%的受访者认为,杂志社和资助者应该担负起更多的责任。

主营产品:螺旋叶片,管件