癌症研究通过可重复性实验。
2017年1月19日,eLife杂志在线出版了5篇研究论文,这些研究直指过去几年里肿瘤生物学领域广受瞩目的部分研究成果的可重复性非常差。
实际上,在此前,eLife上已提前说明对此5篇文章进行重复性研究,并做了Registered report,以示更为客观公正。结果是令人遗憾的,可重复性很不理想。
背景介绍:
2013年,一位名叫Elizabeth Iorns的80后女性肿瘤生物学家(University of Miami Miller School of Medicine助理教授)发起了一项“癌症生物领域重复性工程”(Reproducibility Project: Cancer Biology ),该工程旨在挑选出2010年至2012年间50篇高影响力的肿瘤生物学相关研究论文,验证这些论文的可重复性(目前由于资金的原因,50篇论文缩减到30篇)。该项工程主要由Elizabeth Iorns创办的Science Exchange (一个科学实验外包平台)联合 Center for Open Science(科学开放中心)完成。
2010到2012年三年中每一年选取用于重复验证的排名前三的研究(来源:2015,The Cancer Test,Science)
2015年,Science杂志以“The Cancer Test”为题专文报道了“癌症生物领域重复性工程”的由来和设立的背景,其中特别提到一个主要原因可能是因为一些制药公司巨头在重复CNS等顶级杂志中发表的肿瘤相关论文时发现可重复性非常低(Amgen公司的数据表明,53篇顶级肿瘤研究论文只有6篇可以重复;Bayer公司的数据表明有79%的重复失败率)。由于公司和相关实验室签订了保密协议而不能公布他们无法重复的研究,这使得公司显得很被动。
如今,将近几年的时间过去了,eLife终于发布了第一阶段5篇重复性实验的结果,结果十分令人遗憾,无一例外都表示被挑选的这些论文论文的可重复性非常差。这5篇论文如下(分别源自Cell,Nature,Science,PNAS和Sci Trans Med):
为了增加重复项目的严谨性,项目负责人在实验开始前联系被选中进行重复试验的一些论文的作者,查阅了相关的原始数据,项目组还和有关学校签订了细胞、质粒和小鼠等实验资源转移协议,最终将专家审核过的实验方案发布在eLife杂志上。
5篇被选中的论文
第一篇(Cell,2011,谷歌学术引用1051次):
该项研究部分关键试验能被很好的重复,但是在在小鼠荷瘤实验中部分结果尽管和此前报道的结果相似,但是没有显着的统计学意义。
第二篇(Nature,2012,谷歌学术引用422次):
Nature这篇文章通过测序手段鉴定到了一个与黑色素瘤发生相关的基因PREX2突变,并且在体内的过表达实验中显示过表达关键点突变的PREX2能促进肿瘤发生率(下图右)。而eLife这篇重复性的研究表明,过表达野生型的PREX2和突变的PREX2对肿瘤生长没有影响(下图左)。令人惊讶的是,相较于对照组,Nature文章中70%小鼠的中位无瘤生存期都在9周以后,而eLife重复性实验中的小鼠的中位无瘤生存期都只有一周左右。
第三篇(Science,2010,谷歌学术引用493次):
2010年发表的这项研究成果主要是发现了一种称为iRGD的小肽可以协助抗肿瘤药物渗透到坚韧的肿瘤组织中,从而提高肿瘤药物的治疗效果,而且该小肽不会增加对正常细胞的毒性。然而eLife上报道的这项重复性研究中并没有发现iRGD上述这些作用。
第四篇(Sci Trans Med,2011,谷歌学术引用331次):
2011年的研究中生成发现了一种可以用于治疗肺癌的药物Cimetidine,然而eLife的这项重复性研究中并没有看到Cimetidine在治疗小鼠肺癌的模型中有统计学意义。
第五篇(PNAS,2012,谷歌学术引用288次):
PNAS这项研究声称发现CD47可以作为一个肿瘤治疗的靶点,用针对CD47的抗体治疗可以有效地抑制肿瘤生长。然而,在eLife的这项重复性研究中,用抗IgG抗体作对照,并没有看到用CD47抗体能够有效地治疗肿瘤。
总的来说,上述5项重复试验中,只有第一篇文章的重复性稍微好一些,尽管很多地方也是不尽如人意,而其它4篇文章的肿瘤相关实验中可重复性极差,几乎可以判定为那些所谓新开发的药物或者新鉴定到的靶点并没有起到很明显的作用。结果令人沮丧,尽管此前这些文章在发表之时引起一时的轰动或者很多制药公司的关注。高影响力的论文如此差的重复性确实令人担忧,但是这个项目背后也引起了不少当事科学家的质疑,对很多科学家来说,最大的担忧恐怕是这些承担重复性工程的相关实验室的专业程度,而且可能还有其他公司利益上的考量。另外值得考虑的一点就是,如果仅仅把实验方案提供给外包的实验平台就能解决问题,那么问题来了,科学家还需要花费巨大的精力和时间在实验上吗?
eLife这5篇文章只是目前生物医学领域论文验证重复性的一个开端,是好是坏现在难以评估,后续应该会有20多篇文章会被陆续重复并且发布结果,等此时告一段落,或许学术界会有自己的一个判定。让我们拭目以待吧。
研究人员已经成功复制了癌症研究结果,但与小鼠有关的实验是很难被重复的。
一个旨在检测癌症生物学可重复性的项目近日公布了第二批验证结果,这一次它带来的是好消息:两篇重要癌症论文的绝大多数实验可以被重复。
最新可重复性研究,它们紧随2017年1月对5篇论文进行可重复性验证之后。此前就高影响力癌症研究能否被重复的验证研究产生了矛盾的结果。
但在此次的两项新重复性实验中,仍有一个重要小鼠实验未能重复,《癌症生物学》可重复性项目负责人之一表示,这表明了动物研究可重复性当前面临的问题。
该计划与实验室签订协议,就2010年到2012年间发表的约30篇高影响力癌症论文的关键实验进行可重复性验证。
2017年1月,当首批5篇文章的可重复性研究公布后,批评人士对此表示担心。当时,仅有两篇研究可被重复,1项研究结果是负面的,另外两项研究结果因为小鼠肿瘤模型问题而被认为是非确定性的。相关结论让一些专家认为生物医学领域正在遭遇可重复性危机。
现在,科学家的跟踪记录似乎正在提高。在其中一项新研究中,一家合作实验室确定了2010年发表于《癌症细胞》的一项研究的结果:在一些白血病和脑癌中发现的IDH1和IDH2基因突变,会导致细胞产生一种刺激癌症生长的代谢物质。重复研究还证实了白血病细胞中该代谢物质的水平可揭示癌症患者是否存在IDH变异。
此次进行的另一项重复性研究检查了2011年发表于《自然》的一项关于BET阻凝剂的研究,该化合物可控制基因是否被激活并能阻止一种白血病。在最初研究中,I-BET151化合物杀死了培养皿中的人类白血病细胞并减少了其在小鼠体内的数量。然而,与原论文不同的是,那些小鼠并没有比未经治疗的罹患白血病的小鼠生存得更久。