可重複性危機: 五篇高影響因子腫瘤論文, 僅兩篇可嚴格重複

海歸學者發起的公益學術平台

分享信息，整合資源

交流學術，偶爾風月

Nature，Science，Cell，那些高影響因子論文，能夠被可靠重複么？在生物醫學領域中，「可重複性項目」（Reproducibility Project）可謂備受關注。項目涉及了多個學科，包括計算機、生態學、腫瘤生物學等。心理學方面集結了270名學者對100個已發表的實驗和相關心理學研究進行重複[1]。而在腫瘤生物學方面50個實驗的第一批測試結果中[2]，涉及的五個項目中只有兩個可以被重複，而這些項目有些已經被應用於臨床治療。其中一個項目無法重複，另兩個因技術問題也無法成功。

一些科學家認為，「可重複性項目」的初步結果進一步暴露了這種問題：很多基礎生物醫學研究無法在其他實驗室中再現。「綜合來講，這就是可重複性問題，」斯坦福大學流行病學家John Ioannidis表示。作為項目顧問，他的分析認為生物醫學研究存在著體系的瑕疵。

不過也有人認為，該結果說明好的研究難以被精確地複製出來，因為生物系統如此多變。「人們輕率地做出評論，說科學是不可以被重複的。第一批的五篇論文表明，這是個複雜的多層次問題，很難去做出這種結論。」紐約史隆凱特琳癌症研究中心腫瘤生物學家Charles Sawyers這樣認為。

「可重複性項目」的產生最初源自兩家公司（Bayer和Amgen）的報告。它們曾試圖對一些提出潛在新藥物的論文進行後續跟蹤，結果發現89%的內容無法再現出來。不過，兩家公司沒有公開這些文章，也沒有介紹各自的實驗細節。2013年，非盈利機構開放科學中心（Center for Open Science）與Science Exchange共同合作，打造了科學家與合約實驗室的匹配服務。合作方從基金會獲得200萬美元，以推行大範圍的癌症實驗重複性工作。

他們選取了2010-2012年間發表的50篇高影響力臨床前腫瘤學論文，開始指定協議以再現關鍵實驗，並在eLife上公布了方案。不過項目開始實施后，很快就落後於預定計劃，因為信息和材料的獲取具有很大挑戰。最後，預計只進行29個實驗的可重複性嘗試。

在最初的實驗中，Jay Bradner可以說是一個受益者。他和Constantine Mitsiades共同開展的研究——測試BET布羅莫結構域蛋白抑製劑——得到了一家合約實驗室的驗證。他們發現該抑製劑可以阻礙Myc腫瘤基因，減緩老鼠的多發性骨髓瘤組織生長。該研究2011年發表於Cell。Bradner很支持這種可重複性實驗工作，並覺得自己的研究能夠通過測試非常「令人欣慰」，特別是該物質已被應用於臨床試驗。這種積極的例子還有其他，比如斯坦福計算生物學家Atul Butte曾提出潰瘍藥物甲氰咪胺咪胍能夠減緩老鼠肺部腫瘤的生長。

五個項目中：兩項確定，一個失敗，兩個不清楚

也有些重複性工作帶來了無法確定的結果。2012年Nature曾報道，基因PREX2的變異會刺激黑素瘤增長。重複實驗室獲取了原始實驗中所用的人體皮膚細胞，使其緩慢形成腫瘤，並植入到老鼠體內。然而在重複工作中，無論是否存在PREX2變異，癌細胞都會在一周內形成腫瘤。這與原始報告中指出的幾周時間出現了差異，導致人們無法確定PREX2是否真的能帶來影響。原研究負責人美國禮來公司Levi Garraway和德克薩斯大學系統的Lynda Chin表示，該培養細胞的基因可能隨著時間的推移而有了變化。其他實驗室也遇到過類似問題。

當然，並非所有的重複性實驗都帶來一致的結果。2010年發表在Science的一篇文章指出，叫做iRGD的肽能夠幫助化療藥物進入並縮小老鼠體內的攝護腺腫瘤。有實驗室完全無法對其重複，而來自德國、和日本的學者則表示能夠成功再現。該研究的主要負責人Erkki Ruoslahti說：「很明顯，如果你做的正確，它就是可行的。」他希望將iRGD推向臨床試驗，不過他擔心那些失敗的重複實驗會讓他們在尋找資金支持時遇到障礙。

很多科學家認為「可重複性項目」的結果太過嚴苛，對此表示失望。因為這給問題的解決只留下了很小的空間。比如那兩個涉及老鼠腫瘤組織移植但呈現出不確定結果的實驗，實際上本來就是很具有挑戰性的。德克薩斯大學腫瘤幹細胞生物學家Sean Morrison說：「一般情況下科研實驗室會繼續努力，採用不同的方式和不同的幹細胞劑量。但是，在可重複性項目中，參與人員則會受到實驗流程協議的嚴格約束。」

Science Exchange首席執行官Elizabeth Iorns本身也是腫瘤生物學家，她對「可重複性項目」的態度非常明確：「公開遵循這樣的過程非常難得。人們真的想知道如果你去重複那些實驗，會出現什麼結果。」 協議評估人要求增加25%的實驗數量，但由於時間和預算問題， 項目逐漸削減了重複工作。第一批的五個研究中，每個項目的平均花費為2.72萬美元，這和原先預估的2.6萬美元非常接近。但就其他研究來說，花費很可能會增加。

美國國家衛生研究院（NIH）曾幫忙資助了這些原始研究，他們很高興看到這些項目被放到顯微鏡下。NIH副主管Lawrence Tabak對第一批結果表示了稱讚，「這展現了生物學研究的驚人複雜性，也提醒人們採用嚴謹而完全透明的方法是多麼重要。」

[1] https://osf.io/ezcuj/wiki/home/

[2] https://osf.io/e81xl/wiki/home/

[3] http://www.sciencemag.org/news/2017/01/rigorous-replication-effort-succeeds-just-two-five-cancer-papers

[email protected] 或微信ID: scholarset