當前位置: 華文問答 > 科學

Nature發文:論文的負面結果同樣重要!可避免不必要的重復性實驗

2024-05-15科學

長期以來,為我們所關註到的那些科研成果,往往都是那些卓有成效的結果。似乎只有獲得理想的數據,令人滿意的進步,一個科研計畫才稱得上成功。

然而,在這些光鮮的成就背後,隱藏著大量的失敗例項與不盡如人意的結果。科研向來不是一帆風順,成功的背後也是一次又一次的試錯、叠代,但那些失敗的過程,似乎一直以來消失在人們的視線裏。

而且,這一趨勢在過去幾十年似乎越來越嚴重。

2012 年的一項研究表明,從 1990 年到 2007 年,樣本論文中的正面結果增加了 22%;到 2007 年,發表的論文中有 85% 都是正面結果。

圖丨報告支持被測假設的論文百分比,根據出版年份繪制(來源: Scientometrics

2022 年法國的一項調查顯示,盡管 81% 的研究人員在研究中取得了負面結果,但 只有 12.5% 的研究人員有機會在學術期刊發表這些結果。

圖丨研究人員公布負面結果的方式(來源: Learned Publishing

但實際上, 研究過程中的許多失敗,在此前都已經為其他研究所經歷了,所以,在很大程度上,這些失敗都是在重復耗費研究資源

圖丨在 310名 受訪者中,發現自己重復了其他研究的失敗的人數比例(來源: Learned Publishing

而且,不成功結果的缺失,可能導致學界過於強調發表的成功結果,進而誤導其他研究者,讓他們認為某種方法或策略總是有效的,而實際上可能並非如此。同時,也可能進一步加劇可重復性危機。

另一方面,近些年來,機器學習等 AI 技術在科研中的越來越多,而這些技術是在大型數據集上進行訓練的,負面數據的缺失,也導致了 AI 發展的受限。

過度強調正面數據,可能會導致模型出現偏差,在某些情況下,模型預測出的指標可能過高,而無法反映其實際特性。

「失敗是成功之母」,這句幾乎無人不知的口號,在科研界尤其具有重要意義。將負面結果發表出來,無疑有助於幫助學界對相關問題產生更深入的了解,也節省不必要的重復性實驗。

圖丨相關文章(來源: Nature Catalysis

所以,近些年來,負面成果也越來越得到學界的關註。

去年八月, Nature 就曾刊發了一篇只有負面結果的文獻,在當時引起了廣泛關註。

圖丨相關論文(來源: Nature

近日, Nature CAREER FEATURE 又發表了一篇文章,呼籲學界重視負面成果的公開發表。

文章中提到一個例子,德國明斯特大學的有機合成化學家 Strieth-Kalthoff 在利用數據驅動方法提升藥物化學反應的產量時,就遇到了正面結果偏誤的問題。

他們構建的模型旨在預測最優反應物組合及條件,最初,透過包含高低產率的多樣結果的高通量實驗數據集訓練人工智慧模型時,研究的進展一切順利。

然而,當 Strieth-Kalthoff 嘗試將 Reaxys 資料庫中的實際文獻數據納入模型訓練時,就遭遇了挫折。他發現,其原因就在於文獻中普遍缺乏低產率(即所謂的「失敗」)實驗結果,幾乎所有公開數據的平均產率都集中在 60%-80% 之間。

圖丨相關論文(來源: Machine Learning for Chemical Reactivity:The lmportance of Failed Experiments

這導致人工智慧模型無法從真實世界中那些雜亂無章的低效實驗中學習,進而難以準確模擬實際的化學反應過程。

對此,瑞士洛桑聯邦理工學院的分子建模專家Berend Smit 指出,盡管人工智慧有望從復雜數據中挖掘出研究者難以直觀發現的關聯,但缺乏對負面結果的接觸限制了模型的發展。

正如每位化學家在實驗台前積累的「化學直覺」來自於對失敗的深刻理解,僅在成功案例上訓練的 AI 模型則缺乏這種關鍵的直覺。

Strieth-Kalthoff 認為,當前的人工智慧模型的發展,受限於可用數據並未全面反映所有知識的現狀。

為了解決負面數據缺失的問題,一部份研究者嘗試使用超采樣等統計手段,即復制現有負樣本或創造人工數據點,比如加入零產率的反應例項,但這類方法本身又可能引入新的偏見。

因此,如何平衡科研記錄中正面與負面結果的呈現,確保 AI 技術與科學研究的健康發展,成為亟待學界共同面對的挑戰。

一些學者就敏銳地意識到了分享失敗經驗的價值。例如,芬蘭奧盧大學電腦科學家 Ella Peltonen 就於 2022 年積極推動並協助舉辦了首屆普適計算負面結果國際研討會(PerFail),為科研人員搭建起一座溝通橋梁,鼓勵他們公開探討未達預期的實驗經歷。

Strieth-Kalthoff 等學者也提到,在各自的領域中,已經逐漸在發生積極的變化,如有機化學領域於 2021 年啟動的開放反應資料庫(Open Reaction Database),就旨在促進有機反應數據的共享,以支持機器學習模型的訓練。

但遺憾的是,由於缺乏足夠的激勵機制,這一計畫尚未得到廣泛套用。

為解決這一系列挑戰,Berend Smit 提出了一個創新思路:構建一個模組化的開放科學平台,將該平台直接對接電子實驗筆記本,簡化數據的提取與再利用流程,從而繞過在傳統同行評審期刊上發表負面結果的傳統路徑,又確保這些數據能有效服務於人工智慧的訓練」。

但也這一構想在實踐層面上還有不少障礙,例如,實作這一目標需將分析儀器與外部資料來源無縫整合,而這在技術上和合作意願上(特別是儀器制造商的配合)都面臨不小難度。因此,盡管前景光明,實作真正的科研數據開放共享依然任重道遠。

在學術界,已經有一些透過專門的同行評審期刊開始公布非陽性或負面的研究結果。

例如,一些學者開始創辦相關的期刊專門收錄這些負面的成果,包括 Trial & Error 、The All Results 等 。

盡管在初期,這些期刊還是面臨投稿不足的挑戰,但經過各自不懈的努力,目前,它們也實作了相對穩定的發展。

(來源: Trial & Error

而且越來越多的主流期刊,包括 Science Nature 等,也逐漸開始對負面結果持開放態度。

不過,盡管期刊出版偏好有所松動,科研人員發表負面結果依舊面臨重重阻礙。

畢竟,整個學術評價體系還是偏好於高影響力的正面成果,除了「失敗是成功之母」,「成王敗寇」也往往是現實的邏輯。

另外,一些學者也可能擔心負面結果可能給個人職業生涯帶來負面影響,而且發表失敗的結果,還總是需要做更多的工作以進行完整的說明,但卻幾乎得不到任何的報酬。

Smit 開玩笑說: 公開失敗的實驗不僅是無償勞動,甚至可能無意間為可能取代自己的人工智慧提供學習材料

而且,人們對待失敗者,似乎總是更為嚴格。文章就提到,今年 8 月的一項研究就顯示, 在學術評價中,無效結果比成功的結果要遭受更多偏見,往往被認為品質低且並不重要

但這種現象近年來終歸還是有在改善。例如,為了應對科學發表中的正面結果偏誤,心理學界就推出了註冊報告(Registered Reports, RRs)這一計畫。

自 2014 年首次亮相以來,RRs 作為一種經過同行評審的預研究計劃,其目的就在於預先公布研究設計和方法,從而減少對積極結果的選擇性報告,避免再次發生 2011 年的心理學可重復性危機。

相關分析顯示,RRs 顯著提高了心理學文獻中負面結果的占比。在標準心理學文獻的假設測試研究的隨機樣本中,96% 的結果是有效的,而在 RRs 中,這一比例降到了 44%。

圖丨在 α = 5% 且無偏差的條件下,真實假設的比例與統計能力的組合將產生觀察到的陽性結果率(來源: Advances in Methods and Practices in Psychological Science

目前,包括 Nature 在內的超過 300 種期刊接受了 RRs 模式,其套用範圍正逐漸擴充套件至生物學、醫學和社會科學等多個學科。

此外,前文提到的普適計算領域創辦的普適計算負面結果國際研討會(PerFail),也為分享失敗經驗提供了平台,同時更強調了失敗作為研究過程中不可或缺的價值,向學界發出了積極的訊號。

從長遠來看,除了鼓勵科學家分享所有研究結果外,資助機構和期刊政策也應該全面衡量研究的影響和價值,無論它的結果是成功或失敗的。

我們應該允許每個人都有失敗的權利,也應該重視每個失敗的價值。

參考資料:

[1].https://www.nature.com/articles/d41586-024-01389-7#ref-CR8

[2].https://www.nature.com/articles/s41929-023-00920-9

[3].https://link.springer.com/article/10.1007/s11192-011-0494-7

本文內容不代表平台立場,不構成任何投資意見和建議,以個人官網/官方/公司公告為準。