• English
  • 網站地圖
  • 回CONCERT
  • 回STPI
Bg

研究誠信和再現性是一體兩面的議題--2022 年STM週的報告

2023.03.21

再現性(Reproducibility)和研究誠信(research integrity)是兩個密切相關,且越來越重要的概念。一方面,偷工減料草率的研究會導致結果失去可靠的重複性,或在臨床試驗中轉化率很低。另一方面,更嚴重的個人瀆職及欺詐將威脅著研究本身的基本可信度。將兩者結合在一起的是需要確保研究按照適當的標準進行,具有透明度、可溯性和問責制。

為科研誠信而戰

上週,作者參加了自大流行開始以來在倫敦舉行的第一個實體STM 週。與舊模式不同的是,為期三天的新活動包括為新創公司舉辦的創業博覽會和一系列閃電講座;研究誠信大師班,包括研討會和講習班;和早期的職業活動。前兩天與欺詐和研究誠信相關的兩個主題非常強烈:圖像處理和論文工廠生成的假論文(大型假研究論文生產商,通常使用人工智能生成文本和圖像)。

在參展的 22 家新創公司中,有 4 家:FigCheckImaCheckProofigImageTwin是處理圖像複製的公司。“STM STEC 圖像更改和複製工作小組”擬定對圖像處理工具要求的清單這個想法是在 STM 的新研究誠信中心中包含滿足所有這些要求的工具,該中心在研究誠信大師班期間進行討論。

論文工廠和由此產生的大規模撤稿也是大師班的重要話題。STM 最近與出版道德委員會 ( COPE ) 合作調查造紙廠的情形,調查結果發人深省。調查部分顯示,出版商匿名彙整的數據顯示,部分期刊發現大約 2% 的論文可能是由論文工廠產出的,某些期刊則高達40%以上。

將這兩個主題以及其他主題(如提交出版物時的身份保證和向不同期刊多次提交相同內容的問題)聯繫起來的是,它們將研究誠信的責任集中在研究知識的一個階段生命週期:publication。

研究誠信與可重複性和研究基礎設施相遇的地方

大師班的最後一部分是頭腦風暴會議,與會者被分成小組,課題為如何應對圍繞研究誠信的挑戰提出想法。許多團體都將目光投向了在身份驗證方面面臨挑戰的行業,例如金融和銀行業。想法包括身份檢查,例如在提交時要求提供傳統身份證、護照、駕駛執照等,或者讓機構研究辦公室負責驗證作者的身份。

基於身份保證的想法自然會考慮ORCID,以及研究基礎設施如何提供可信任的網絡。會議當日,代表 COPE 發言的Matt Hodgkinson指出,ORCID 不一定能保證身份。人們可以隨意創設ORCID ID及所屬機構並編造出版物。雖然這是事實,但機構有可能整合 ORCID,以便由機構聲明從屬關係。根據 ORCID 產品總監Tom Demeranville 的說法,數百家機構已經採用了這種整合。雖然這仍然只是機構的一小部分,但當出版商允許甚至要求研究人員使用他們的 ORCID iD 登錄提交系統時,這兩個身份驗證步驟的組合可以安全地斷言文章來自特定作者並確保他們隸屬於該機構。換句話說,我們不需要經過身份驗證的 ORCID 版本,因為如果機構和出版商都採用並完全實施它,它就已經存在了。正如 ORCID 執行董事 Chris Shillum 在推特上指出的那樣,ORCID 擁有一整套信任標記驗證和驗證關於 ORCID 記錄的斷言,並希望與出版商合作,在編輯工作流程中試行它們的使用。

藍天思維

在作者的分組討論中,不僅關注身份且關注研究誠信的行業中汲取靈感:健康和製藥。組員提出讓研究人員能夠上傳數據,以便可以在出版商控制的環境中對其進行分析和繪製圖表。這類似於英國健康數據聯盟的這份綠皮書中描述的可信研究環境 (TRE) 概念。TRE 和數字實驗室筆記本等環境被製藥公司使用,而且越來越多的大學用來建立電子文件路徑,將實驗與數據、分析以及最終與負責的研究人員聯繫起來。

想像一下,如果出版過程的完整性不僅僅依賴於出版商根據提交手稿中可用的有限資訊來檢測欺詐、瀆職或錯誤的能力。相反,如果這種責任遍及整個生態系統,從贊助者撥款管理系統到數據管理計劃,到數據中心,到實驗室筆記本,到預印本,再到記錄的發布版本,利用可信斷言構建一個開放的、可驗證的研究環境,也利用透明度,以便出版商、資助者、機構和其他研究人員都可以在整個研究過程中追溯發現和聲明?

全部門方法

作者上面提出的願景可能聽起來很烏托邦,但所需的許多技術和工具已經存在。除了 TRE(可被視為可追溯性模型)和 ORCID 信任標記(說明如何在開放環境中安全地完成同一件事)之外,開放科學中心(Center for Open Science)和Octopus等倡議還展示一系列活動可記錄整個研究過程。

問題不在於技術,而是不正當的激勵措施網路效應商業模式慣性和可持續性挑戰的組合,將所有人都鎖在關於什麼構成出版物及什麼對聲望和職業發展至關重要的相同限制性觀念中。為了應對從糟糕的研究實踐到論文工場的工業規模欺詐等一系列挑戰,我們需要一種涉及資助者、機構研究管理和圖書館、研究人員和出版商的全部門方法。正如作者我和Alice Meadows在上一篇文章中所寫,這確實需要跨部門合作,對於構建以可驗證和可信的方式連接學術生態系統中的人、地點和事物所需的可互操作的研究信息基礎設施至關重要。

 

 

閱讀更多

https://scholarlykitchen.sspnet.org/2022/12/14/research-integrity-and-reproducibility-are-two-spects-of-the-same-underlying-issue-a-report-from-stm-week-2022/