美國國家衛生院(NIH)在今年6月23日公布禁止使用ChatGPT等生成式AI工具分析並產生同儕評審(Peer Review)評論;澳洲研究委員會(ARC)也於7月公告禁止使用生成式AI工具進行同儕評審。
其他機構也正在協商應對方案,美國國家科學基金會(NSF)已經成立內部工作小組討論AI的使用是否適合作為獎勵審查過程的工具之一;歐洲研究委員會也將針對使用AI工具撰寫及審查提案書進行討論。
ChatGPT及其他大型語言模型是透過大量資訊的資料庫訓練而成,進而能夠產生很像由人類寫出來的文本。這些網路機器人引起科學出版社對出版倫理及數據正確性的隱憂,進而限制研究者利用此類工具撰寫論文。包含Science在內的出版社及期刊都有禁止審評者利用AI工具進行審評。
對資金資助機構來說,機密性(confidentiality)是最大的考量。當提案書被餵進線上AI工具時,提案書內的資訊就變成機器人訓練資料的一部分。NIH就擔心這些資料被送出、存檔、檢視或是未來可能被拿來使用。
因為機器人可能會虛構內容,有人擔心AI寫出來的評論容易有錯誤,或是因為機器人是從現存的資訊中取得資訊,他們可能會對非主流資訊存有偏見,並且缺乏刺激科學創新的創造力。
對期刊來說,評審者的究責性也是個隱憂,沒有人可以保證審評者完全了解或同意他們所提供的內容。
有科學家表示目前有部分生成式AI模型可以線下工作不會破壞機密性,進而降低機密性的憂慮,NIH表示會對這個快速變化的領域提供額外的指導原則。
摘譯自
Science funding agencies say no to using AI for peer review