從RCC評審機制試點工作中發現的問題通過日常的科學基金管理工作以及參加RCC試點,我們發現目前在科學基金評審機制方面還存在一些有待改進的方面,如專家對RCC試點工作的理解不夠準確、基金評審培訓制度有待建立、自然科學基金委單向選擇評審專家的制度存在不足、RCC評審機制的數據采集還不夠充分、正向激勵的評審機制有待建立等。
2.1改革舉措宣講需進一步加強
為了更好地宣傳和推進RCC評審機制試點工作,自然科學基金委專門制作發布了視頻和圖解,向科學界解釋RCC評審機制的概念內涵和基本要求,引導專家負責任評審,提醒和警示專家為不負責任的評審行為擔責。但部分專家可能未看到視頻圖解或對RCC試點工作的理解不全面、準確,誤以為自然科學基金委不信任專家。科學共同體內互相的信任是基本的前提。因此必須進一步向科學界澄清RCC的根本目的是改進評審質量,提升透明度。我們邀請試點學科205位通訊評審專家對RCC相關參數的重要性進行評價,結果顯示:有超過74%的專家認為“不遵守回避或保密制度”“利用通訊評審謀取不正當利益”“會議評審專家公正性狀況”這3項參數重要,而不足50%的專家認為“嚴重延誤后拒評”“通訊評審意見用語不妥(‘一句話’或有刺激性語言)”“資助建議的采納情況”,以及“申請人對專家的通訊評審意見進行打分,評價評審意見對申請人的益處(即‘反評估’)”這4項參數重要,其中,僅有18%的專家認為“反評估”重要(圖3)。
分析原因,可能是通訊評審專家尚不能充分理解RCC評審機制的參數設置邏輯,提示RCC評審機制的宣講工作有待進一步加強。
2.2評審專家的資質認證和培訓機制尚未建立
同行評議專家除了具備較高的專業知識水平、實踐經驗、敏銳的洞察力和較強的學術判斷力,還應具有良好的學術誠信和科研道德。實行專家資格審查制度是保證評議結果的科學性、公正性、權威性的前提。學科在維護專家庫的工作中,有時難以準確掌握專家的動態信息,如是否全職工作、是否出國等。通過個別訪談,有專家建議自然科學基金委加強與依托單位的聯動。以電子郵箱為例,依照國際慣例,科學家作為通訊作者進行投稿(例如Elsevier雜志社的BiochemicalPharmacology)、投稿時推薦審稿人(例如Springer雜志社的ActaGeodaeticaetGeophysica)以及寫推薦信時須使用機構電子郵箱(InstitutionalEmailAddress)。而目前無論申請人和評審專家,使用私人郵箱地址提交申請和評審項目的不在少數,甚至使用QQ郵箱也并不罕見。由于私人郵箱難以確認使用者的真實身份,這就為營私舞弊提供了空間。如2017年爆發的施普林格撤銷發表于TumorBiology的107篇論文事件,導火索便是評審專家資質與審稿結果造假。
對同行評議專家的培訓長期以來嚴重缺失,可能導致同行評議質量難以得到保障,而絕大多數專家希望獲得相關培訓。從邏輯上看,信譽是驅動力,評審人如果珍惜自己的信譽,就會負責任地進行評審,并在評審中做出貢獻,包括對申請書中設計的研究工作給出學術方面的具體指導。被邀請參與自然科學基金委通訊評審的專家,大多數已經獲得自然科學基金資助,是專業領域的科學家。然而,國家自然科學基金的資助體系復雜。尤其是不同類別的自然科學基金項目,有不同的定位。由于科學基金深化改革全面開展分類評審,不同“科學問題屬性”的項目,在學術評價標準上不盡相同。評審專家需要較長時間去了解科學基金資助體系和科學基金深化改革的各項舉措。由于專家往往缺乏科學基金管理的經驗,很難充分理解評審程序,對評審專家的系統性培訓是急待實現的。
2.3信息不對稱的問題
自2003年起自然科學基金委全面實行電子化申請,2004年實行網上遴選、指派同行評議專家,提高了評議工作效率,實現了基金項目評審意見的全文反饋。全文反饋大大促進了同行評議工作的透明度,進一步增加科學基金評審過程的權威性;也有力地推動科學思想的相互交流,推進基金評審的公正性和科學性,加強了對評議人的監督。RCC評審機制試點工作旨在“引導”專家負責任的評審,但尚無任何“反饋”機制是面向專家的。在RCC試點工作的個別訪談中有專家建議:希望得到關于所評審項目最終獲資助與否以及其他評審專家評審意見的反饋。我們由此設計了問卷,對205名參與RCC評審機制試點的評審專家進行調研,92.2%(189/205)的專家希望自然科學基金委在會議評審后向其反饋該項目獲資助與否結果(圖4A),87.3%(179/205)的專家希望自然科學基金委向其反饋所有專家對項目的通訊評審意見(圖4B)。資助機構單向選擇評審專家的制度是目前同行評議經常被詬病的缺陷。
當前,同行評議專家難以主動選擇與自己學術領域相近的申請書進行評審,大多是被動地等待學科項目主任派發申請書。隨著學科交叉趨勢加劇,單向選擇評審專家的制度降低了專家與待評申請書間的契合度,并進一步增加項目主任、申請人與專家間的信息溝通障礙。
2.4數據的記錄問題
“完善評審機制”改革的一大舉措是完善計算機輔助指派,這為科學遴選評審專家提供了有效的方法支撐。“智能”指派提高了送審效率,是實現評審工作“分類、科學、公正、高效”的關鍵一步。然而,目前的計算機輔助指派精度還不夠高,亟需優化算法,進一步提升準確率。“講信譽”的采集指標應兼具多元化和個性化,多元化可通過綜合分析評審專家的評審數量、質量以及“反評估”信息來實現;個性化則應考慮評審專家的年齡、性別、國籍以及評審項目的類別進行差異化分析。建議對每位專家的評審工作進行綜合分析,如對評審專家評審項目數量、評審意見與最終資助與否的契合度、個人“反評估”結果等進行綜合分析,從多個指標綜合體現專家的“貢獻”程度。這個建議的前提同樣也需進一步提高計算機輔助指派的準確度,以保證數據分析結論的可靠性。
2.5正向的激勵機制有待建立
構建RCC評審機制的目的之一是以“計貢獻”方式給予評審專家正向激勵,因此如何正向激勵以更好地發揮RCC評審機制的引導作用,是筆者參加試點工作之后不斷思考的問題。將科研人員的評審工作計入其學術貢獻中,是公認的對評審專家最好的激勵方式。Wiley出版社調查研究了審稿人對同行評議的態度,結果顯示:審稿人認為同行評議報告應作為科研產出被認可,如果研究機構承認審稿對學術的貢獻,他們愿意花更多的時間參與同行評議[7]。然而,專家通過同行評議做出的學術貢獻需要量化和比較[8],這是學術出版行業和資助機構在不斷探索和改進的方向。目前RCC評審機制仍以監督、規范評審專家為主,正向激勵的機制尚未建立。
通過調研世界主要科研資助機構的運行情況,除了發放評審費,我們沒有發現資助機構有明確對評審專家開展正向激勵的舉措。通過調研世界主要科學出版集團的同行評議發現,比較常見的正向激勵方式是雜志社發送感謝信(在評審人提交評審意見后發送電子郵件、頒發證書、與Publons合作并利用其平臺記錄專家的同行評議等;比較少見的如AnnalsofSaudiMedicine雜志給審稿人授予繼續教育學分,Heliyon雜志在PDF稿件中以水印形式表達對審稿人的感謝。從出版社層面,Elsevier擁有獨立的審稿人中心(ReviewerHub)①,用于記錄專家的同行評議并提供可下載的同行評議證書,而其他主要出版社均與Publons建立合作關系(表1)。生物醫學領域的期刊雜志普遍以感謝信形式表達對審稿專家的認可,其正向激勵舉措總結為表1。SCIENCEDOMAINinternational出版社向審稿人約稿、減免版面費,以及遴選年度評審專家名人堂成員②。對200位通訊評審專家的問卷調查顯示,接近70%(139/200)的專家支持自然科學基金委參照Elsevier出版社建立ReviewerHub的做法,對專家歷年參與的通訊評審進行記錄,并提供可下載的電子證書,60%(120/200)的專家支持自然科學基金委綜合評審數量、質量和時效性等,評選優秀通訊評審專家并頒發證書(圖5)。這一結果,在另一個205例樣本的獨立問卷中得到驗證。
免責聲明:本網站所轉載的文字、圖片與視頻資料版權歸原創作者所有,如果涉及侵權,請第一時間聯系本網刪除。

官方微信
《腐蝕與防護網電子期刊》征訂啟事
- 投稿聯系:編輯部
- 電話:010-62316606-806
- 郵箱:fsfhzy666@163.com
- 腐蝕與防護網官方QQ群:140808414