2020年9月21日-25日是同行評(píng)議周（Peer Review Week），主題是“同行評(píng)議中的信任”。

國(guó)家自然科學(xué)基金委員會(huì)原主任，浙江大學(xué)教授、原校長(zhǎng)楊衛(wèi)做客愛(ài)思唯爾專題線上研討會(huì)，暢談對(duì)“信任與科研評(píng)審制度”的理解，給青年科研人員進(jìn)行項(xiàng)目評(píng)審、基金申請(qǐng)?zhí)岢隽瞬簧僦锌稀⒉僮餍詮?qiáng)的建議，并與網(wǎng)友進(jìn)行互動(dòng)。

《中國(guó)科學(xué)報(bào)》對(duì)研討會(huì)內(nèi)容進(jìn)行了整理，以下為研討會(huì)實(shí)錄：

Q1: 同行評(píng)議除了在期刊評(píng)審發(fā)揮作用外，相信您還了解同行評(píng)議在其他方面的廣泛應(yīng)用，可以介紹一下嗎？

楊衛(wèi)：

不同方面的同行評(píng)議我都做過(guò)，現(xiàn)在還是愛(ài)思唯爾一個(gè)期刊的編輯之一。每年從我手里要評(píng)五六百篇來(lái)稿，涉及發(fā)送給審稿人、判斷其審稿意見(jiàn)、決定錄取與否等。

我們一般談?wù)摰膹V義評(píng)審，可以稱作“三評(píng)”——評(píng)審、評(píng)估、評(píng)價(jià)。其最基本的形式有兩種：主觀評(píng)價(jià)和客觀評(píng)價(jià)，分別指由人來(lái)評(píng)價(jià)和由數(shù)據(jù)來(lái)評(píng)價(jià)。當(dāng)然也有主觀和客觀結(jié)合在一起進(jìn)行評(píng)價(jià)。

我曾做過(guò)一個(gè)報(bào)告，將目前國(guó)內(nèi)實(shí)施的主客觀相結(jié)合的評(píng)價(jià)歸結(jié)為9種具體形式。

主觀評(píng)價(jià)，即同行評(píng)議（peer review），是一種最基本的評(píng)價(jià)形式。廣泛應(yīng)用在期刊、科研項(xiàng)目、獎(jiǎng)項(xiàng)、職稱乃至學(xué)生獎(jiǎng)學(xué)金、先進(jìn)模范等評(píng)審中。

與期刊的同行評(píng)議相比，科研項(xiàng)目評(píng)審呈現(xiàn)出以下不同特點(diǎn)：

1. 評(píng)價(jià)項(xiàng)目涉及標(biāo)的更大，并涉及到國(guó)家經(jīng)費(fèi)，即納稅人的錢(qián)。所以評(píng)審過(guò)程中一旦出現(xiàn)問(wèn)題，審計(jì)、監(jiān)督部門(mén)就會(huì)介入。

科研項(xiàng)目的評(píng)審一般是單向的，評(píng)完后通知評(píng)審結(jié)論和意見(jiàn)，沒(méi)有評(píng)上的很難以學(xué)術(shù)觀點(diǎn)不同的爭(zhēng)辯而改變結(jié)果。

國(guó)家自然科學(xué)基金條例中規(guī)定，評(píng)審過(guò)程中如果違反了程序，可以申訴，維持程序正義。但如果對(duì)評(píng)價(jià)意見(jiàn)有異議，只能保留。

這和期刊評(píng)審采取交互的方式，審稿人、編輯、投稿人有時(shí)候可以進(jìn)行爭(zhēng)辯而有所不同。

這是因?yàn)椋谠u(píng)價(jià)過(guò)程中，國(guó)家自然科學(xué)基金委認(rèn)為它已經(jīng)找了一組最權(quán)威、最合適的專家，如果你對(duì)意見(jiàn)不滿意，想要推翻這些專家的意見(jiàn)，就需要找更加權(quán)威的專家。

2. 項(xiàng)目評(píng)審的時(shí)間，尤其是會(huì)評(píng)的時(shí)間往往比較固定，在評(píng)審之前不公開(kāi)專家信息。

在評(píng)審之前公布專家信息行不行呢？我們以前試過(guò)，在某一年，依照當(dāng)時(shí)一份文件，公開(kāi)了專家信息。結(jié)果很多專家的手機(jī)都被打爆了，電話、短信幾百個(gè)。

這些申請(qǐng)人們并不直接找相應(yīng)的評(píng)審專家，而是去找一個(gè)評(píng)審專家最難說(shuō)不的人當(dāng)說(shuō)客，這就帶來(lái)很多問(wèn)題。

一直以來(lái)，我們讓評(píng)審專家互相打分，來(lái)判斷組里別的評(píng)審專家是否公正，公正程度分為A、B、C，在信息公布的那一年，這個(gè)分?jǐn)?shù)一下子下降很多。

因此，從下一年起，我們就不再提前公開(kāi)評(píng)審人的信息，而是在評(píng)審之后公布。同時(shí)把統(tǒng)計(jì)數(shù)據(jù)、情況說(shuō)明等報(bào)給了相應(yīng)的管理部門(mén)。

3. 項(xiàng)目評(píng)審?fù)鶗?huì)框定一個(gè)項(xiàng)目的總數(shù)量，如30項(xiàng)或50項(xiàng)，有時(shí)則是定出資助金額總量，如1000萬(wàn)等。

一般采取定額補(bǔ)助的財(cái)務(wù)管理模式，對(duì)比所有參評(píng)的項(xiàng)目，從中擇優(yōu)選取。

可能你的分?jǐn)?shù)很高，評(píng)價(jià)也不錯(cuò)，但如果同組里的其他申請(qǐng)人分?jǐn)?shù)更高，你就會(huì)被淘汰。

這是一種學(xué)術(shù)共識(shí)性的評(píng)價(jià)，即綜合幾個(gè)評(píng)審人的意見(jiàn)，最終給出結(jié)論。這對(duì)具有顛覆性的、從0到1的創(chuàng)新是不利的。

既然是顛覆性的，還能形成共識(shí)嗎？現(xiàn)在大家也在探索，對(duì)這種項(xiàng)目該以什么方式去評(píng)審。

4. 在評(píng)審項(xiàng)目時(shí)，除了要看項(xiàng)目本身的重要性外，還要看它有沒(méi)有可能做成、價(jià)值怎么樣，要檢查可行性。

這與期刊評(píng)審不同，論文是經(jīng)過(guò)可以形成完備論證鏈的理論、實(shí)驗(yàn)、計(jì)算工作所取得的成果。

但研究項(xiàng)目在提出時(shí)并不一定能保證成功，是某人提議去做這么個(gè)項(xiàng)目，即使最后做不成，也不完全是申請(qǐng)人的責(zé)任。畢竟科學(xué)探索不一定都是成功的，如果要追求一定成功，那可能就不會(huì)有大的創(chuàng)造。

而評(píng)獎(jiǎng)更加滯后一些，所以更注重應(yīng)用價(jià)值、突破和進(jìn)步的程度、別人對(duì)其評(píng)價(jià)和引用、相應(yīng)問(wèn)題知識(shí)產(chǎn)權(quán)的占有情況。

比如科技進(jìn)步獎(jiǎng)，就要看經(jīng)濟(jì)效益和社會(huì)效益。曾經(jīng)有諾貝爾獎(jiǎng)評(píng)獎(jiǎng)委員會(huì)的評(píng)委告訴我，諾貝爾獎(jiǎng)最注重兩點(diǎn)：是否是“開(kāi)門(mén)之作”，有沒(méi)有持續(xù)的影響力。

Q2: 期刊為了提高透明度和可信度，會(huì)公布審稿人的意見(jiàn)，科研項(xiàng)目在評(píng)審之后會(huì)公布評(píng)審人信息，同時(shí)給單向的評(píng)審意見(jiàn)。

您認(rèn)為除了目前這些措施外，還可以從哪些方面提高整個(gè)評(píng)審程序的透明度？

楊衛(wèi)：

透明度目前還是一個(gè)有一定爭(zhēng)議的議題，得特別謹(jǐn)慎地加以處理。

評(píng)審人和申請(qǐng)人的角色經(jīng)常互換，并不是固定的。評(píng)審的意見(jiàn)一般要求非常具體，要讓在申請(qǐng)人拿到意見(jiàn)之后，無(wú)論贊同與否都有收獲。

這個(gè)意見(jiàn)要隱去所有能揭示自己身份的信息，對(duì)國(guó)家自然科學(xué)基金來(lái)講，在函評(píng)時(shí)，誰(shuí)審得誰(shuí)，是基金委的核心機(jī)密，任何一個(gè)工作人員如果透露出這個(gè)信息，就不再適宜在基金委工作。

我曾擔(dān)任國(guó)家自然科學(xué)基金委主任，也不知道是誰(shuí)審了誰(shuí)，系統(tǒng)里這塊內(nèi)容對(duì)我是封閉的。

只有具體操作的人才知道，他們的操作，也必然留下痕跡。所以一旦泄露，很容易追蹤到這個(gè)人。這才能保證大家對(duì)國(guó)家自然科學(xué)基金的信任感，不至于出現(xiàn)專家之間的猜疑和人身報(bào)復(fù)。這一體系在絕大多數(shù)情況下也是被認(rèn)可的。

畢竟目前來(lái)看，中國(guó)還是比較講人情的，如果你要把審稿人公布給申請(qǐng)人，還要求提出尖銳的意見(jiàn)，大部分人就拒絕審稿了。即使不拒絕，其意見(jiàn)也會(huì)含混不清、模棱兩可。

期刊也是這樣，大多數(shù)期刊也不會(huì)把審稿人告訴給作者。以我所在的期刊來(lái)說(shuō)，如果審稿人的名字被泄露給作者，就算是一個(gè)事故。

Q3: 匿名評(píng)審是為了保護(hù)同行評(píng)議的信任感，但評(píng)審委員會(huì)內(nèi)部如何決定誰(shuí)審誰(shuí)？怎么避免人為的偏見(jiàn)呢？

楊衛(wèi)：

我剛才講到，我們的基金評(píng)審是學(xué)術(shù)共識(shí)性的。一般的程序是，先把所有的申請(qǐng)按照關(guān)鍵詞進(jìn)行分類，分成若干個(gè)包，每個(gè)包可能有十幾份申請(qǐng)，會(huì)發(fā)送給同一撥專家。

在評(píng)審專家看到申請(qǐng)人名字和申請(qǐng)課題后，他們依照原有的認(rèn)知，對(duì)申請(qǐng)人形成一個(gè)排序，這是預(yù)判斷。

在對(duì)申請(qǐng)書(shū)進(jìn)行比較、分析之后，他們可能會(huì)調(diào)整預(yù)判斷，形成個(gè)人最終的次序判斷。最后，對(duì)這一組的評(píng)審人意見(jiàn)進(jìn)行匯總，形成最終的意見(jiàn)。

Q4:您對(duì)青年科研人員有哪些建議？在申請(qǐng)基金時(shí)有什么需要注意的？

楊衛(wèi)：

自然科學(xué)基金委原來(lái)的規(guī)矩是，項(xiàng)目主管不許給別人講怎么能申請(qǐng)到基金。我不做主任有兩三年時(shí)間了，但現(xiàn)在我不能主動(dòng)去詳細(xì)講述這件事。

在我當(dāng)校長(zhǎng)的時(shí)候，年年都給老師們講，怎么才能申請(qǐng)到基金。現(xiàn)在我只能給大家講，在我當(dāng)國(guó)家自然科學(xué)基金委主任以前，給年輕老師的提議。

1. 項(xiàng)目背景要能夠讓大同行明確理解。

有些年輕的申請(qǐng)人以為，自己寫(xiě)的東西別人都應(yīng)該知道，但其實(shí)很多時(shí)候別人并不知道，隔行如隔山。缺了解釋性的一兩句話，中間的邏輯就會(huì)斷裂。因此，要照顧到大同行的理解程度。

2. 研究?jī)?nèi)容、技術(shù)路線、創(chuàng)新點(diǎn)等要適度聚焦，但在難點(diǎn)上要一線貫通。

你的項(xiàng)目可能涉及很多個(gè)方面，但并不需要面面俱到，不然大家看的也很疲憊。而要把最難實(shí)現(xiàn)的路徑、別人認(rèn)為最不可行的問(wèn)題講清楚，包括技術(shù)細(xì)節(jié)等。

這樣評(píng)審人會(huì)覺(jué)得，最難的東西你都講清楚了，其他的問(wèn)題也不大。

這和寫(xiě)論文不一樣，寫(xiě)論文要把所有的步驟、方法都講明白，但是項(xiàng)目要求內(nèi)容聚焦，要論證其執(zhí)行路徑的可行性。

3. 不能省略同行的工作。

有人在進(jìn)行闡述時(shí)，忘了提自己同行的工作。但評(píng)審人很有可能就是你沒(méi)提到的某個(gè)同行，或者是他們的學(xué)生、同事等。別人做過(guò)的工作，絕不能只字不提，尤其是國(guó)內(nèi)同行的相關(guān)工作，要寫(xiě)清楚。

4. 寫(xiě)自己的研究經(jīng)歷及成果時(shí)，突出重點(diǎn)。

不需要一一羅列，寫(xiě)幾十頁(yè)，只需要把自己最重要的和與研究問(wèn)題最相關(guān)的工作寫(xiě)清楚。

5. 思考如何才能令人眼前一亮。

剛才我講到，最初申請(qǐng)書(shū)是由人工智能系統(tǒng)檢索打包的，將相似主題的申請(qǐng)發(fā)送給給同一撥人。

這時(shí)你要想：在這十幾份申請(qǐng)書(shū)里，我的課題申請(qǐng)憑什么能打動(dòng)評(píng)審人？一般的中標(biāo)率是20%左右，15份申請(qǐng)里的前3名有可能中標(biāo)。大家要思考如何才能成為前3名，令人眼前一亮。

不同的學(xué)科習(xí)慣不一樣，生命科學(xué)可能要求把故事講好，而工程類的呢，要保證寫(xiě)得實(shí)實(shí)在在、精確到位。

上述意見(jiàn)僅供參考。

Q5: 青年科研人員也逐漸參與到各項(xiàng)評(píng)審工作中，通過(guò)經(jīng)驗(yàn)積累來(lái)提升自己的評(píng)審能力，但目前市面上很少有專門(mén)的課程指導(dǎo)大家如何去做同行評(píng)議。

在這方面，項(xiàng)目評(píng)審是否有同樣的挑戰(zhàn)？如何成為優(yōu)秀的評(píng)審人？

楊衛(wèi)：

國(guó)家自然科學(xué)基金委有一個(gè)專家?guī)欤锩娲蟾庞惺畮住⒍f(wàn)個(gè)專家。在項(xiàng)目主管指定評(píng)審人的時(shí)候，根據(jù)項(xiàng)目主題和內(nèi)容，可以看到相關(guān)專家在關(guān)聯(lián)度上的降序排序。

項(xiàng)目主管可以選擇系統(tǒng)篩選出專家，也可以根據(jù)自己的知識(shí)，指定其他更合適的專家，他的選擇也會(huì)被帶到機(jī)器學(xué)習(xí)中，相應(yīng)做出調(diào)整。

這個(gè)系統(tǒng)的信息一般是從科研人員的網(wǎng)站搜過(guò)來(lái)的，因此建設(shè)個(gè)人網(wǎng)站很重要。如果網(wǎng)站信息顯示你曾經(jīng)研究過(guò)某一類的問(wèn)題，就有可能請(qǐng)你來(lái)評(píng)審。

你給的分?jǐn)?shù)等級(jí)普遍比大家高或低都沒(méi)問(wèn)題，但如果總是跟大家的平均結(jié)果缺乏相關(guān)性的話，你在系統(tǒng)中的優(yōu)先級(jí)就會(huì)下降。比如多次出現(xiàn)這種情況，其他人一般給B，你給了D，其他人給C，你給了A。

再有，基金委給大家規(guī)定了評(píng)審時(shí)間，你最好及時(shí)審回提交，項(xiàng)目主任一般比較喜歡審的及時(shí)、意見(jiàn)具體準(zhǔn)確的人。基金委很自豪的是其邀請(qǐng)審查基金的審回率在90%以上，比所有的期刊都要高，期刊的評(píng)審人有一半能審回就不錯(cuò)了。

Q6: 如何調(diào)動(dòng)審稿人的積極性？有哪些激勵(lì)措施？

楊衛(wèi)：

首先，跟期刊審稿一樣，評(píng)審一次基金項(xiàng)目，就能了解到某一個(gè)問(wèn)題。而且項(xiàng)目書(shū)所覆蓋的面往往比論文更寬，審?fù)旰髮?duì)大家做什么題目，同行中比較重要的團(tuán)隊(duì)做些什么都有了解，這對(duì)學(xué)術(shù)生涯有正面作用。

第二，評(píng)審費(fèi)在2年前就增漲了，而且漲幅很大。審一包項(xiàng)目書(shū)，肯定比你干一天活掙的工資要多。

同時(shí)，心理上來(lái)說(shuō)，這也是為學(xué)界服務(wù)，是在做貢獻(xiàn)。

Q7: 您提到，我們目前的評(píng)審制度是學(xué)術(shù)共識(shí)性的評(píng)審，對(duì)顛覆性的、創(chuàng)新性較強(qiáng)的項(xiàng)目有局限性，但目前中國(guó)正從科研大國(guó)到科研強(qiáng)國(guó)轉(zhuǎn)變，越來(lái)越強(qiáng)調(diào)科研原創(chuàng)性，如何改變這種局限性？

楊衛(wèi)：

基金委最近出了一個(gè)對(duì)待“從0到1”研究項(xiàng)目的特殊評(píng)審辦法，更多地強(qiáng)調(diào)申請(qǐng)人和基金項(xiàng)目主管的交互。

申請(qǐng)人最開(kāi)始寫(xiě)的項(xiàng)目書(shū)可以很簡(jiǎn)單，然后被拿去預(yù)審。只要其中有一處明顯的創(chuàng)新點(diǎn)，就可以讓申請(qǐng)人圍繞這一點(diǎn)，重新寫(xiě)一個(gè)比較詳細(xì)的項(xiàng)目書(shū)。

這是一個(gè)迭代過(guò)程，希望能最終迭代出最能突出創(chuàng)新性的版本。在項(xiàng)目進(jìn)行過(guò)程中，也會(huì)分階段進(jìn)行評(píng)估，根據(jù)評(píng)估結(jié)果決定資助金額。

延伸閱讀：

基金委與阿里云達(dá)成合作，應(yīng)用 AI 技術(shù)遴選評(píng)審專家

據(jù)《中國(guó)科學(xué)報(bào)》從中國(guó)政府采購(gòu)網(wǎng)和阿里云獲得的消息，國(guó)家自然科學(xué)基金委員會(huì)已和阿里云達(dá)成合作，建設(shè)應(yīng)用人工智能技術(shù)的科學(xué)基金項(xiàng)目管理系統(tǒng)，支撐自然科學(xué)項(xiàng)目申請(qǐng)、評(píng)審、立項(xiàng)、在研、結(jié)題、成果等等核心業(yè)務(wù)穩(wěn)定可靠運(yùn)轉(zhuǎn)。阿里云方面介紹稱，本次項(xiàng)目基于科研大數(shù)據(jù)、人工智能等技術(shù)，提取科研項(xiàng)目申請(qǐng)書(shū)、評(píng)議人的多維特征及科研行為信息，對(duì)科研對(duì)象進(jìn)行更加準(zhǔn)確的定義描述。基于 AI 技術(shù)的輔助指派系統(tǒng)，將為科研項(xiàng)目申請(qǐng)書(shū)遴選出最合適的評(píng)審專家，并結(jié)合反饋調(diào)節(jié)機(jī)制持續(xù)完善評(píng)議指派準(zhǔn)確度。

基金委正在搭建的這套 AI 系統(tǒng)則更加復(fù)雜。在Nature的報(bào)道中，基金委主任李靜海描述了系統(tǒng)的工作原理：爬蟲(chóng)會(huì)在網(wǎng)絡(luò)上抓取文獻(xiàn)數(shù)據(jù)庫(kù)、學(xué)者的個(gè)人主頁(yè)等在線數(shù)據(jù)，然后使用自然語(yǔ)言處理的方法提取學(xué)者的學(xué)術(shù)出版物、科研項(xiàng)目等信息的關(guān)鍵細(xì)節(jié)；匹配基金申請(qǐng)項(xiàng)目與潛在評(píng)審人時(shí)，系統(tǒng)將對(duì)兩部分信息進(jìn)行語(yǔ)義分析，以得到最優(yōu)的結(jié)果。 

基金委前任主任楊衛(wèi)稱，2018年，這個(gè)系統(tǒng)的一個(gè)早期版本已經(jīng)在為基金委提供服務(wù)：基金申請(qǐng)書(shū)的評(píng)審工作由3～7人組成的專家組承擔(dān)，而系統(tǒng)為44000個(gè)批準(zhǔn)了基金申請(qǐng)的專家組各推薦了至少一位成員。 

科研人員的裙帶關(guān)系一直是基金評(píng)審公正性的一大阻礙，基金委希望使用AI系統(tǒng)減少評(píng)審的偏向性。李靜海認(rèn)為，“AI是不會(huì)被被腐化的”。《中國(guó)科學(xué)報(bào)》稱，雖然此前基金委已經(jīng)為規(guī)范評(píng)審紀(jì)律采取了遏制措施，比如提高評(píng)審信息保密水平、提高評(píng)審人員紀(jì)律意識(shí)，但今年仍有人通過(guò)各種途徑“活動(dòng)關(guān)系”，甚至有“廣撒網(wǎng)”式的“打招呼”現(xiàn)象存在。 

過(guò)去5年內(nèi)，基金委收到的項(xiàng)目申請(qǐng)以每年約10%的速度增長(zhǎng)，這讓評(píng)審公正性面臨的壓力進(jìn)一步提升。2018年下半年，基金委提出要用5～10年的時(shí)間對(duì)科學(xué)基金進(jìn)行深層次的重大改革，“完善評(píng)審機(jī)制”是彼時(shí)提出的三大改革任務(wù)之一，任務(wù)的實(shí)現(xiàn)措施中，明確包括了“使用智能輔助評(píng)審管理系統(tǒng)”。 

智能系統(tǒng)的工作質(zhì)量，將是影響改革成效的關(guān)鍵因素之一。Nature 的報(bào)道顯示，加拿大衛(wèi)生研究院使用的一個(gè)評(píng)審人挑選算法，效果并不盡如人意：算法挑選出的評(píng)審人可能與項(xiàng)目存在利益沖突，或者不適合、甚至根本不具備評(píng)審項(xiàng)目的資格。

目前，基金委的這套試驗(yàn)性系統(tǒng)只能處理中文的網(wǎng)絡(luò)信息，英文信息的處理將是下一步的計(jì)劃。