近日在國際頂級期刊Nature上發表題為“Impact factors are still widely used in academic evaluations”的新聞。調查發現，40%的研究型大學在評估報告中提到了有爭議的指標（影響因子），盡管他們努力降低其影響~

早在去年倫敦帝國理工學院Stephen Curry教授在Nature上發表一篇“Let's move beyond the rhetoric: it's time to change how we judge research”的文章，指出迫切需要改進學術研究的評估方式，并要求科學家、資助者、機構和出版商放棄使用期刊影響因子（JIFs）來評判單個研究人員。2012年在舊金山舉行的美國細胞生物學學會年會上就提出過類似的問題，認識到有必要改進對學術研究成果進行評估的方法。并提出了The Declaration on Research Assessment （DORA研究評估宣言）。

JIFs從來就不是單個論文的衡量標準，更不用說單個人了。它們是某一期刊論文在兩年內被引用的偏態分布的平均值。這些平均值不僅掩蓋了同一期刊論文之間的巨大差異，而且引用量也不是衡量質量和影響力的完美指標。IF高的期刊可能會發表許多頂尖的科學論文，但我們不應該把對個別研究人員及其產出的評估外包給誘人的期刊指標。

因此，DORA現在的工作是加速它所要求的更改。Stephen Curry教授說道“每當我遇到博士后時，我都覺得有必要做出改變。他們對世界的好奇心和改善世界的決心燃燒得很旺。但他們追求最迷人、最具影響力的問題的欲望，被我們的評估體系顛覆了。當他們申請他們的第一個長期職位時，他們已經在計算如何在依賴JIFs的現代科學管理主義中運作。”

期刊影響因子（JIF）最初是為了幫助圖書館決定索引和購買哪一個期刊而建立的。然而，在過去的幾十年里，它已經成為一種基于期刊排名來評價研究論文的依賴指標。接受調查的科研人員經常抱怨說要在高JIFs的期刊上發表論文，他們感到了壓力。近日墨西哥國立自治大學Erin C. McKiernan教授在Peer J Preprints上發表了一項針對北美院校的調查發現，有近一半的研究型大學在決定提拔人員時都會考慮期刊的IF。這份分析報告對美國和加拿大129所大學及381個學術單位的800多份文件進行了研究，他們通過軟件運行這些評估文件，軟件設計了用來標記與影響因子相關的特定術語，他們閱讀文件子集中的相關段落，用來了解學校或機構如何以及為何使用該指標。為IF用于科研人員評審、晉升、終身職位獲取的相關信息提供了支持。

結果顯示，在重點關注的研究型機構中，約40%的研究型機構在審查、晉升和終身職位過程中使用的文件中提到了IF。而只有18%的關注碩士學位的大學提到了期刊影響因子或與其密切相關的術語。我們的定性分析顯示：在研究型大學中，超過80%的相關文件在科研人員審查、晉升和終身職位聘用過程中提到鼓勵在學術評估中使用IF，而在提到JIFs的這些機構時，只有13%的機構對這一指標提出了質疑的態度。但大多語言傾向于暗示高影響因子與更好的研究有關，例如，61%的被提及者將影響因素描述為研究質量的衡量標準，35%的被提及者表示它反映了工作的重要性。

評判的誤差

JIFs是衡量某一特定期刊上發表的文章在過去兩年中平均被引用的次數。出版商經常宣傳這個數字，以反映期刊的質量。但是，許多學者和評審小組已經將影響因素作為判斷一項研究或發表該研究的科學家的質量、重要性和聲譽的一種快速方法。這惹惱了許多學者，他們表示IF傳播了不利于科學的不健康研究文化，他們希望大學在招聘和晉升過程中不再使用這種衡量標準。

Erin C. McKiernan教授指出：我們現在有數據顯示學術評估的進展。她預計在這些文件中明確使用IF的機構比例會更高，她警告稱他們的結果可能只是“冰山一角”。在評估過程中，可能會有更多間接提到影響因素的術語，比如“頂級期刊”或“高級期刊”。

評價方法的重要性

Stephen Curry教授表示對于大學來說，想出其他評估員工的方法至關重要。他說：“對研究人員的評價應該基于他們所做的工作，而不僅僅是他們在哪里發表了論文，而且應該對他們在發表研究論文之外所做的許多貢獻給予肯定。”

對于很少發表文章的人來說，JIFs的好處在于它是前瞻性的，而不是回顧性的。JIFs提供即時驗證：隨著時間的推移，h指數和被引用次數都在增加，這是早期研究人員積累起來的財富。在舊的體制下，如果你努力學習，你的第一作者論文就會出現在IF很高的期刊上，這將帶來晉升及終身職位的幸福感。

倫敦帝國理工學院的高級講師John Tregoning教授說：“新一代的科研人員擁有一系列獨特的優勢，從長遠來看，如果學校或機構考慮對他們進行獎勵，這些優勢可能會使他們的科研事業更加強大。這些特點包括更社會化的科學研究方法，以及利用信息技術共享數據、方法和學分的便利。”

也許DORA或者科學家們會想出一個非常公平的方法來衡量5年或10年后的科學產出。也許它將是全面的，廣泛接受的，支持的和簡單的。如果真的發生了，那就太好了。與此同時，對如何判斷科學生產力的困惑正在侵蝕科學生產力。我們需要一個快速的解決方案，而最快的解決方案就是清晰的、透明化的。

不知道國內這種現象是否也普遍存在呢，大家可以在留言區發表自己的看法和意見。（插圖摘自相關文章）

參考文獻：

1 Nature （2019） doi: 10.1038/d41586-019-01151-4

2 McKiernan, E. C. et al. Preprint at PeerJ Preprints 

https://doi.org/10.7287/peerj.preprints.27638v2 （2019）。

3 Nature 544, 411–412 （2017） doi:10.1038/544411a

4 Nature 558, 345 （2018） doi: 10.1038/d41586-018-05467-5