近年來(lái)，科研評(píng)價(jià)改革呼聲越來(lái)越高，但成效一直并不明顯。政府和科研管理人員仍然希望運(yùn)用定量指標(biāo)來(lái)評(píng)價(jià)一切，包括對(duì)普通教師、教授、課程、科研項(xiàng)目和大學(xué)的評(píng)價(jià)。

國(guó)際知名科技政策專(zhuān)家伊夫斯·金格拉斯的批判性著作《大學(xué)的新衣：對(duì)基于文獻(xiàn)計(jì)量學(xué)的科研評(píng)價(jià)的反思》，圍繞文獻(xiàn)計(jì)量方法展開(kāi)了熱烈的討論，通過(guò)聚焦評(píng)價(jià)的基本問(wèn)題及其對(duì)科研的影響，厘清科研評(píng)價(jià)中很多似是而非的概念，幫助評(píng)價(jià)者和被評(píng)價(jià)者更合理地理解和使用目前在新興的科研評(píng)價(jià)市場(chǎng)上盛行的排名“黑匣子”里的許多指標(biāo)；同時(shí)也探究了大學(xué)急于讓無(wú)效指標(biāo)影響其科研戰(zhàn)略的緣由，提出問(wèn)題：盡管大多數(shù)的大學(xué)領(lǐng)導(dǎo)者、聰明的學(xué)者、有經(jīng)驗(yàn)的管理人員認(rèn)為排名并不具有科學(xué)價(jià)值，但他們?nèi)匀皇褂门琶麨槠錂C(jī)構(gòu)做宣傳并應(yīng)用于資源投入、教師聘任和晉升等重要戰(zhàn)略決策，是否是在重演“皇帝的新衣”這個(gè)古老的故事？

大學(xué)排名是“皇帝的新衣”嗎？定量指標(biāo)可以評(píng)價(jià)一切嗎？什么才是有效的科研評(píng)價(jià)標(biāo)準(zhǔn)？如何評(píng)判指標(biāo)是否有效？本書(shū)探討基于文獻(xiàn)計(jì)量學(xué)的科研評(píng)價(jià)如何被濫用，及其如何影響大學(xué)及教師發(fā)展，解答上述疑問(wèn)。

期刊影響因子

為何要精確到小數(shù)點(diǎn)后三位？

文 | 伊夫斯·金格拉斯

來(lái)源 | 《大學(xué)的新衣：對(duì)基于文獻(xiàn)計(jì)量學(xué)的科研評(píng)價(jià)的反思》

在科研評(píng)價(jià)中使用引文數(shù)據(jù)帶來(lái)的最大問(wèn)題可能是反映期刊引文影響力的指標(biāo)被用來(lái)評(píng)價(jià)論文的水平?？茖W(xué)期刊已經(jīng)成為一個(gè)非常有利可圖且競(jìng)爭(zhēng)激烈的市場(chǎng)。期刊使用影響因子作為推廣工具，說(shuō)服作者提交他們水平最高的論文，并向圖書(shū)館出售訂閱服務(wù)。20世紀(jì)90年代末以來(lái)，影響因子不僅被視為衡量期刊質(zhì)量的指標(biāo)，而且還被誤認(rèn)為是衡量論文質(zhì)量的標(biāo)準(zhǔn)。但是，對(duì)影響因子的日益關(guān)注導(dǎo)致了一種丑陋的行為，即試圖干擾科學(xué)家的引用行為來(lái)提高期刊影響因子。要理解一個(gè)簡(jiǎn)單的指標(biāo)是如何導(dǎo)致了這種極端行為，首先要回顧一下期刊影響因子的發(fā)明。

作者伊夫斯·金格拉斯，圖片來(lái)源：來(lái)自蒙特利爾魁北克大學(xué)官網(wǎng)

01

期刊影響因子的起源

1975年以來(lái)，湯森路透每年根據(jù)WoS的數(shù)據(jù)發(fā)布《期刊引證報(bào)告》(Journal CitationReports)，期刊在某一年度的影響因子(IF)是某期刊前兩年發(fā)表的論文于該年度獲得的總被引頻次除以該期刊在這兩年內(nèi)發(fā)表的論文總數(shù)。因此，影響因子用來(lái)表征期刊，而不是論文。例如，某一期刊2006年度的影響因子是該期刊在2004年和2005年發(fā)表的所有論文在2006年的總被引頻次除以該期刊這兩年發(fā)表的論文總數(shù)。

當(dāng)然，選擇兩年的短時(shí)間窗口來(lái)評(píng)價(jià)影響力有可能會(huì)產(chǎn)生不良后果。毫無(wú)疑問(wèn)，它會(huì)給自然科學(xué)期刊帶來(lái)高影響因子，而給社會(huì)科學(xué)期刊帶來(lái)低影響因子。這種差別在很大程度上是由所選擇的時(shí)間窗口導(dǎo)致的，因?yàn)樯鐣?huì)科學(xué)研究通常比自然和生物醫(yī)學(xué)研究的周期長(zhǎng)。因此，將引用的時(shí)間窗口延長(zhǎng)到10年，才能使社會(huì)科學(xué)期刊的影響因子與自然科學(xué)影響因子一樣具有可比性。例如，1980年醫(yī)學(xué)期刊《柳葉刀》(The Lancet)近兩年論文的篇均被引頻次是2.4，而《美國(guó)社會(huì)學(xué)評(píng)論》(AmericanSociological Review)則為1.8。然而，引用的時(shí)間窗延長(zhǎng)到10年，結(jié)果卻截然相反：社會(huì)學(xué)期刊(20.9)的篇均被引頻次大大超過(guò)了醫(yī)學(xué)期刊(14.0)。很明顯，不同領(lǐng)域的期刊影響因子是不可比的，對(duì)同一研究領(lǐng)域的期刊進(jìn)行比較時(shí)，這些數(shù)值才有意義。

影響因子的另一個(gè)重要特征是包括自引(self-citations)，即在一本期刊獲得的總被引頻次中，包括了期刊自身的引用。盡管這一問(wèn)題可以追溯到20世紀(jì)70年代該指標(biāo)的創(chuàng)建時(shí)期，但是直到20世紀(jì)90年代才成為一個(gè)問(wèn)題。在這一時(shí)期，影響因子成為期刊之間相互競(jìng)爭(zhēng)的重要工具，并開(kāi)始被用作衡量科研人員論文質(zhì)量的指標(biāo)。影響因子的戰(zhàn)略重要性導(dǎo)致期刊編輯和出版商要求作者引用更多自己期刊中的論文作為論文錄用的隱性條件。根據(jù)定義，期刊自引的增加有提高影響因子的作用，即使在其他期刊的引用(一種更好的顯示度指標(biāo))不變甚至減少的情況下。這種給作者造成的過(guò)度壓力始于20世紀(jì)90年代的后半期，此后一直備受爭(zhēng)議。

02

自引與影響因子的關(guān)系

在一定程度上，這個(gè)問(wèn)題是技術(shù)性的。既然可以排除自引重新定義影響因子，并使操縱指數(shù)變得更加困難，那么將需要形成一個(gè)期刊交互引用的聯(lián)盟。正如接下來(lái)將看到的，盡管令人驚訝，但是一些期刊似乎已經(jīng)邁出了這一步。雖然《期刊引證報(bào)告》仍基于最初的定義(包括自引)來(lái)計(jì)算影響因子的常用值，但已經(jīng)調(diào)整了結(jié)果，將這些可能的行為考慮在內(nèi)，并且還發(fā)布了排除期刊自引后得到的影響因子。此外，還計(jì)算了期刊的自引比例，為測(cè)量外部顯示度提供了一個(gè)有用的指標(biāo)。

盡管一些期刊編輯要求作者更多引用該期刊已發(fā)表的論文，但這一現(xiàn)象并不應(yīng)該讓期刊自引“妖魔化”，實(shí)際上這是正常的表現(xiàn)。事實(shí)上，在同一本期刊上發(fā)表的論文因其研究對(duì)象或主題具有某種相關(guān)性，繼而相互引用，這是完全合理的。期刊通常服務(wù)于一個(gè)有限的、專(zhuān)業(yè)的學(xué)術(shù)團(tuán)體。以數(shù)學(xué)上的紐結(jié)理論為例，這一研究領(lǐng)域的專(zhuān)門(mén)期刊并不多，事實(shí)上只有一本期刊，即《紐結(jié)理論及其分支》(The Journal ofKnot Theory and Its Ramifications)。盡管其他綜合類(lèi)期刊也接收相關(guān)主題的論文，但那些從事紐結(jié)理論研究的專(zhuān)家們都想要在該期刊上發(fā)表論文。

去除自引對(duì)期刊的影響因子會(huì)有什么影響呢？很顯然是影響因子變小了。參考2009年的《期刊引證報(bào)告》，可以發(fā)現(xiàn)《紐結(jié)理論及其分支》的影響因子是0.523，但去除自引后，這個(gè)數(shù)字下降到0.311，自引占40％。但這真的改變了什么嗎？事實(shí)上，影響因子在期刊評(píng)價(jià)中不應(yīng)該有任何重要性，因?yàn)楹苊黠@只有專(zhuān)業(yè)從事紐結(jié)理論研究的人才知道這本期刊的好壞。如果另一本影響因子是0.822的數(shù)學(xué)期刊只發(fā)表了幾篇關(guān)于紐結(jié)理論的論文，那也并不意味著這本數(shù)學(xué)期刊的質(zhì)量更高，因?yàn)樵谄渌麠l件相同的情況下，影響因子取決于研究領(lǐng)域的大小。如果從事X主題研究的只有100人，那么與從事同一主題研究的科研人員多10倍的情況相比，總是會(huì)獲得更少的引用(假設(shè)參考文獻(xiàn)是常量)。因此，對(duì)于一些特殊專(zhuān)業(yè)的領(lǐng)域，自引比例很高并不奇怪。

03

期刊黑名單

然而，一些期刊似乎存在異常的引用水平。由于擔(dān)心操縱影響因子的爭(zhēng)議影響產(chǎn)品的價(jià)值，湯森路透介入了這場(chǎng)爭(zhēng)論，并于2007年創(chuàng)建了一份期刊黑名單，羅列了涉嫌操縱影響因子的期刊。為了遏制操縱行為，一旦認(rèn)定影響因子被操縱，湯森路透便不會(huì)再公布該期刊的影響因子。2007年就有9本期刊受到懲罰。這種監(jiān)測(cè)還包括對(duì)期刊之間的交互引用(citationexchanges)行為的監(jiān)測(cè)。這種行為更難辨別，但湯森路透已經(jīng)開(kāi)發(fā)出可以監(jiān)測(cè)的軟件。因此，在2013年的《期刊引證報(bào)告》中，有37本期刊被列入黑名單，其中14本是由于交互引用。而2012年，只有3本期刊屬于這一類(lèi)。在重新評(píng)價(jià)之前，這些違規(guī)期刊將被列入黑名單兩年。應(yīng)該指出的是，這些違規(guī)期刊在WoS所有期刊中的占比不到1％。

就像發(fā)表壓力帶來(lái)了學(xué)術(shù)欺詐行為一樣，過(guò)分強(qiáng)調(diào)影響因子也加劇了期刊編輯的違規(guī)行為。2013年夏天，巴西醫(yī)學(xué)期刊《診所》(Clinics)的編輯因試圖通過(guò)加入引用聯(lián)盟來(lái)最大化其期刊的引文數(shù)量而被解雇。這種違規(guī)行為是政府政策可預(yù)見(jiàn)的負(fù)面影響導(dǎo)致的，因?yàn)榘臀髡C布了一項(xiàng)政策，要求根據(jù)學(xué)生論文發(fā)表期刊的影響因子來(lái)評(píng)價(jià)研究生的課程質(zhì)量。

巴西的期刊編輯們批評(píng)這種簡(jiǎn)單化的評(píng)價(jià)制度，并要求對(duì)其進(jìn)行修正。對(duì)于一本全國(guó)性期刊來(lái)說(shuō)，為尋求最大限度地?cái)U(kuò)大其所發(fā)表論文的顯示度，要求作者引用本國(guó)的相關(guān)論文而不是只參考國(guó)外的研究成果，這可能確實(shí)是無(wú)可厚非的。因此，如果不將影響因子轉(zhuǎn)化為科研人員的評(píng)價(jià)標(biāo)準(zhǔn)，這些操縱影響因子的行為并沒(méi)有任何重要意義，也不會(huì)被視作違規(guī)行為。

無(wú)論如何計(jì)算，影響因子仍然是與期刊相關(guān)的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，但是與期刊發(fā)表的論文沒(méi)有關(guān)系。這一指標(biāo)用來(lái)評(píng)價(jià)個(gè)體科研人員的論文價(jià)值也是有缺陷的，其根本原因在于：一本期刊上發(fā)表的論文獲得的實(shí)際引用分布遵循與阿爾弗雷德·洛特卡定律類(lèi)似的冪定律，這就意味著大多數(shù)論文實(shí)際上很少被引用。只有少數(shù)論文被頻繁引用，它們提升了影響因子的價(jià)值。對(duì)于這類(lèi)分布，平均值并不能很好地反映中心趨勢(shì)，這只適用于所謂的正態(tài)分布和鐘形分布。

04

“對(duì)影響因子的狂熱沒(méi)有任何意義”

簡(jiǎn)言之，一篇發(fā)表在高影響因子期刊上的論文可能實(shí)際上從未被引用過(guò)。如果想要評(píng)價(jià)一篇論文的質(zhì)量或顯示度，那么就要看它發(fā)表后的幾年里實(shí)際的被引情況。當(dāng)然，這需要時(shí)間，但那些喜歡“簡(jiǎn)單快速”的評(píng)價(jià)方法的人不愿意等上3～5年。所以，他們使用期刊的影響因子評(píng)價(jià)論文的質(zhì)量和影響，即使這樣的測(cè)量是完全不合適的。正如我們?cè)诤笪闹袑⒖吹降模运^的“補(bǔ)充計(jì)量學(xué)運(yùn)動(dòng)”(altmetricsmovement)為基礎(chǔ)的評(píng)價(jià)同樣也缺乏耐心。

事實(shí)上，20世紀(jì)90年代中期以來(lái)，文獻(xiàn)計(jì)量學(xué)的專(zhuān)家們一直呼吁警惕使用影響因子評(píng)價(jià)個(gè)體科研人員的荒謬性，但這并沒(méi)有阻止決策者以及許多被認(rèn)為理性的科學(xué)家組成的評(píng)價(jià)委員會(huì)對(duì)影響因子的不當(dāng)使用。許多國(guó)家（如巴基斯坦、韓國(guó)和日本）的政府官員和研究機(jī)構(gòu)，甚至建立了直接以期刊影響因子為基礎(chǔ)的經(jīng)濟(jì)激勵(lì)措施。根據(jù)2006年《自然》的一項(xiàng)研究，巴基斯坦科學(xué)部（PakistanMinistry of Science）通過(guò)計(jì)算科研人員年度發(fā)表論文影響因子的總和，設(shè)立了1千美元到2萬(wàn)美元不等的獎(jiǎng)金。中國(guó)科學(xué)院北京生物物理研究所當(dāng)時(shí)也建立了一項(xiàng)類(lèi)似的制度：影響因子在3到5之間，每分250美元；如果影響因子超過(guò)10，每分875美元。在這種背景下，一些科研人員被懷疑為了在某些頂級(jí)期刊上發(fā)表論文而操縱同行評(píng)價(jià)。于是這些頂級(jí)期刊的編輯們以欺騙性的同行評(píng)價(jià)為由撤回了他們的論文。

同期，《自然》的一篇社論譴責(zé)了這種關(guān)于影響因子的無(wú)稽之談。2013年，《科學(xué)》的主編布魯斯·艾伯茨（Bruce Alberts）重申，“對(duì)影響因子的狂熱沒(méi)有任何意義”。大約在同一時(shí)期，400多家科學(xué)組織和一萬(wàn)多位科研人員簽署了“舊金山科研評(píng)價(jià)宣言”(San FranciscoDeclaration on Research Assessment)，宣言堅(jiān)稱(chēng)影響因子不應(yīng)被用作替代工具來(lái)評(píng)價(jià)個(gè)體科研人員的論文質(zhì)量，也不應(yīng)用于聘用、晉升、資助及以某種方式評(píng)價(jià)個(gè)體科學(xué)家。

無(wú)論人們?nèi)绾慰创秊榭蒲腥藛T提供的獎(jiǎng)勵(lì)，真正的問(wèn)題是評(píng)價(jià)過(guò)程中使用了有缺陷的指標(biāo)。最好的數(shù)學(xué)期刊的影響因子等同于最好的醫(yī)學(xué)期刊，這是不可能的。任何理智的人都不會(huì)簡(jiǎn)單地根據(jù)論文發(fā)表期刊的影響因子給予醫(yī)學(xué)論文作者更高的獎(jiǎng)勵(lì)。

最后，值得注意的是期刊影響因子被精確到小數(shù)點(diǎn)后三位！在科學(xué)中，我們認(rèn)為很少有自然現(xiàn)象可以精確到這種程度。例如，有誰(shuí)想知道溫度是20.233攝氏度嗎？一個(gè)突出的問(wèn)題是，為什么不將影響因子限制為整數(shù)：1、2、3……20、21……呢？顯然，基于影響因子的各種排名將會(huì)因此喪失他們的大部分價(jià)值。經(jīng)濟(jì)學(xué)家們特別喜歡用影響因子對(duì)他們的期刊進(jìn)行排名。

以2011年WoS中經(jīng)濟(jì)學(xué)期刊及其影響因子的列表為例，使用精確到小數(shù)點(diǎn)后三位的影響因子來(lái)對(duì)這256本期刊進(jìn)行排名。很明顯，很少出現(xiàn)排名并列的情況，只有3本期刊的影響因子同為1.000，2本同為0.757，3本同為0.743。將這些期刊排在22到24名之間，好像它們是不同的。現(xiàn)在，由于沒(méi)有人能準(zhǔn)確說(shuō)這些小數(shù)有任何真正的意義，讓我們看一下把影響因子精確到個(gè)位數(shù)的排名情況。于是，我們看到：脫穎而出的只有兩本期刊——《經(jīng)濟(jì)文獻(xiàn)雜志》(Journal ofEconomic Literature)和《經(jīng)濟(jì)學(xué)季刊》(Quarterly Journal ofEconomics)，影響因子分別為9和6；兩本期刊影響因子同為4；12本期刊影響因子同為3；1/3的期刊影響因子同為2；118本期刊的影響因子同為1?？傊@些相同影響因子的群體并不能真正被區(qū)分，多增加一個(gè)小數(shù)位數(shù)只是一種創(chuàng)建不同排名的方法。經(jīng)濟(jì)學(xué)家可能會(huì)告訴我們，小數(shù)點(diǎn)后保留一位就可以了。但仍有4本期刊的影響因子為2.7(排在11～14)，18本與《世界銀行經(jīng)濟(jì)評(píng)論》(World BankEconomic Review)在同一組，影響因子為1.1(排在70～83)?？梢?jiàn)，虛假的精確性掩蓋了其根本上的不準(zhǔn)確性。

基本上，濫用排名和表面看似精確的指標(biāo)說(shuō)明對(duì)所用指標(biāo)的屬性一無(wú)所知。我不必在這里贅述使用這些有缺陷指標(biāo)帶來(lái)的負(fù)面效應(yīng)。沒(méi)有人相信這種系統(tǒng)是合理的，所以就不必討論這種系統(tǒng)是否公平公正了。只有那些從不合適的獎(jiǎng)勵(lì)制度中獲益的機(jī)會(huì)主義研究者以及利用影響因子來(lái)達(dá)到某種評(píng)價(jià)目的的期刊編輯們可能會(huì)相信(無(wú)論如何都假裝相信)。

2014年“自然指數(shù)”(Nature Index)的出現(xiàn)為研發(fā)排名搶占出版市場(chǎng)提供了一個(gè)有趣的案例，該指數(shù)根據(jù)他們定義的“高質(zhì)量科學(xué)期刊”的論文數(shù)來(lái)對(duì)國(guó)家和機(jī)構(gòu)排名。與評(píng)價(jià)市場(chǎng)上其他排名不同，它隸屬于麥克米蘭(Macmillan)的自然出版集團(tuán)(NaturePublishing Group)，現(xiàn)在與最大的科學(xué)期刊出版商之一的施普林格(Springer)合并。“自然指數(shù)”以68本期刊為基礎(chǔ)，包括自然出版集團(tuán)旗下的17本期刊(25％)，據(jù)說(shuō)這個(gè)排名提供了一個(gè)“基于已發(fā)表的、高質(zhì)量論文的視角”，“為機(jī)構(gòu)提供了一個(gè)簡(jiǎn)單的方法來(lái)識(shí)別和突出他們最好的科學(xué)研究”。

很明顯從表面上看，這樣的排名意味著機(jī)構(gòu)應(yīng)該給科研人員施加壓力，讓他們向這些期刊投稿，而不是把論文投到其他期刊。這個(gè)新排名的依據(jù)不是引文，也不是影響因子，而是論文數(shù)量。實(shí)質(zhì)上，它以同樣的方式定義了高質(zhì)量的科學(xué)研究，即在其認(rèn)定的68本期刊上發(fā)表論文。即使像數(shù)學(xué)這樣的重要學(xué)科并沒(méi)有在“抽樣”的68本期刊中，但是自然指數(shù)發(fā)布幾年后，可能會(huì)有些機(jī)構(gòu)將簡(jiǎn)單地把排名結(jié)果解讀為表征高質(zhì)量科學(xué)研究的一個(gè)“黑匣子”，并調(diào)整其行為以提升在排名中的名次。這一做法從根本上對(duì)指數(shù)研發(fā)團(tuán)隊(duì)及相關(guān)期刊是有利的。然而，與影響因子的情況一樣，自然指數(shù)的根本缺陷在于，它是以特定期刊作為衡量論文質(zhì)量的標(biāo)準(zhǔn)，而不是看論文本身及它是否得到真正引用。根據(jù)洛特卡分布規(guī)律，在上文提及的68本期刊中發(fā)表論文并不能證明科學(xué)共同體認(rèn)為其是有用或有趣的。

THE END

原標(biāo)題：《《科學(xué)》雜志主編：“對(duì)影響因子的狂熱沒(méi)有任何意義”》

閱讀原文