LOGO图片  

结束影响因子统治的时代即将到来?

时间:2020.04.10 浏览:815次 作者:ISE 来源:

尽管有许多专家学者谴责或鄙视影响因子这一度量标准,许多著名的期刊也不再使用它作为宣传工具,但期刊影响因子(JIF)仍然拒绝自动消失,仍然在科学出版中无处不在。

“The impact factor is a statistically indefensible indicator of journal performance; it flatters to deceive, distributing credit that has been earned by only a small fraction of its published papers” [1]. “ 即使从统计学来说,影响因子也不是一个合格的期刊绩效指标;它依靠一小部分高质量论文积攒出来的信誉欺瞒大众。”

“…it is a deeply flawed measure, pursuing which has become an end in itself – and is as damaging to science as the bonus culture is to banking” [2]. “……这是一个有严重缺陷的措施,追求它本身已经成为一个目的——它对科学的危害,就像奖金文化对银行的危害一样。”

“Everybody hates the impact factor… But everyone recognizes that we’re [beholden] to it” [3]. “每个人都讨厌影响因子……但每个人都认识到,我们(受惠于)它。”

包括《旧金山宣言》(San Francisco Declaration on Research Assessment (DORA))在内[4],无数的替代指标[5]的发展,都希望能推翻或至少降低影响因子的统治力。有些期刊发表论文仅看科学性是否合理,而不关注影响力如PLOS One。

但可以说,对JIF最大的打击是上个月(2020年2月)中国教育部和科技部的一项政策。(回顾不唯,非不要SCI论文)根据这项新政策,在高影响力期刊上发表论文的现金奖励将不再被允许,中国的研究人员将不再根据论文发表数量或发表期刊[6]进行评估。该政策的目的是针对中国[7]的科研产出引导到“少而精”的政策,这一举措可能会在世界范围内产生多米诺骨牌效应,最终结束JIF的全球统治地位。

在这一重大政策的背后,在ISE这篇博文中,我们回顾了与JIF相关的偏见和问题,这些偏见和问题在过去的30年里由不同的作者揭露出来。

倾斜的数据

如果您查看已发表文章的引用分布(参见图1),您将看到数据高度向右倾斜,即在美国,大多数论文被引用的频率相对较低。

图1 2013年和2014年《自然》杂志和《PLOS ONE》杂志文章的引文分布。来源:[8]

正如Diamandis(2017)指出的,作为本科生,我们被教导在处理倾斜数据[9]时使用非参数测量。然而,JIF使用的是一种基于数据正态分布假设的均值方法。2015年《自然》杂志的JIF(基于2013年和2014年的引用数量)为31.8。然而,从图1可以看出,大部分论文被引用的次数不到31.8次。因此,JIF从统计学角度就不是一个合理的度量。

文章类型影响JIF

JIF方程为:2020年的JIF = (2019+2018两年总计引用量)/( 2019 + 2018两年总计文章数量)。

问题是这个方程分子中的引用包括所有文章类型的引用数量,而分母(即只包括“硬核”内容,如原创研究文章和综述[10]。许多大型的期刊发表如社论、给编辑的信、新闻、讣告等,这些都是经常被引用的。最终都会包括在JIF分子中,但不包括在分母中。因此,这些期刊夸大了JIF的分值

JIF偏爱某些研究领域

由于JIF基于一个狭窄的两年窗口期,它更倾向于快速发展的研究领域(如分子生物学),而不是缓慢发展的领域(如数学),因为这类领域往往有较高比例的引用最近(1 – 2年内)出版物[11]。JIF也没有考虑到其影响可能需要2年以上才能完全实现[12]的研究。

不鼓励有风险性的研究

高度实验性的研究是有风险的,但也有突破性的潜力。正如研究人员的发表记录所评估的那样,他们不太可能去追求高风险的科学领域。相反,科学家因为追求更受欢迎的科学领域而获得奖励,因为他们可以期望更频繁地引用[13]。

编辑的误用和滥用

一些期刊编辑为了增加他们的期刊的影响因子,采取一些错误的做法,包括:

1. 不合理的自我引用,即编辑要求作者引用发表在自己刊物或附属刊物上的文章。如果有真正的科学理由增加参考文献,这可能是OK的;然而,有时编辑建议的文章与作者的论文完全无关。

在一个极端的例子中,一位编辑期刊在2017年处理了82篇论文(作为编辑或审稿人),他建议增加622篇参考文献。大多数推荐的文章来自他担任主编的那本杂志。这一策略奏效了:他所担任主编的那本期刊的影响因子在一年内从3.089跃升至8.145。

不恰当的自引在不同程度上出现,但相当多的作者报告说,他们感到压力,不得不增加编辑[15]建议的参考文献。一种被称为“citation cartel”的现象也应运而生:在这种现象中,编辑们同意一起工作,促进他们各自期刊[16]的论文被彼此充分引用。

2. 增加期刊的“front matter”,即,文章类型包含在JIF分子中,但不包含在分母中。适当的“front matter”往往具有科学价值,例如,给编辑的信可以用来自我纠错科学[17]。然而,一些编辑玩的是“影响因子游戏”[18],包括一些没有科学价值的front matter,但这将有利于他们的JIF,例如,年度“highlights”,其中包括大量的内部参考[10]。

作者的误用和滥用

1. 不合理的自引,作者引用自己以前发表的文章,不管其相关性如何。这导致了那些发表论文的期刊的JIF的不合理增长。同样,在同行评审时,作者可能会要求被审作者加入不合理的来自于自己以前发表的文章引用,从而导致JIF排名的进一步扭曲。

2. 在高影响力期刊上发表论文的压力可能导致不道德的做法,包括数据造假或捏造;在影响力比较大的期刊[19]中,由于此类不当行为而导致的撤回比例过高。

“最挑剔的期刊需要干净的报道和完美的数据,而这些很少与实验室调查的现实相匹配,因为实验可能会产生很多混乱的结果。”因此,一些研究人员可能会试图偷工减料或操纵数据,以从发表在著名期刊上的不成比例的报酬中获益。“[12]

个人可能被授予“天才”作者身份,因此那些没有对研究做出任何实质性贡献的个人被授予作者身份。这样的作者可能在“The Golden Club”[12],即经常在高影响力的期刊上发表文章。在作者一栏中加入他们,希望会影响编辑和同行的审稿人,但是这样的偏见只会让“Matthew effect “在科学领域持续存在,也就是说“富的更富,穷的更穷”[20]。

被基金资助者/审稿人滥用

对JIF最大的误用可能是对研究人员的评估,大部分是基于发表期刊而不是基于他们发表论文的实际内容[12]。有些大学甚至不会考虑那些从没在影响力很大的期刊[21]上发表至少一篇第一作者论文的申请者。最近的一项调查发现,北美40%的研究密集型机构在决定晋升和终身职位[22]时使用JIF。

本博文中的列举的关于JIF滥用和误用的列表仅仅是一部分示例。有关更全面的列表,请参见[23]。

对此您有什么看法?欢迎各抒己见!

参考文献

1. Reciprocal Space. Sick of impact factors. 13 August 2012. Available from: http://occamstypewriter.org/scurry/2012/08/13/sick-of-impact-factors/

2. Schekman R. How journals like Nature, Cell and Science are damaging science. The Guardian. 9 Dec 2013. Available from: https://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science

3. Woolston C. TOP Factor rates journals on transparency, openness. Nature Index. 18 Feb 2020. Available from: https://www.natureindex.com/news-blog/top-factor-rates-journals-on-transparency-openness

4. San Francisco Declaration on Research Assessment. DORA—ASCB [Internet]. ASCB. Available from: http://www.ascb.org/dora/

5. Oosthuizen JC, Fenton JE. Alternatives to the impact factor. The Surgeon. Oct 2014 1;12(5):239-43.

6. Mallapaty S. China bans cash rewards for publishing papers. Nature News. 28 Feb 2020. Available from: https://www.nature.com/articles/d41586-020-00574-8?utm_source=twt_nnc&utm_medium=social&utm_campaign=naturenews

7. Tao T. New Chinese policy could reshape global STM publishing. Scholarly Kitchen. 27 Feb 2020. Available from: https://scholarlykitchen.sspnet.org/2020/02/27/new-chinese-policy-could-reshape-global-stm-publishing/

8. Lariviere V, Kiermer V, MacCallum CJ, McNutt M, Patterson M, Pulverer B, Swaminathan S, Taylor S, Curry S. A simple proposal for the publication of journal citation distributions. BioRxiv. 1 Jan 2016:062109. Available from: https://www.biorxiv.org/content/biorxiv/early/2016/07/05/062109.full.pdf

9. Diamandis EP. The Journal Impact Factor is under attack–use the CAPCI factor instead. BMC Med. 2017:15,Available from: https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-016-0773-5

10. Lariviere V, Sugimoto CR. The journal impact factor: A brief history, critique, and discussion of adverse effects. arXiv preprint arXiv:1801.08992. 26 Jan 2018. Available from: https://arxiv.org/ftp/arxiv/papers/1801/1801.08992.pdf

11. Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ. 15 Feb 1997;314(7079):497. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2126010/

12. Casadevall A, Fang FC. Causes for the persistence of impact factor mania. MBio. 1 May 2014;5(2):e00064-14. Available from: https://mbio.asm.org/content/5/2/e00064-14?cpetoc=

13. Alberts B. Impact factor distortions. Science. 17 May 2013. Vol. 340, Issue 6134, pp. 787. Available from: https://science.sciencemag.org/content/340/6134/787#

14. Davis P. Citation cartel or editor gone rogue? Scholarly Kitchen. 9 Mar 2017. Available from: https://scholarlykitchen.sspnet.org/2017/03/09/citation-cartel-or-editor-gone-rogue/

15. Wilhite AW, Fong EA. Coercive citation in academic publishing. Science. 3 Feb 2012;335(6068):542-3. Available from: https://science.sciencemag.org/content/335/6068/542.summary

16. Davis P. The emergence of a citation cartel. Scholarly Kitchen. 10 Apr 2012. Available from: https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/

17. Ioannidis JP, Thombs BD. A user’s guide to inflated and manipulated impact factors. European Journal of Clinical Investigation. Sep 2019;49(9):e13151. Available from: https://onlinelibrary.wiley.com/doi/pdf/10.1111/eci.13151

18. PLoS Medicine Editors. The impact factor game. PLoS Med. 6 Jun 2006;3(6):e291. Available from: https://journals.plos.org/plosmedicine/article%3Fid%3D10.1371/journal.pmed.0030291

19. Fang FC, Steen RG, Casadevall A. Misconduct accounts for the majority of retracted scientific publications. PNAS. 16 Oct 2012;109(42):17028-33. Available from: https://www.pnas.org/content/109/42/17028

20. Larivière V, Gingras Y. The impact factor’s Matthew Effect: A natural experiment in bibliometrics. Journal of the American Society for Information Science and Technology. Feb 2010;61(2):424-7. Available from: https://arxiv.org/ftp/arxiv/papers/0908/0908.3177.pdf

21. Verma IM. Impact, not impact factor. PNAS. 30 June 2015;112 (26) 7875-7876. Available from: https://www.pnas.org/content/112/26/7875?ijkey=f6f13798e7b48947e6339175a3d057a0687062ea&keytype2=tf_ipsecsha

22. McKiernan EC, Schimanski LA, Nieves CM, Matthias L, Niles MT, Alperin JP. Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. ELife. 2019;8. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6668985/

23. Nestor MS, Fischer D, Arnold D, Berman B, Del Rosso JQ. Rethinking the Journal Impact Factor and Publishing in the Digital Age. The Journal of Clinical and Aesthetic Dermatology. Jan 2020;13(1):12. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7028381/

上一篇:UCL教授Uta Frith建议限制研究人员每年只发表一篇论文

下一篇:必不可缺的SCI论文润色要点

返回