2017年1月,教育部、财政部、国家发改委联合印发了《统筹推进世界一流大学和一流学科建设实施办法(暂行)》的通知,通知明确要求“一流学科建设高校应具有国内前列或国际前沿的高水平学科,学科水平在有影响力的第三方评价中进入前列”。在目前对一流学科进行评价的第三方评价体系中,科睿唯安 (Clarivate) 的ESI (Essential Science Indicators) 学科排名被认为是评价国际学科水平及影响力的最重要指标之一,也是我国众多科研院所对人才聘用、考核等的重要参考指标。
2022年12月17日,中国计算机学会青年计算机科技论坛(CCF YOCSEF)武汉分论坛举办了线上技术论坛(论坛编号:CCF-YO-22-WH-2FV)。本次论坛由中国计算机学会主办,YOCSEF武汉学术委员会承办,湖北大学、中国地质大学(武汉)协办。由CCF YOCSEF武汉AC肖奎、CCF YOCSEF武汉副主席唐厂共同担任执行主席,CCF YOCSEF武汉学术秘书肖晶、CCF YOCSEF武汉AC钟忺共同担任线上主席。论坛以“科研评价机制如何影响我国学术生态?”为主题,邀请了华北理工大学、湖南大学、华中师范大学、《天津大学学报》编辑部、海南大学、国防科技大学和长春理工大学等高校和企业专家分享经验、共同思辨,吸引了来自省内外多所高校和企业的人员共同参与。
本次技术论坛讨论从ESI评价机制及其发展的角度进行思辨,讨论该评价机制对我国学术生态影响的利弊,由计算机领域的管理者、学者专家和期刊编辑等从多维度进行演讲和思辨,就如何建立合理的评价体系有效推动我们学术生态健康发展问题提出方案,并讨论其下一步的发展方向。
论坛的引导发言环节邀请了四位嘉宾,分别是来自华北理工大学的陈学斌教授、湖南大学的“长江学者”彭绍亮教授、华中师范大学的蒋兴鹏教授、《天津大学学报》编辑部的王晓燕主任。
陈学斌教授以“ESI排名与高校科研考核机制”为主题,从“ESI指标内涵”“国内高校在该评价体系下的利弊”和“解决方案”角度进行了讨论。一、ESI排名并没有覆盖所有的自然科学、社会科学的所有学科,统计数据也未完全覆盖所有学科的期刊,所以存在一定的缺陷。但是,ESI仍然是相对完善的统计体系,特别是1%的学科和学者都得到了很高的重视。所以发展出了两类观点1)ESI排名意义不大,存在数据统计方面的非全面性等缺陷;2)ESI排名具有其合理性,仍然是学科、作者评价的有效手段。二、国内高校自引率远高于其他国家自引率,国内高校的自引数据,是否体现国内的研究内容在世界范围独一无二,还是为了提升ESI统计数据而相互自引?学科评估与ESI排名高度相关,所以成为高校对于老师的考核的指挥棒。因此,需要有关部门通过完善对搞笑的评估和考核机制,来促进长远学科建设和人才培养,减少对量化指标的考核。三、解决思路:1)明确评价目的,完善评价方式;2)破除完全量化考核,实现定量与定性考核相结合;3)针对学科特点,精细化考核;4)适当延长考核周期,针对不同研究领域设置弹性考核周。
彭绍亮教授以“ESI评价机制的思考与发展”为主题,讨论了国内期刊的发展、ESI评价方式的优缺点及其改进方案。具体内容包括:一、不要受制于国际期刊和评价体系的限制,鼓励国内学者创建自己的国际期刊,用长期的深耕创建我们自己的有影响力的期刊;二、ESI由2001年美国科学信息研究所推出,近年来也在陆续改进。科睿唯安的高倍引科学家的评选还是有一定的道理的,具有正面的引导意义,其中入选的科学家既有具有声望的教授,也有年轻的学者、学生;三、ESI作为评价方式存在和问题:1)ESI学科划分与中国学科评价存在水土不服;2)导致学科发展畸形;3)需要打造符合国情的大学评价指标体系。四、可以用“超越指数”辅助传统的“ESI三年平均影响因子”,修正过去期刊影响因子计算的局限,更好的反映期刊影响力。评价方式应该用多把尺子从多个角度度量。
蒋兴鹏教授以“ESI评价机制的一点思考”为主题,从“ESI总体介绍”、“ESI评价体系中热议的问题”、“综合评价方法的思考”等几个方面展开演讲。具体包括:一、ESI的四大构成部分、组成学科、功能;二、ESI评价体系中热议的问题:1)学科排名是否准确合理;2)学科领域划分是否准确;3)引用是否真实有效;4)引用是否说明一切;5)ESI的不当风气;6)ESI是否能取代同行评议。三、ESI评价应用广泛,且对于科学客观的评价发展具有重要意义,但只拿这个尺子,具有一定的局限性,更应该强调第三方公平、综合评价。
王晓燕主任以“期刊排名与期刊发展的几点思考”为主题,介绍了《天津大学学报》建设相关内容,从而延伸到期刊与ESI排名的相关关系。具体包括:一、介绍了天津大学学报和主编。70%的作者来自于本校,学校的学科建设对学报的支撑息息相关。期刊今年影响因子提升了,但是排名下降了。二、以一份北洋理工学报为例,引导了讨论。没有去考虑他的排名影响,而是他当年刊载了什么样的文章。高校学报的目标:活跃学术空气,交流学术心得,推动教学改革。三、办刊的初衷是传播科学技术,加强学术交流,强化学术道德等期刊育人计划。稿件大部分来自高校学生,一些学术不规范性时有存在,这个过程对作者是有学术水平指导的。中文论文的写作逻辑,规范性和英文是有些许差异的。四、要做到不忘初心顺势而为,不要只追求排名而是有期刊的历史意义。合理调整办刊模式迫在眉睫,组件专刊,丰富稿源来稿结构,增强学报的灵活性。组建优质高效的编委会,模拟专业刊的模式,成立各学科青年编委会,加大约稿力度,和优秀团队建立紧密联系。
在思辨环节,来自海南大学的段玉聪教授、国防科技大学的甘新标副研究员、长春理工大学的刘鹏教授作为思辨嘉宾与参与论坛的所有专家和老师就以下几个议题进行了激烈的探讨。
思辨问题1.1:ESI评价有哪些优点
段玉聪:用与时俱进的眼光来看ESI,是有时代意义的。科技是第一生产力,创新是第一动力。科技发展已经是时不我待,落后就要挨打,与所有人的福祉密切相关。要做有组织的科研,ESI在这里作为一个数据指标和信息导向起到了一个很正面的作用。国内也在做自己的期刊和评价指标。如何对有组织的科研做出贡献,ESI作为一个核心指标,还是能够借鉴,凝练出更适合中国的评价指标。从数字经济到知识经济,ESI如何适应对生产力和生产关系的服务。投稿人是考虑先申请专利,还是先发表论文,如何衡量颠覆性的知识产权保护。可能需要一个评价体系,来适应学科差异,实现综合创新和可持续发展。
陈学斌:ESI作为一个论文的评价指标,还是有优势的地方。从涉及的22个学科,还是比较准确的。但是如果作为一个科研评价指标,还是不够的,科研不仅仅包括论文,存在一些包括自引这样的问题。作为科研工作者,论文的出版很重要,但是论文也不是科研工作的核心,ESI很重要,可能会带来一些利益,但是不要过于追捧。为人类为社会做出自己的一份贡献,牢记科研的初衷。
彭绍亮:科研人员做出高水平成果之后,如何来评价那些标准。能不能引领新的标准的设定。有尺子比没有尺子还是好,要如何说服领导,ESI就是一把很好的尺子,存在了60年了,但是并没有太重视计算机这个新兴学科的会议论文的部分。计算机是应用驱动的,提出一个新的理论方法技术,能解决具体问题,就有影响力了。由一把尺子引出多把尺子,最后能不能做到无尺子?ESI对年轻老师,对需要证明自己实力的单位,看到ESI这把尺子的优点,也要看到它的争议。把观点记录下来,传达到关注中国科技创新的同行手上。创造机会,提升能力,扩大影响力,专业的人发专业的声音。
甘新标:政府层面应该引导,要看质量,不只数数量。指挥棒上面需要有所优化。
思辨问题1.2:ESI评价可以从哪些方面进一步完善
刘鹏:ESI只是在论文方面的评价,科研不只有论文。国家希望把科研工作写在祖国大地上,做一些实际的东西。在国家层面是有在改变的。关于ESI的评价,在历史上面是有很大的作用,通过对ESI的追求,让我们的学科更国际化了,让老师的水平往国际化上靠拢了。从长远来上看,要更有信心,科技自信体制自信,是否能提出新的指标。让更多的科研人员向卡脖子技术去冲锋,而不只是去刷论文。这些年有些科研人员比较急功近利,未来要减少自引等作弊。ESI主要评的是期刊,各个学科的发展要从追求热点,追求更多被引,能不能引导我们的学者从比较边缘的科研方向去研发。日本其实不看重ESI,但是这些年成果很不错。日本有开听证会,汇报成果,是另外一把尺子的选择。
蒋兴鹏:ESI是好尺子好工具,对科研人员来说,可以做热点分析,趋势分析,主题发展分析等等。对凝练科学问题,寻找潜在合作,都是有利的。在当前指挥棒的引导体制下,科研有一定功利性。科研应该追求创新本质,更多的应该弘扬科学家的精神。如果不具备基本的素质品质,追求短平快,不适合做科学家。从长远看,评价指标是短期有效的,有其时效性,但是科研是长期性的,很多研究成果都要很长时间才能看到价值。从评价指标上来说,ESI还是有局限性。
王晓燕:ESI评价方面来源于学科建设,参考到评价指标里面的排名情况,是有指引性的。但是也不只是唯一的指标,当下只能做一些条件约束下的改进。
思辨问题2.1:高被引学者评价有哪些优点
陈学斌:高被引学者是给别人看的,让别人知道你做的挺好的。但是科研工作者自己不要过度去关注,违背做科研的初心,对自己的发展并不是特别好。现在高被引可能会带来很多好处,学术的影响力还是有的,可以去学习其他高被引学者的高被引工作。高被引是一个国外评价指标,已经运行了好几十年了,有它的优势。我们是中国,有自己的评价体系,我们怎么去找到一个好尺子才是更重要的。我们国家是不是可以学日本,不追求ESI呢,是不是论文一定要发到英文期刊。我们不需要别人的承认,需要有学术自信。
彭绍亮:要有中国声音,相应国家号召,让很多国际期刊回归祖国。我们不需要用高被引论文或者学者去证明自己的能力。高被引学者在某些特殊时间,对青年学者是有鼓励的,但是还是要去做卡脖子的热点问题,做一些基础性的研究,国家更需要的研究。进一步提升科研工作者的社会地位和影响力。很多华人科学家在国际上都很有影响力,这是科学家奋斗的目标之一。希望做出高水平成果之后,都能成为高被引论文,高被引学者。让人家用我们的尺子,锦上添花。
段玉聪:高被引学者其实是一个破解我们国家有组织学者的角度,是走在创新前沿的,需要形成体系。如果能和国家重大需求集合融合,就可以把对于高被引学者的评价转为对国家特定问题研究的评价。
思辨问题2.2:高被引学者评价可以从哪些方面进一步完善
蒋兴鹏:评价指标还是比较单一,要从学科上来考量。一个指标用到评价学者的标杆上还不够,要有更多综合的指标的提出。要考虑研究方向和国家重大需求的匹配度,是否解决卡脖子问题,是否有技术转让,科研成果转换,是否带动人才培养。
王晓燕:高被引学者公布之后,出版社就会去约稿。稿件引用情况并不是每个高被引学者的稿件都非常好,还是要从稿件本身来衡量学术价值。高被引学者的成果并不一定都是正面的影响。
甘新标:看文章是不是解决了实际问题,要怎么完善还需要从政策引导上面入手。
刘鹏:高被引学者肯定在论文方面有好的评价,但是科研水平可能有争议。这是数据上的指标,要引入其他指标,创造自己的评价体系。
思辨问题3.1:后五唯时代,科研单位如何评价科研工作者
陈学斌:以前有相对量化的评价指标,现在总是在说代表作。代表作怎么体现质量,如何评价呢。一些走在无人区的科研成果,怎么能被人承认呢。如果说把五唯的东西都抛掉,目前还没有一个很成熟的想法。有条件的细分评价或许是一个好的方式,每个学科内可以设定自己的评价。
彭绍亮:破了五唯之后,就更难了。其实并不是废除这5个指标,而是不能只唯五唯。包括教学岗的老师要怎么去正确评价。结合公平,科学,健康,可持续发展的指标,去综合评价科研工作者。
段玉聪:是否可以结合,数据大多数情况下反应了真相,但是并不等于真相,在尊重ESI等评价的情况下,丰富或者本土化。可否进行设立可信机制,坚持科技生产力。
思辨问题3.2:如何利用科研评价促进学术生态健康发展
蒋兴鹏:追求高质量发展,制定标准的时候可能考虑学科特点考虑的过少。这是一个非常复杂的系统工程。调动科研工作者的积极性,在学术生态环境里面,追求的不仅仅是奖励,职称,帽子什么的。破五唯并不是不唯,而是要更综合的去尊重多样性学术成果。要用好同行评议,综合的看材料。促进学术生态健康发展。
王晓燕:天大的无人驾驶和无人机团队,目前都实现了商业转换,从科研变成生产力,是一个很积极的导向。上海交大引进人才,是会给与人才支持,人才办学术期刊,2年之内进入到sci。优秀学者获得title的时候,是可以正向促进学科生态发展的,能量很强。科研评价赋予科学家的力量是很大的。
彭绍亮:给与人才尊重,社会地位,通过科学技术发展,title也可以作为专业评价让社会听到科研工作者的声音。
甘新标:帽子工程可以促进发展。破了五唯以后,要拿新的指标去评价科研工作者,需要政府来引导。
刘鹏:长春理工大学产学研和论文专利打通了,让科研工作者回归初心,真正喜欢科研,做本质的工作,想要推动的工作。科研工作者是否需要科研单位对它的评价呢?
本次论坛经历三个小时,通过论坛思辨,辨明了ESI评价算法作为高校评价机制的指挥棒的优劣,将更好的推动我国科研评价机制和学术生态的健康发展,促进国内科研的发展。