CNCC 2023论坛分享 | 开源指数——探索学术评价体系改革新途径

2023年10月27日, CNCC 2023开源指数——探索学术评价体系改革新途径在沈阳顺利举行。

本次论坛由CCF YOCSEF西安AC委员、西北工业大学副教授陈亚兴和CCF YOCSEF深圳学术秘书、鹏城实验室副研究员李睿担任执行主席，邀请开源领域著名专家学者出席，围绕“开源指数革新学术评价体系的路径”主题进行探讨，从学术共同体的评估体系：得失和挑战、学术界开源项目如何形成世界级影响力、学术评价体系如何应用开源的原则和实践建议、开源人才发展体系与评价方法、从群智激发汇聚的视角认识和度量开源、开源支撑学术评价调研分析等方面探讨开源指数的不同切面。

嘉宾合影

论坛主席陈亚兴在会议主持中首先回顾了10月14日YOCSEF西安举办的“YOCSEF开源星火何以燎动学术评价体系之‘原’”观点论坛，提到开源和学术评价的协同效应发生有两条路径，其一是评价过程开源化，其二是作为学术评价体系在破“五唯”之后立新“标”的可纳入对象之一，而后者是本次论坛讨论的主线。随后，综合预热论坛的观点，对本次论坛主题“开源指数”给出了明确定义，指出开源指数本质是一个多面体，每个切面表示一种指标维度。例如，资助来源性质驱动的“科研成果开源”维度、群智创新范式驱动的“开源‘项目’参与”维度、学术评价本质驱动的“开源人才培养”维度、产学研落地驱动的“开源驱动成果转化”维度等。

CCF开源发展委员会副主任、中科院计算所副所长包云岗做题为《学术界开源项目如何形成世界级影响力？》的特邀报告。报告针对国家为什么重视开源？开源对于产业发展的意义何在？学术界为何要做开源？如何做好学术界开源项目？等问题逐一进行了解答，之后介绍了其在开源芯片方面的实践情况。最后，包云岗表示，开源在未来有很大的应用前景，在开源这条道路上可以坚定地走下去。

CCF开源发展委员会副主任、国家杰青、北京大学博雅特聘教授周明辉做题为《学术共同体的评估体系：得失和挑战》的特邀报告。报告首先以“Linus Torvalds应聘北大教职”为例，引出现有学术评价体系的局限，继而回顾了论文驱动的学术评价的由来并剖析了其弊端，之后分别从改进成果形式（即将开源行为作为评价指标）和改进评价方式（即开放评审）两个方面探讨了开源与学术评价的结合路径。最后，周明辉倡导将传统学术评价指标跟开源等其他各种方式进行有效的结合，以使得学术共同体在科学进步的道路上有更好的发展。

开放原子开源基金会资深研究员郭晧做题为《学术评价体系如何应用开源的原则和实践建议》的特邀报告。报告主要介绍了中国学术评价体系的特点、开源蕴含的先进协作生产模式、学术领域的开源模式、开源软件模式在学术领域的作用，以及将开源贡献指标纳入学术评价体系的可行性及面临的挑战。最后，郭皓给出了学术评估体系中加入开源贡献指标的发展建议，并列举了推动学术评估和开源结合的关键工作内容。

CCF杰出会员、华东师范大学教授王伟做题为《开源人才发展体系与评价方法》的特邀报告。报告主要从教育实践、人才体系、评价方法、创新推广等方面深入探讨了针对开源社区参与贡献的评价方法OpenRank，为开源指数的“开源人才培养”维度提供相关理论与实践支撑。最后，王伟表示OpenRank也许可以给开源实际贡献的评估维度提供客观参考依据。

CCF开源发展委员会副秘书长、国防科技大学副研究员王涛做题为《从群智激发汇聚的视角认识和度量开源项目》的特邀报告。报告首先讨论了开源与学术之间的联系，提出开源开发是群智激发汇聚过程，并从宏观转化、微观求精两个层面深入揭示其内涵，之后介绍了基于熵的开源度量方法。最后，王涛表示开源思想与学术传统一脉相承，需要从群智激发汇聚的视角去做一个多维度的度量和分析，来支撑更好的学术评价体系。

中国科学院战略情报中心研究馆员陈学娟做题为《开源支撑学术评价体系建设的调研分析》的特邀报告。报告首先从我国学术评价体系存在的问题、开源对学术研究的价值、国内外相关研究等方面剖析现状，之后展示并分析了由YOCSEF西安、YOCSEF深圳、CCF开源发展委员会联合发起的开源与学术评价问卷调查结果，为本次论坛讨论提供了大众认知基本情况。

执行主席为特邀嘉宾颁发感谢证书

论坛的Panel环节由论坛联合主席李睿、YOCSEF西安AC委员西安电子科技大学副教授张明阳主持，围绕开源指数与学术评价指标的协作探索、开源指数评价指标实践探索两个议题展开深入讨论。包云岗、郭皓、王伟、王涛、陈学娟等特邀嘉宾以及现场参会观众对相关议题发表了深度见解。

该环节讨论了将开源引入学术评价体系的问题，包括如何平衡个人贡献和群体贡献，建立开源指标体系的可能路径，以及使用开源指标来评估非计算机专业领域的学术贡献。

与会嘉宾分享了在各自领域中建立和评估开源指数的经验，并提出了将开源贡献纳入学术评价的可能性。嘉宾们认为开源贡献可以作为一个参考指标，并建议通过政策推动和跨学科合作来增加其影响力。然而，也指出了评估开源贡献的难度，包括如何量化和操作实施。建议将开源项目纳入一个目录列表，并逐步将其作为学术评价的一个维度。同时，嘉宾们提出：通过实时数据来评估学术项目，以更好地了解其发展情况，以及通过开放标准和指引来引导学术评价，而不是采用一刀切的方式。总体而言，与会者认为开源指数和传统学术评价指标可以相互补充，并呼吁循序渐进地推动二者的结合，以促进学术评价体系的改变进而引导学术研究方式的改变。

该思辨环节讨论了开源指标体系的落地实践，包括开源领域的获奖，开源贡献的定量化，以及寻找一个中立的有公信力的第三方来搭建量化的基础设施。

与会嘉宾分享了各自的经历，以及对于开源指标体系在落地过程中可能面临挑战的预估，并提出了对于定量化开源贡献的一些建议。嘉宾们认为，开源领域的获奖目前虽然无法与现有学术评价体系中的指标对应上，但是因为在领域内被认可所带来的益处是可以被放大的，对于研究者的学术生涯而言是加分项。同时，嘉宾们也考虑到了量化的复杂性和难度，例如指标的选取是合理，不同项目之间是否具备可比性等等诸如此类。最后，嘉宾们提出，建议寻找一个中立的，并且有公信力的第三方来搭建一个基础设施，这个基础设施能够根据大家认可的公式去计算，若计算公式发生变化，在进行学术评价时，可以作为一个参考值补充，并给出有说服力的计算方式，如果对计算方式有质疑或建议，这个基础设施也能相应进行调整，不断优化和完善，最终以一种大家可以接受的方式来落地。总体而言，与会者认为，开源指标体系可以作为现有学术评价体系的有益补充，并且是有落地时间的可能，关键在于我们迈出从0到1的第一步，建议提供一些开放的指南，以迭代的方式逐步来推动。

Panel讨论环节