2023语言与智能技术竞赛向全球大模型用户发出邀请

（2023 Language and Intelligence Challenge）

中国计算机学会和中国中文信息学会2016-2022年成功举办了七届“语言与智能高峰论坛”，邀请了国内外学术界和工业界的知名专家学者，共同探讨语言与智能领域的新发展和新技术。语言与智能技术竞赛是该论坛下，由百度公司、中国计算机学会自然语言处理专委会和中国中文信息学会评测工作委员会联合承办的评测比赛。历届竞赛组织了阅读理解、人机对话、语义解析、信息抽取等评测任务，覆盖自然语言处理和人工智能领域的重要前沿课题，极具挑战。竞赛对于推进相关技术研究及智能搜索、智能推荐、智能交互等人工智能应用发展具有重要意义。

2023年语言与智能竞赛将继续设立来源于真实应用需求的任务，并基于“千言”中文开源数据集提供大规模中文数据集。本届竞赛设置了大语言模型评估、视频语义理解两大赛题，希望为研究者提供学术交流平台，进一步推动语言理解和人工智能领域技术研究和应用的发展。获胜队伍将分享总额13万的奖金，并将在第八届“语言与智能高峰论坛”举办技术交流和颁奖。

任务设置

竞赛共设置2项热门任务，兼具挑战性和实用性，具体介绍如下：

l 大语言模型评估：大语言模型（LLM）正在各行各业中引发持续不断的讨论和应用热潮，但传统NLP任务的评估方法难以对大模型能力进行完整刻画与客观衡量，无论业界还是学术界都亟需新的评估思路和评估方法。通过构建全面客观的评估体系，一方面协助应用者深入了解LLM在不同场景下的适应性和局限性，打造安全可控的LLM应用；另一方面协助研发者发现LLM的问题与缺陷，找到优化方向，助力LLM迭代升级，持续提升模型的使用价值。本次竞赛希望参赛者能够从自身对LLM的理解出发，设计独特新颖的评估体系，对大语言模型的底层能力（如记忆、推理、常识理解等）或专项能力（如文本创作、知识问答、代码生成等）进行系统性、可量化的评估，深入考察模型的能力的同时提升业界对于LLM的理解。

l 视频语义理解：在移动互联网、大数据的时代背景下，互联网上的视频数据呈现爆发式增长，作为日益丰富的信息承载媒介，视频的深度语义理解是诸多视频智能应用的基础，具有重要的研究意义和实际应用价值。传统基于感知的视频内容分析缺乏语义化理解能力，而充分利用知识图谱的语义化知识并结合多模态学习和知识推理技术，有望实现更深入的视频语义理解。知识增强的视频语义理解任务，期望融合知识、NLP、视觉、语音等相关技术和多模态信息，为视频生成刻画主旨信息的语义标签，从而实现视频的语义理解。本评测任务以互联网视频为输入，在感知内容分析（如人脸识别、OCR识别、语音识别等）的基础上，期望通过融合多模信息，并结合知识图谱计算与推理，为视频生成多知识维度的语义标签，进而更好地刻画视频的语义信息。

奖项设置

竞赛的每个任务将分别评出一等奖、二等奖、三等奖和优胜奖。主办方中国计算机学会（CCF）和中国中文信息学会（CIPS）将为获奖者提供荣誉证书认证，百度公司将为获奖者提供共总额13万元奖金和参会交流赞助。

赛题1：大模型能力评估

l 一等奖： 10000元+荣誉证书

l 二等奖： 5000元+荣誉证书

l 三等奖： 3000元+荣誉证书

l 优胜奖： 定制纪念品+荣誉证书

赛题2：视频语义理解

l 一等奖： 20000元+荣誉证书

l 二等奖： 15000元+荣誉证书

l 三等奖： 10000元+荣誉证书

l 优胜奖： 5000元+荣誉证书

时间安排

Ø 2023/05/17：报名开始：赛题1开始提交，赛题2开放训练数据集和初赛测试集下载，并开放提交入口和初赛排行榜；

Ø 2023/08/07：报名截止，两赛题初赛提交截止；

Ø 2023/08/08：复赛启动：赛题1开放复赛结果提交入口，赛题2开放复赛测试集下载和排行榜；

Ø 2023/08/18北京时间23:59：复赛提交截止；

Ø 2023/08/30：竞赛结果公布，接收赛题2系统报告和论文；

Ø 2023/9-2023/10：赛题2论文提交截止日期（具体时间另行通知）；

Ø 2023/11：在“语言与智能高峰论坛”上交流和颁奖。

注册报名

关于2023语言与智能竞赛的任务详情和报名方式，请见官网：

http://lic2023.ccf.org.cn

竞赛已于2023年5月17日正式开启报名通道，在此，诚邀学术界和工业界的研究者和开发者参加本次竞赛！

注：报名并最终提交有效结果的队伍，成员均将获得1件大赛定制T恤（多任务不重复领取）。