唐杰、文继荣领衔：预训练模型 | CNCC2021技术论坛预告

大规模预训练模型通过学习海量互联网无标注数据，获得了强大的文本理解与生成能力。近年来，BERT等预训练模型在自然语言处理等诸多领域取得了极大地进展。随着超大规模预训练模型GPT-3、悟道的发布，预训练模型在自然语言理解以及生成能力上再次被推至新的高峰。

预训练语言模型家族谱

在预训练模型如火如荼的发展背景下，为了帮助研究人员更好地了解预训练模型的相关前沿进展，本次论坛共邀清华大学、中国人民大学等机构的专家学者与国内其他预训练模型研究团队代表共同研讨预训练模型的进展、挑战与机遇。

按报告时间顺序为：清华大学计算机系教授、系副主任唐杰（IEEE Fellow）；中国人民大学信息学院院长、高瓴人工智能学院执行院长文继荣教授；清华大学计算机科学与技术系长聘副教授、智能技术与系统实验室副主任黄民烈博士；中国人民大学信息学院计算机系副教授张静；清华大学计算机科学与技术系助理研究员韩文弢；清华大学计算机科学与技术系六年级博士生裘捷中。

刘知远

清华大学计算机系 副教授，CCF杰出演讲者

简介：刘知远，清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位，已在ACL、EMNLP、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文100余篇，Google Scholar统计引用超过16,000次。曾获教育部自然科学一等奖（第2完成人）、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖（第2完成人）、中国中文信息学会汉王青年创新奖，入选北京智源研究院青年科学家、2020年Elsevier中国高被引学者、中国科协青年人才托举工程。担任中文信息学会青年工作委员会主任，中文信息学会社会媒体处理专委会秘书长，期刊AI Open副主编，ACL、EMNLP、WWW、CIKM、COLING领域主席。

唐杰

清华大学计算机系 教授、系副主任，CCF理事、学术工委主任，CCF TCNLP副主任，CCF青年科学家奖

唐杰（IEEE Fellow），清华大学计算机系教授、系副主任，获国家杰青、王选杰青奖。研究人工智能、认知图谱、数据挖掘、社交网络和机器学习。发表论文300余篇，引用18000余次，获ACM SIGKDD Test-of-Time Award（十年最佳论文）。主持研发了研究者社会网络挖掘系统AMiner，吸引全球220个国家/地区2000多万用户。担任国际期刊IEEE T. on Big Data、AI OPEN主编以及WWW’21、CIKM’16、WSDM’15的PC Chair。获国家科技进步二等奖、北京市科技进步一等奖、北京市专利奖一等奖、人工智能学会科技进步一等奖、KDD杰出贡献奖。

报告题目：悟道—超大规模预训练模型

报告摘要: 从击败人类国际象棋冠军的“深蓝”，到围棋冠军AlphaGo；从图像分类取得跨越式突破的AlexNet，到语言理解和生成能力在特定场景堪比人类的GPT-3模型，AI历经符号智能、感知智能，目前进入认知智能时代。以BERT和GPT为代表的预训练模型取得了较大进展，但仍然面临诸多挑战：（1）对于复杂的认知推理任务例如开放对话、知识问答、可控文本生成等，仍与人类智能有较大差距；（2）代表性进展主要基于英文、发源于美国机构，在中文领域、国内技术体系内，仍然缺少原创、超大规模、具备技术先进性的预训练工作。我们致力于研究面向认知的超大规模新型预训练模型，旨在探索大规模自监督预训练模型，增强模型的认知推理能力，建立超越图灵测试的通用机器认知能力，让机器像人一样“思考”。

文继荣

中国人民大学信息学院 院长、高瓴人工智能学院执行 院长，CCF杰出会员、CCF常务理事

文继荣教授，现任中国人民大学信息学院院长、高瓴人工智能学院执行院长。长期从事大数据和人工智能领域的研究工作，担任国际会议SIGIR 2020程序委员会主席、国际期刊ACM TOIS和IEEE TKDE副主编等。曾任微软亚洲研究院高级研究员和互联网搜索与挖掘组主任。2013年入选国家“海外高层次人才计划”特聘专家，2018年入选首批“北京市卓越青年科学家”，2019年担任北京智源人工智能研究院首席科学家，目前担任悟道.文澜项目的总体负责人。

报告题目：悟道∙文澜：超大规模多模态预训练改变了什么？

报告摘要：在过去一年，我们从视觉和语言的关系出发，利用互联网产生的6.5亿的成对图片与文字，用自监督的任务完成一个目前最大的中文通用图文预训练模型悟道∙文澜，由此去初步探索AI在多模态环境中学习不同层次认知的可能性。通过分析语言从单模态到多模态学习发生的变化，我们进一步研究多模态带给自然语言理解的新机会。通过提出一个多语言多模态的模型，我们初步尝试让AI学习跨语言跨模态的通用常识。

黄民烈

清华大学计算机科学与技术系 长聘副教授，智能技术与系统实验室副主任，获得2019年度CCF杰出演讲者

黄民烈，清华大学计算机科学与技术系长聘副教授，智能技术与系统实验室副主任，中文信息学会自然语言生成与智能写作专委会副主任、CCF学术工作委员会主任助理，获国家杰出青年基金项目、自然科学基金重点项目资助。

他的研究领域为自然语言处理，特别是自然语言生成、对话系统、阅读理解等。曾获得中国人工智能学会吴文俊人工智能科技进步奖一等奖（第一完成人），中文信息学会汉王青年创新奖，阿里巴巴创新合作研究奖。多次获得国际主流会议的最佳论文或提名（IJCAI、ACL、SIGDIAL等）。研发对话系统平台ConvLab和ConvLab2，多次组织国内外有影响力的对话系统评测与竞赛（DSTC8，DSTC9），获得NTCIR 2017年组织的短文本对话生成评测冠军。担任顶级期刊TNNLS、TACL、CL编委，ACL 2021资深领域主席（SAC），EMNLP 2021研讨会联合主席，10余次担任ACL/EMNLP的领域主席。

他的主页：

http://coai.cs.tsinghua.edu.cn/hml/

报告题目：基于大规模预训练模型的开放域对话系统EVA

报告摘要：随着对话语料规模和机器算力的增加，近年来出现了许多基于大规模预训练模型的对话系统，如 DialoGPT，Meena，Blender，PLATO 等，其在某些测试环境下可以达到接近人类的开放领域对话水平。尽管如此，上述系统大多基于英文构建，目前仍缺乏开源的大规模中文对话预训练模型。本次报告将从数据收集与清洗、模型训练与测试、系统演示三个方面介绍基于大规模预训练模型的中文对话系统的构造过程。

张静

中国人民大学信息学院计算机系 副教授

张静，中国人民大学信息学院计算机系副教授。目前主要研究方向是图神经网络与知识图谱推理。发表论文50余篇，其中包括KDD、SIGIR、IJCAI、AAAI、WSDM、CIKM、PKDD/ECML等领域内国际顶级会议以及国际顶级期刊TKDE、TOIS论文。Google引用次数4000余次。近年来任IJCAI'21与PKDD/ECML'21程序委员会高级委员以及SIGKDD'21、CIKM'21、SIGKDD’20、SIGKDD’19等程序委员会委员以及TKDE与中国科学等知名杂志审稿人。任AI Open杂志Associate Editor。

报告标题：基于预训练语言模型的知识图谱推理研究

报告摘要：知识图谱可以被看做是一种知识的离散符号表示，基于知识图谱的符号推理能够较为精准地定位答案。然而，符号推理针对语言的歧义性、噪声数据和不完备数据不够鲁棒。相反，深度学习的发展推动了知识图谱的神经推理方法，一定程度上能够弥补符号推理的缺陷，但缺乏符号推理优秀的解释能力。因此，当前人们尝试将符号推理与神经推理相结合进行知识图谱推理。然而目前的方法仍然面临着知识图谱不完备造成证据缺失，以及深度学习难以编码复杂逻辑规则的挑战。近年来，大规模预训练语言模型已被验证除了可以编码文本上下文向量，还能够编码大量的世界知识，具有弥补知识图谱不完备缺陷的潜力；同时，大规模预训练语言模型被验证经过特定任务的微调，其在一些逻辑推理任务上能够表现出令人惊叹的效果。因此，本报告将介绍我们基于预训练语言模型对知识图谱进行推理的研究、在真实在线平台上的应用效果以及未来值得探索的挑战。

韩文弢

清华大学计算机科学与技术系 助理研究员 

韩文弢，清华大学计算机科学与技术系助理研究员，主要研究方向为并行与分布式计算、大数据处理系统和机器学习系统。2015年获得清华大学计算机科学与技术专业博士学位。在计算机系统相关国际期刊和会议 ACM TOS、USENIX ATC、EuroSys、SIGMOD 等发表相关论文10余篇。曾获得西贝尔学者、CCF NOI 2003 一等奖等荣誉和奖项。担任清华大学团委副书记、中国计算机学会 NOI 科学委员会委员、中国科协“英才计划”计算机学科工作委员会委员等职务。指导清华大学学生超算团队多次获得国际大学生超算竞赛冠军，担任国际信息学奥林匹克竞赛中国队领队，率队包揽IOI 2021前四名。

报告题目：面向预训练模型的全流程高效计算框架探索

报告摘要：近年来预训练语言模型显著提升了自然语言处理领域各类任务的性能，同时也面临着如何高效训练和推理、模型如何重用和扩展等一系列问题，限制了预训练模型更加普遍的使用。我们从模型和系统两方面对预训练模型的使用开展了实践，探索了混合专家 MoE、知识继承、基于提示的微调等模型改进方法，并针对中文语料训练了大规模预训练模型。同时，我们针对实际使用的场景，提出并实现了能够在单机单卡环境完成千亿参数 MoE 模型推理的工具 InfMoE。模型和系统两方面的联合设计达到了高效使用预训练模型的效果。

裘捷中

清华大学计算机科学与技术系 六年级博士生，获得CCF CTSC2011，CCF NOI2011邀请赛一等奖

裘捷中，清华大学计算机科学与技术系六年级博士生，导师为唐杰教授，曾获得2018 MSRA微软学者提名奖，和2020世界人工智能大会WAIC青年优秀论文入围奖。他的研究兴趣主要包括图表示学习和大规模预训练。

报告标题：FastMoE:开源大规模分布式MoE训练框架

报告摘要：MoE已经成为通往超大规模预训练模型的重要工具。报告将回顾 MoE 的发展历史和它在Google的千亿参数模型GShard 和万亿参数模型Switch-Transformer中的应用。并介绍一个我们开发的大规模分布式MoE训练框架FastMoE，着重介绍最新的 FastMoE v0.2的一些新特性。包括（1）全新的负载均衡模块，支持 NoisyGate、GShard、Switch Transformer 等负载均衡策略；（2）同时支持英伟达GPU平台和神威国产超算平台；（3）在神威国产超算上1.75万亿模型训练实战。