CNCC技术论坛：预训练语言模型：还能走多远？

华为诺亚方舟实验室语音语义首席科学家，负责语音和自然语言处理研究。原爱尔兰都柏林城市大学教授、爱尔兰ADAPT中心自然语言处理主题负责人、中国科学院计算技术研究所研究员、自然语言处理研究组负责人。分别在中国科学技术大学、中科院计算所、北京大学获得计算机学士、硕士和博士学位。研究方向主要是自然语言理解、语言模型、机器翻译、问答、对话等。研究成果包括汉语词语切分和词性标注系统、基于句法的统计机器翻译方法、篇章机器翻译、机器翻译评价方法等。承担或参与众多中国、爱尔兰和欧盟大型科研项目。在国际会议和期刊发表论文300余篇，被引用7000多次。培养国内外博士硕士毕业生50多人。曾获得Google Research Award、ACL Best Long Paper、钱伟长中文信息处理科学技术奖一等奖、国家科技进步二等奖等奖项。

微软亚洲研究院自然语言计算组首席研究员，长期从事自然语言处理的基础研究和技术创新。在自然语言处理领域重要会议和期刊发表论文100余篇，被引用9000余次，多项研究成果转化到微软重要产品中。入选2017年《麻省理工科技评论》中国区“35岁以下科技创新35人”榜单，2019年第六届世界互联网大会“领先科技成果”奖。近年来，团队开发的预训练模型(UniLM, InfoXLM, LayoutLM, MiniLM等)被广泛应用于微软的产品中。

演讲题目：统一预训练语言模型

摘要：大规模预训练语言模型很大程度上改变了自然语言处理模型的研究和开发范式，在工业界和学术界都引起了广泛的关注。本报告将对现有的语言模型预训练工作进行总结和比较，然后介绍面向自然语言理解和生成任务的统一预训练语言模型UniLM以及多语言预训练模型InfoXLM，并就未来面临的挑战和进一步的研究方向进行讨论和展望。

百度杰出架构师、百度文心(ERNIE)负责人。从事NLP、搜索等领域研究与应用近10年，主导研发了百度语义理解技术与平台文心(ERNIE)和百度神经网络语义匹配框架SimNet等诸多世界领先成果，相关工作广泛应用于搜索引擎、信息流、智能音箱、智能客服等产品，已授权或公开的国内外专利60余项，曾获2020世界人工智能大会最高荣誉奖项SAIL奖、中国电子学会科技进步一等奖、中国人工智能学会优秀科技成果奖、百度最高奖及百度最佳团队等奖项。

演讲题目：百度语义理解技术与平台——文心(ERNIE)

摘要：预训练语言模型在自然语言处理领域发展迅速并获得广泛工业应用。2019年，百度提出了知识增强语义理解框架文心(ERNIE)，在GLUE评测中以首次突破90分的水平位居全球第一。此后，百度文心(ERNIE)取得一系列突破和应用，在多个权威语义评测中获得近十项世界冠军。文心被包括全球顶级科技商业杂志《麻省理工科技评论》等多国权威科技媒体报道，在2020世界人工智能大会上赢得最高荣誉SAIL奖。本次报告主要分享百度文心(ERNIE)在技术创新及产业应用方面的进展。

复旦大学计算机科学技术学院教授，博士生导师，于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，在TACL、ACL、EMNLP、AAAI、IJCAI等国际权威期刊、会议上发表60余篇学术论文，并获ACL2017杰出论文奖，CCL2019最佳论文奖，领导开发了开源自然语言处理工具FudanNLP作者和FastNLP。2015年入选首届中国科协人才托举工程，2018年获中国中文信息学会“钱伟长中文信息处理科学技术奖青年创新一等奖”，2020年入选由清华—中国工程院知识智能联合研究中心和清华大学人工智能研究院联合发布的“2020年度AI2000人工智能全球最具影响力提名学者”。

演讲题目：预训练语言模型的未来发展形态畅想

摘要：目前预训练语言模型在自然语言处理领域取得了广泛的成功，并改变了自然语言处理的学习范式。未来预训练语言模型还会取得什么样的突破？有没有更高效的学习范式出现？本报告的内容简单总结预训练语言模型目前的一些改进方向，包括迁移方法、知识嵌入、多模态、跨语言、特定领域等，并对预训练模型的未来发展趋势进行展望。

现任华为诺亚方舟实验室研究员，2012年博士毕业于香港大学计算机系，目前主要从事对话系统、预训练语言模型加速、知识表示和推理的研究。在国际顶级会议和期刊发表多篇论文，曾获得ACL-2019最佳论文提名、CGI-2014最佳论文奖。

演讲题目：华为诺亚预训练语言模型研究和思考

摘要：主要介绍华为诺亚方舟实验室语音语义团队在预训练语言模型方向上的研究和商业化探索，以及我们对该研究未来发展方向的思考。我们最近的研究主要关注在预训练语言模型的解释分析，设计更加高效的预训练任务，融合蒸馏/量化等多种技术的高效压缩，以及我们在自然语言理解等多个业务场景的落地尝试。在未来发展发向上，我们关注在提升预训练语言模型的知识表示和推理能力，推进依赖推理的信息检索系统的发展。