超大规模预训练模型的优势、局限与未来趋势——CCF第八期启智会在北京召开

　　2021年1月1日至3日，中国计算机学会（CCF）第八期启智会在北京举行。会议由中国人民大学教授文继荣、清华大学教授唐杰发起，来自清华大学、复旦大学、中国人民大学、中国科学院计算所等单位的11名相关领域学者出席了会议。

　　会议围绕“超大规模预训练模型的优势、局限与未来趋势”的话题展开讨论。近几年来，预训练模型在自然语言处理领域蓬勃发展，在多个子方向取得了颠覆性的成果。作为一项最近几年被人们大规模应用的技术，预训练模型尽管取得了极大成功，仍然有许多还未被发掘的有效方法，也还有很多亟待解决的重要问题。例如，预训练模型的理论基础是什么？如何分析与理解预训练模型中存储的 “知识” ？如何设计神经网络的底层架构，实现更高效的大规模预训练？下一代的预训练模型是什么样的，是更大参数的模型，还是多个小模型的融合，抑或是多模态、融合外部知识，面向认知的模型？预训练模型又会有那些新的应用场景？如何推动中国预训练模型技术的研究进展？

　　本期启智会会议采取主题报告、辩论、自由讨论相结合的形式，从不同的角度对超大规模预训练模型的优势、局限和未来方向进行了探讨。与会专家围绕会议主题，结合自己的研究方向阐述了观点，并对其中一些较有争议的话题展开了激烈的辩论，就预训练模型的成功之处、当前不足、未来研究方向开展了深入讨论，并就预训练模型、尤其是中文预训练模型的相关研究达成了若干共识。会议从模型结构、优化算法、知识融合、符号推理、语言理解等多个角度进行了思辨，尤其就中文预训练模型的研究现状、规划、生态进行了探讨。

　　北京智谱华章科技有限公司对本次启智会提供了部分赞助支持。

会议合影（后排左起：刘潇、顾煜贤、韩旭、刘洋、袁进辉、邱锡鹏、刘知远、赵鑫、霍宇琦，前排左起：黄民烈、兰艳艳、文继荣、唐杰、宋睿华、朱军）

会议现场