返回首页

超大规模预训练模型的优势、局限与未来趋势——CCF第八期启智会在北京召开

阅读量:152 2021-01-06 收藏本文

  2021年1月1日至3日,中国计算机学会(CCF)第八期启智会在北京举行。会议由中国人民大学教授文继荣、清华大学教授唐杰发起,来自清华大学、复旦大学、中国人民大学、中国科学院计算所等单位的11名相关领域学者出席了会议。

  会议围绕“超大规模预训练模型的优势、局限与未来趋势”的话题展开讨论。近几年来,预训练模型在自然语言处理领域蓬勃发展,在多个子方向取得了颠覆性的成果。作为一项最近几年被人们大规模应用的技术,预训练模型尽管取得了极大成功,仍然有许多还未被发掘的有效方法,也还有很多亟待解决的重要问题。例如,预训练模型的理论基础是什么?如何分析与理解预训练模型中存储的 “知识” ?如何设计神经网络的底层架构,实现更高效的大规模预训练?下一代的预训练模型是什么样的,是更大参数的模型,还是多个小模型的融合,抑或是多模态、融合外部知识,面向认知的模型?预训练模型又会有那些新的应用场景?如何推动中国预训练模型技术的研究进展?

  本期启智会会议采取主题报告、辩论、自由讨论相结合的形式,从不同的角度对超大规模预训练模型的优势、局限和未来方向进行了探讨。与会专家围绕会议主题,结合自己的研究方向阐述了观点,并对其中一些较有争议的话题展开了激烈的辩论,就预训练模型的成功之处、当前不足、未来研究方向开展了深入讨论,并就预训练模型、尤其是中文预训练模型的相关研究达成了若干共识。会议从模型结构、优化算法、知识融合、符号推理、语言理解等多个角度进行了思辨,尤其就中文预训练模型的研究现状、规划、生态进行了探讨。

  北京智谱华章科技有限公司对本次启智会提供了部分赞助支持。

DSC_7870

会议合影(后排左起:刘潇、顾煜贤、韩旭、刘洋、袁进辉、邱锡鹏、刘知远、赵鑫、霍宇琦,前排左起:黄民烈、兰艳艳、文继荣、唐杰、宋睿华、朱军)

DSC_7823


DSC_7834

会议现场