TF53回顾 | 近两百人在线探讨，大规模知识表示与推理实践的技术魅力

随着预训练和提示学习等技术的普及，各种大规模预训练模型已经在自然语言处理、多媒体与机器视觉、搜索推荐等领域得到广泛应用，影响并渗透到各个行业与领域。当前，预训练模型中的知识表示与探测，知识嵌入与推理，大规模高效训练是关键技术，也面临着诸多挑战，本场活动在CCF TF知识图谱SIG主席、同济大学特聘研究员王昊奋博士的主持下，来自腾讯内容平台部陈曦博士、中科院研究所研究员韩先培博士和阿里巴巴-阿里云智能计算平台事业部机器学习平台算法工程师李鹏博士与在线近200名参会嘉宾围绕主题展开深入探讨。

王昊奋主持会议

 吴华致辞

TF主席、百度技术委员会主席吴华首先作开场致辞。同样也从事本期主题相关专业研究的吴华对此次活动表达了期待，随后介绍了CCF TF全年共计47场的活动计划，并表示已经召开的两场活动吸引了不少人员参与，全年丰富的活动相信也会为有需要的人士扩宽思路和参考。

2022年CCF TF活动计划

【知识增强的预训练语言模型工业界进展与实践】

主题分享中，陈曦从语言模型与知识图谱的关系、知识增强预训练典型方法以及知识增强实践三方面讲解了知识图谱结合预训练模型范式在工业界的进展。陈曦从“语言模型是否可替代KG？”出发，通过举例论证，认为预训练语言模型能够学习到事实和常识知识，同时在一些问答任务中比肩SOTA，但是对于一些深层次偏推理和带有逻辑性的研究任务，预训练模型还处于早期探索阶段。通过分享业务中的知识增强方法实践，陈曦强调了知识扩展、知识选择、知识验证等研究在当下以及未来的重要性。

陈曦分享内容

【Knowledge Probing in Large-scale Pre-trained Language Models】

韩先培从narrow AI 到general AI发展的角度阐述了符号主义和连接主义等表达知识的方法范式，并重点介绍了基于大规模预训练模型的知识探测方法。针对大规模预训练模型知识探测任务中时而能预测正确时而预测错误的问题提出了思考：如何设计更好的知识探测方法，提升知识探测的性能和可靠性？当前知识探测方式的作用机制是什么，当前知识探测不准确、不可靠和不一致背后的原因是什么？并层层递进讲解了对以上思考的探索，包括知识探测方法增强、知识探测的机制理解等研究。韩先培认为预训练模型具有成为下一代知识图谱的潜力，但也迫切需要更多研究来探明其背后的预测机制。

韩先培分享内容

【面向自然语言生成的大模型稀疏训练工业界进展综述】

李鹏以如何使大规模预训练模型在工业界落地以及产生不错效果的角度展开分享。具体从什么是大规模稀疏训练、稀疏训练相对于现有大规模稠密预训练模型的优点、MoE在学术界的进展到工程实践中偏底层的大规模稠密和稀疏平台Rapidformer的建立都进行了详细介绍。李鹏不仅总结了当前性能最佳的稀疏训练方案以及随机路由性能差的原因，同时对路由网络设计的改进提出了期待的解决方案。

李鹏分享内容

在提问互动环节，线上观众踊跃参与，提出了很多实际且深刻的问题，例如知识图谱和预训练结合在复杂任务的效果如何，如多跳问答推理；是否有定量指标，可以借助知识探测来评估语言模型包含知识的程度；语言模型存储知识的机制是什么，知识神经元是否有知识编辑的作用；MoE在多任务学习上的经验分享。

在最后的总结中三位老师表达了自己的看法，陈曦说真实业务中利用知识增强的预训练学习方法，还是需要进行知识选择的探索以更好的去除噪声；韩先培提到如何用预训练模型作为知识库的工作只是刚刚开始，还有非常多的可以值得研究的问题，希望更多的人能一起研究和探讨；李鹏则认为当人类还没有对深度学习白盒化开箱解释之前，就索性选择“大力出奇迹”的方法吧。

本期会议在短短2个小时内干货满满，层层递进，参会者积极互动。TF53的成功举办，让大家对TF接下来的44场活动充满了更多的期待。

下期预告：

欢迎关注CCFTF及CCF业务总部公众号，精彩陆续开启！

关注CCFTF获取TF活动资讯

关注CCF业务总部优惠预定会议场地