陈华钧：语言和知识双重驱动的通用AI | CNCC专家谈

CNCC早鸟票火热进行中，限期优惠，早鸟票购票成功更有机会获得炙手可热的“CCF会员之夜”入场资格，敬请尽快报名！

语言为“形”，知识立“心”，图谱作“骨”。语言是知识的载体，知识是智能的根本，大型语言模型和知识图谱都是表示和处理知识的计算手段。语言模型补足了理解语言的能力，而知识图谱则丰富了表示知识的方式。两者的互补融合可以为通用AI的实现提供更好的智能基石。本年度CNCC2023大会拟组织“知识图谱+语言模型 赋能通用AI”技术论坛，来自产学研各界专家共聚商讨知识图谱和大型语言模型的融合之道，共同探索通用AI的发展新路径。

人们在认识世界的过程中不断积累关于世界的知识，而语言则是知识的最直接载体：人类的绝大部分知识都是通过自然语言来描述、记录和传承的。以ChatGPT为代表大型语言模型(LLM)将海量世界知识预先学习进神经网络中，并实现在参数化空间对知识进行处理和操作，ChatGPT训练的是富含知识的模型。

图1. 语言和知识密不可分

自然语言以文字序列的方式来表示知识，而知识图谱（KG）则利用图结构来描述世界万物之间的关系，代表一类结构化的知识表示方法。自然语言和知识图谱都是显式的知识表示方法，人可理解，可解释性好。LLM利用神经网络从超大规模的文字语料中学习文字的组合、交互和涌现规律，实现在神经网络参数空间编码基本的文字语义。与自然语言和知识图谱不同，LLM是完全参数化、数值化的知识表示方法，对人不可理解，但更益于机器学习和计算。

“语言”和“知识”一定程度是密不可分的。大模型补足了语言理解的能力，为更有效的处理和利用知识扫除了语言理解的障碍。但文字序列结构并不能覆盖所有的知识表示形式，而知识图谱则刚好丰富了知识的表示形式和方式。有了语言理解能力加持的知识图谱技术可以为人工智能提供更加全面、更加准确、更加可控的知识处理方法。

首先我们从大模型的技术视角看一看知识图谱所能发挥的价值。

研究表明，不论是在预训练阶段还是在指令提示阶段，提升语料的语义规范性或数据的结构化水平均有助于增强模型推理能力。例如，代码语言比之自然语言结构化更好，同时其中包含大量的运算逻辑，也更利于激活模型推理能力。思维链比之普通的自由文本包含更多的逻辑关联性描述，也更有利于提升模型推理能力。知识图谱可以分别从知识增强(Knowledge-enhancing)和结构增强(Structure-inducing)两个角度提升训练语料或提示指令的语义逻辑性和结构性。

提示(Prompts)是指在训练或使用大模型时使用的一类引导性指令。很多研究表明提示内容的逻辑性和结构化，与模型推理能力相关。从最简单文本提示(Textual Prompt)和带思维链的文本提示(CoT)，到代码提示(Program of Thoughts)、树型提示(Tree of Thoughts)、图提示(KG of Thoughts)等结构化更强的提示，甚至直接以逻辑规则作为提示，随着提示知识表示水平提升，模型推理能力可以得到提升。但推理能力的另外一个重要因素——规模涌现，又与提示知识表示水平相矛盾：表示水平越高，获取难度越高，规模涌现越不容易实现。因此，在大模型时代，知识表示水平与推理能力的正比关系仍然存在，而表示复杂度与模型规模化的矛盾关系也依然存在。构建和获取高质量的提示语料（即提示工程）本质上就是获取人类先验知识的过程，这和传统知识工程的目的本质上是相似的。

思维链是一类特殊的提示，它模拟了人们在思考和解决问题时，通过联想将不同的概念或知识关联起来的过程，从而引导大模型模仿人的逻辑思维过程。显然知识图谱是表示和生成思维链的好帮手。前面已经谈到，采用结构化更好的思维链表示形式（如Tree of Thoughts，Graph of Thoughts等）比之自然语言形式的思维链更有利于诱导出大模型的推理能力。

图2. 知识图谱与提示工程

大模型的一个众所周知的问题是幻觉与知识谬误问题。由于知识图谱中的知识很多都经过人工审核和校验，相对标准和正确，因而可以为矫正模型的对齐目标。例如可以利用符号化知识图谱中显式定义的事实之间的关系，来辅助确定参数化知识之间的关联关系并对模型参数进行矫正和编辑。也可以利用知识图谱为奖励模型提供反馈信号，通过将大模型返回的结果与知识图谱中的事实、关联或约束进行比较，以提供反馈信号来改进和控制生成的结果。

早期知识图谱技术如RDF/OWL等设计的本意是为了便于互联网多智能体Agent进行知识获取，并作为Agents之间的知识交换格式(Knowledge Interchange Format)。例如OWL语言的前身之一DAML正是Agent Markup Langauge的缩写。语言模型技术的成熟为多智能体之间进行知识交换和知识交互提供了新的方式，使得Agent之间能更加自主的实现知识协同，建立更加强大的智能体协作社区。

图3. 大模型中的知识图谱

作为小结，知识图谱在基础模型预训练、模型适配与微调、模型使用与交互等环节均能发挥作用，这包括：通过提升训练语料、提示指令的结构化和逻辑性来进一步提升模型能力，降低训练代价；将知识工程的理念及经验融入到提示工程及提示库的建设；利用知识图谱来矫正知识谬误和控制幻觉生成等等。可以预见在未来飞速发展的大模型技术栈中，将看到越来越多的知识图谱相关技术理念。

接下来，我们再从知识图谱的技术视角看一看大模型的价值。

我们可以基于指令驱动的方法来构建专门面向知识抽取的大模型。一方面，大模型本身就学习有海量的参数化知识，这使得可以同时从文本语料和参数空间抽取知识，通过模型的“见多识广”来对文本抽取的结果直接进行模型脑补，可以大幅提升知识图谱构建的效率。其次，大模型通过指令学习和人类反馈具备了较强的泛化能力，同样的通过指令驱动的抽取大模型也具备更强的抽取新类型、新关系、新事件的泛化能力。此外，大模型具有较强的生成能力，在模型或文本中均缺乏所需的知识时，大模型可利用其生成能力来通过知识生成来补齐知识图谱。

结构化知识大模型是指针对结构化知识（如知识图谱、表结构等）进行操作的预训练语言模型，例如可以利用LLM对知识图谱进行逻辑查询、问答及增删改等操作。大模型的语言理解能力使得我们可以较为精确的实现自然语言到结构化查询语言(如SPARQL、Cypher、Gremlin等)自动化翻译。这就极大的便利图数据的管理与维护，以及基于图数据库的应用开发。此外，大模型也可以通过检索增强的方式，融合结构化知识和语言模型共同增强查询问答结果。

大型语言模型把自然语言形式的符号知识参数化，也是一种在神经网络空间实现的推理。但与传统图神经网络、知识图谱嵌入等推理方法不同，大模型还依靠“见多识广”的知识丰富性和“模型脑补”的生成能力来增强推理的完备性和更强的泛化能力。因此，大型语言模型可以和传统符号知识图谱推理方法形成更好的互补。例如，一方面，大模型可以将符号知识图谱作为外部可调用的工具，在需要确定答案时，利用符号知识图谱的推理来给出更加可靠、明确和确定的答案。另一方面，在符号知识图谱推理因为知识缺乏而推不出答案时，可以利用大模型的见多识广和高泛化能力来给出粗粒度的推理。

知识图谱的本质是建模关于世界的概念抽象，也就是本体Ontology。人大脑中的Ontology是在人认识世界万物过程中，通过归纳和抽象形成的关于世界万物的概念、类别、属性、关系以及它们的层次体系。大型语言模型从海量的文字语料中学习到丰富的有关字词及概念的知识，因而对概念的识别、理解、抽象能力表现突出。这为自动化的概念层次构建、类目扩展、属性补齐、本体对齐、概念归一化及更新处理提供了更强有力的技术手段。

小结一下，在传统的知识图谱技术栈中，大模型也能在多个环节发挥作用，例如在知识图谱的构建阶段，指令驱动的知识图谱构建可以实现泛化能力更强的知识抽取，而大模型的见多识广有望帮助我们实现更加自动化的本体与概念抽象。通过构建结构化知识大模型可以利用大模型的语言理解能力大幅提升对结构化知识的查询、问答与更新等操作，而大模型的常识语言推理能力也可以与知识图谱的符号推理能力形成互补，相互增强。

人类知识高度复杂，我们在描述客观世界时，更多采用的是多样化的结构化描述，序列并不是知识的最好表示结构。大型语言模型只是起点，我们最终需要发展的是能处理各种知识表示结构的大型知识模型(Large Knowledge Model)。

识别参会报名

论坛主席：

陈华钧 浙江大学教授

论坛共同主席：

林俊宇 中国科学院信息工程研究所高工