脑科学已成为最重要的科学前沿领域之一。脑功能计算、脑智能模仿成为学术界和产业界热议的话题[1~4]。欧盟、美国、日本相继启动了大型脑研究计划，强有力地推动了人们对脑结构、脑功能和脑智能的探索和认识；另一方面，人工智能研究风起云涌。2016年9月，斯坦福大学发布了《2030年的人工智能与生活》报告[5]，全面评估了当前人工智能的进展、挑战、机遇与展望。然而，在脑神经科学领域，要完全弄清楚脑智能还比较遥远；而从人工智能的角度看，目前人工智能的高级认知功能还远弱于人类自身。人类智能（脑）和机器智能（人工智能）从不同的起点研究智能问题，伴随着人、机智能研究相互影响、相互促进的深入，有望实现两者的汇聚，启发人们从多个角度探索更强的智能。
混合智能概念
近半个多世纪的人工智能研究表明，机器在搜索、计算、存储和优化等方面，拥有人类无法比拟的优势，然而在感知、推理、归纳和学习等方面，尚无法与人类智能相匹敌。鉴于机器智能与人类智能的互补性，我们在多年前提出了混合智能(Cyborg Intelligence, CI)的研究思路[6, 7]，
将智能研究扩展到生物智能和机器智能的互联互通，融合各自所长，以创造出性能更高的智能形态。混合智能是以生物智能和机器智能的深度融合为目标，通过相互连接通道，建立兼具生物（人类）智能体的环境感知、记忆、推理、学习能力和机器智能体的信息整合、搜索、计算能力的新型智能系统，如图1所示。
图1 混合智能：新型智能形态
混合智能系统是要构建一个双向闭环的，既包含生物体、又包含人工智能电子组件的有机系统。其中，生物体组织可以接受人工智能体的信息，人工智能体可以读取生物体组织的信息，两者无缝交互。同时，生物体组织实时反馈人工智能体的改变，反之亦然。混合智能系统不再仅仅是生物与机械的融合体[8]，而是同时融合生物、机械、电子和信息等多领域因素的有机整体，实现系统的行为、感知和认知等能力的增强。
近年来，我们在国家973计划“脑机融合感知和认知的计算理论与方法”项目的支持下，聚焦生物与机器感知、行为层的融合，借助脑机接口技术，通过研究感知-运动整合过程中大脑信息的输入输出表征与编解码、混合智能基本融合框架的设计与构建、感知与行为层的双向闭环脑机融合技术等，实现了混合智能的行为与感知增强。
混合智能模型
混合智能的形态
混合智能的智能形态表现在生物智能与机器智能在不同的层次、方式、功能、耦合层次的交互融合，如表1所示。
表1 混合智能的形态
● 从层次角度看，我们可以将生物智能体系和机器智能体系粗略地分为感知层、认知层和行为层。3个层次之间存在紧密的联系，层次化是混合智能最显著的特点。
● 从混合方式看，混合智能系统可采用增强、替代和补偿等3种方式。其中增强是指融合生物和机器智能体后实现某种功能的提升；替代是指用生物/机器的某些功能单元替换机器/生物的对应单元；补偿是指针对生物/机器智能体的某项弱点，采用机器/生物部件补偿并提高其较弱的能力。
● 从功能增强角度来看，混合智能可以分为感知增强混合智能、认知增强混合智能、行为增强混合智能，3种系统分别实现感知、认知及行为层面的能力增进。
● 从信息耦合紧密程度看，混合智能可以分为穿戴人机协同混合智能、脑机融合混合智能、人（脑）机一体化的混合智能。穿戴人机协同混合智能通过穿戴非植入式器件，实现生物智能体与机器智能体的信息感知、交互与整合，机器智能体和生物智能体的耦合程度较低。脑机融合的混合智能采用植入式器件，实现机器智能体与生物智能体的信息融合，两者不仅仅是简单的信息整合，还包括多层次、多粒度的信息交互和反馈，形成有机的混合智能系统。人（脑）机一体化的混合智能是深度的信息、功能、器件与组织的融合，系统呈现一体化态势。
脑在回路的信息处理模型
图2 混合智能的信息回路模型
混合智能信息处理包含两个方向：机到脑是外部信息输入方向，脑到机是脑信息读出方向，从而形成了脑在回路的信息处理过程。交互信息涵盖不同的时空分辨率，对应不同的交互层次和粒度。如图2所示，从生物智能体读出的信息包括功能性磁共振成像(Functional Magnetic Resonance Imaging, fMRI)、头皮脑电(Electroencephalograph, EEG)、脑磁图(Magnetoencephalography, MEG)、场电位信号(Local Field Potential, LFP)、光学成像和锋电位信号(spikes)等。外部信息输入方法包含电刺激、光基因(optogenetics)以及磁刺激等技术。其中磁刺激是无创刺激方式，电刺激可建立一系列多层次的信息输入方法，光基因技术可实现精准定位到细胞类别的信息输入通道。
图3 常见脑信号的时间-空间分辨率对比
图3展示了当前常用脑信号的时间-空间分辨率对比状况，其中功能性磁共振成像、头皮脑电、脑磁图是非植入式信号，信号的空间分辨率通常比较低；场电位信号、脑部光学成像和锋电位信号是植入式信号，空间分辨率很高。尤其是锋电位信号，可以表达单个神经元的发放状况，时间-空间分辨率均很高。
不同的时-空分辨率信息对应混合智能系统不同层次和粒度的信息交互。一方面，混合智能系统所处理的信号存在不同尺度，包括神经元、神经集群和神经环路等。读取不同时空分辨率的脑信号有助于提取和分析不同粒度信息。例如，电刺激可实现一个区域的信息输入，而光基因技术精准到细胞，可实现更细致的信息交互。另一方面，混合智能是一个层次化的系统[7]，不同时空分辨率的脑信号对应不同的交互层次，感知、任务规划以及目标层接收不同分辨率的脑信号，形成分级、分层的混合智能融合体系（见图2）。
混合智能：计算模型
我们提出了一种混合智能的计算框架（见图4），左边是生物智能体分层结构，右边是机器智能体的分层结构，中间部分是信息交互、计算、融合框架。生物智能体可分为感知、记忆、意图、情感、注意、中心决策及行为等层次模块。机器智能体可分为感知、目标、知识库、任务规划及行为等层次模块。中间部分包含与生物智能体交互的神经编解码器、4个信息交互层（神经元层、神经元集群层、神经环路层、神经网络层）以及与机器智能体交互的信息拾取器和调配器。
图4 混合智能的一个计算框架
从生物智能体来看，来自不同层次的生物（人）脑信息，经神经解码器解析成不同尺度的标准信息包，对应于神经元级、神经集群（功能柱）级、神经环路级以及神经网络级等尺度。不同尺度的信息包，经相应的融合层级，与来自机器智能的信息融合，形成融合信息包。融合信息包可向生物智能体和机器智能体传输。从机器智能体来看，机器智能体不同层次的信息经信息拾取器输入到中间不同层次的交互单元，与来自生物智能体的信息交互后分别向两边传输，实现多层次、多粒度的混合智能信息计算模型。
● 神经解码器：解码器接受生物神经信号作为输入，经神经计算转化为数值信息。依赖于不同的采集方式，神经信号可以是表示神经元细胞级的锋电位信号、神经元集群（功能柱）级的场电位信号、表示神经环路信息的光觉成像信号或者表示多个神经环路交互的神经网络级信号等，采用不同粒度的解码方法，实现4个层次的信息解码。
● 神经编码器：编码器接受外界或机器信息数值为输入，经神经计算编码为生物可以识别的信息。
● 信息拾取器：机器智能端的功能单元，主要完成两个功能，一是从机器智能体不同层次、不同粒度提取感知、认知及行为信息数据，向混合智能计算架构传递和融合；二是将从机器智能体提取的信息进行层级划分，分割成对应于计算架构不同层次的信息包，以便与生物智能体的相应层次信息融合。
● 信息调配器：机器智能端的功能单元，包含两个功能，一是将来自生物智能端的信息或生物-机器融合信息传递给机器智能端；二是负责决定机器智能端的信息流向，将不同层级、不同粒度的信息调配到机器智能体对应的功能区域。
● 神经元层：神经元细胞级信息的交互渠道，锋电位信号是主要的神经元层信息。
● 神经集群/功能柱层：功能柱特指具有相同感受视野，并具有相同功能的视皮层神经元集群，在垂直于皮层表面的方向上呈柱状分布，只对某一种视觉特征发生反应，形成该视觉特征的基本功能单位。神经集群是一组功能独立的神经元的统称，在感知层面，神经集群层与功能柱存在对应关系；在其他区域，神经集群表示一组功能独立的神经元。因此，该层是一组神经元信息的交互渠道。
● 神经环路层：神经环路是指脑内不同性质和功能的神经元通过各种形式的复杂连接。神经环路层是功能相对独立的神经环路级别的信息交互渠道。
● 神经网络层：多个相关神经环路组成神经网络，神经网络层是神经网络级的信息交互渠道。
研究进展
总体进展
在国家973项目的资助下，项目团队在脑机融合的混合智能研究方面已取得了较好的进展。
1. 在脑信息表征原理方面，对初级躯体感觉皮层、后顶叶皮层、前额叶皮层和初级运动皮层等皮层的多个神经网络，在感知-运动整合过程中的因果关系进行深入分析，建立了鲁棒的多任务机器学习方法，发现了信息整合功能不同的两类神经元，揭示了初级感觉皮层对初级运动皮层的调控机理。
2．在感认知计算体系结构方面，首次提出了混合智能的基本概念，并初步建立了混合智能三层式体系结构。通过研制视觉增强大鼠机器人、听觉增强大鼠机器人、紫外感知大鼠机器人，实现了感知/行为执行层-任务规划层之间的脑机融合信息处理过程，局部验证了混合智能三层式体系结构的可行性和有效性。
3．在脑机互适应与运动功能重建及原型验证方面，建立了一种新的运动神经功能重建技术——目标神经功能替代(TNFR)方法；并利用建立的运动功能重建生物模型，验证了新方法具有更优异的运动功能增强效果，为后续开展人体运动功能的生物重建打下了坚实的理论与技术基础。项目组在国际上首次实现了猴子PMd区神经信号在线控制机械臂完成避障、大鼠机器人复杂环境自动控制等混合智能典型示范。
演示验证系统
图5 混合智能三层体系结构（3种不同的层次互联及调用关系：(1) 视听觉增强大鼠机器人；
(2) 学习增强大鼠机器人；(3) 癫痫预测-抑制大鼠闭环系统
基于“生物与机器的智能之间存在层次对应关系”的假设，我们前期曾提出混合智能的一个层次化概念框架[7]，如图5所示。该框架将生物体智能处理体系分为意图层、决策层、感知层与行为层，将机器智能体系分为目标层、任务规划层、感知层与执行层。生物与机器之间，同层内的功能可以相互混合调用，上下层之间的功能也可以相互混合调用，形成混合感知、混合计算、混合执行等多层次多尺度的智能融合。基于所提的混合智能三层体系结构，在大鼠平台上，我们构建了视听觉增强、学习增强、癫痫预测-抑制闭环混合智能系统，并研制了所需的软硬件支撑平台Cyborgware。
视听觉增强大鼠机器人
面向混合智能三层体系结构的感知行为层与机器端任务规划层的相互调用目标，我们构建了视听觉增强的大鼠机器人[9]，如图6所示。该工作将计算机的视听觉识别能力“嫁接”到大鼠上，实现复杂环境中大鼠机器人的精确导航，达到以机器智能增强生物智能的目的。生物体和机器在感知能力上各有优劣。机器具有优势的感知能力，可以弥补生物体自身的不足。我们将计算机视觉理解、计算机语音识别这两种机器智能感知方式，融合到大鼠生物体，建立了听视觉增强的脑机融合混合智能原型系统[10]。
图6 视听觉增强大鼠机器人
学习增强大鼠机器人
基于感知、决策与行为层互联互调，我们构建了学习增强大鼠机器人。通过行为学实验我们发现，混合智能的大鼠比单纯生物大鼠表现出更好的迷宫探索能力，如图7所示。我们设计了多种复杂的迷宫求解任务，分别让纯生物大鼠自由探索、纯计算机算法探索、混合智能（计算机辅助）的大鼠探索。实验结果表明，以探索步数及覆盖率进行性能衡量，混合智能的大鼠比纯生物大鼠的表现好，也比纯计算机探索的表现好。首次为混合智能的智能增强提供了行为学的验证[11]，揭示了机器智能能增强生物体的感认知能力，部分回答了脑机融合后是否能获得智能增强的疑问。
图7 学习增强大鼠机器人
癫痫预测-抑制大鼠闭环系统
双向互适应机制是混合智能系统的核心要素。我们研究并构建了脑机互适应的癫痫实时预测与调控双向闭环系统[12]，实现了从大脑皮层读取神经信号，对信号进行在线解码，进而将调控信息实时输入到大脑皮层的闭环过程，如图8所示。此工作探索了动物平台的“癫痫预测-电刺激抑制”脑机互适应融合机制。一方面，机器从生物读取信息，智能感知脑的状态以适应脑的变化；另一方面，机器向生物输入随大脑状态变化的调控信号，由于脑对外部输入具有可塑性，从而形成脑对外部刺激的适应。
图8 癫痫检测-抑制闭环系统的各分系统
支撑平台Cyborgware
为了能够更加方便、快速地构建一个混合智能系统并支撑其运行，我们特别研制了混合智能软硬件支撑平台Cyborgware v1.0。目前的版本支持大鼠机器人混合智能系统的构建，主要功能包括大鼠行为仿真运行环境、大鼠自动训练模块、视听觉感知模块、脑机融合控制决策模块和神经微电刺激背包等。为了让系统开发人员能够更加便捷地进行系统开发，我们还针对混合智能的特点，设计了一种新型的脚本编程语言Cyboript，可更好地支持脑机混合编程中的异步机制与消息反馈机制。目前，正将Cyborgware逐步扩展至对非人灵长类动物以及对人的支持。
图9 脉冲神经网络芯片——“达尔文”
Cyborgware平台需要能够更加平滑地连接生物神经系统，而生物神经系统主要以脉冲神经网络(Spiking Neural Networks, SNN)方式工作，为此，我们于2015年成功研制一款SNN芯片[13]，如图9所示。该芯片是Cyborgware平台的重要组成部分，目前支持基于LIF神经元模型的SNN建模，单核版本包括8个物理神经元，通过时分复用技术，最多可支持2048个神经元、400万个神经突触和15个不同突触延迟。由于采用的流片工艺不高（180nm CMOS工艺），目前支持的最高运行频率为70MHz。与之相比，IBM的TrueNorth芯片采用最先进的28nm工艺，但每个核仅有一个物理神经元，通过时分复用技术支持最多256个神经元[14]。
展望
随着信息技术、神经科学和材料科学等的快速发展，计算嵌入到生物体，并与之无缝融合，将成为未来计算技术的一个重要发展趋势。混合智能即在此背景下探索生物智能与人工智能的深度协作与融合，其有望开拓形成一种非常重要的新型智能形态。
混合智能具有非常广阔的应用前景：(1)它将为肢体运动障碍与失能人士的康复提供新仪器，例如，融入混合智能的神经智能假肢、智能人工视觉假体等；(2)将为神经疾病患者提供全新的治疗手段，例如，老年痴呆患者的记忆修补、帕金森患者的自适应深部电刺激治疗、癫痫发作的实时检测与抑制和植物人意识检测与促醒等；(3)将为正常人感认知能力的增强带来可行的途径，例如，听觉、视觉和嗅觉等各种感官能力的增强，学习记忆能力的增强，行动能力的增强等；(4)将为国防安全与救灾搜索等提供重要技术支撑，例如，行为可控的各种海陆空动物机器人、脑机一体化的外骨骼系统、人机融合操控的无人系统等。
作为一个新兴的研究方向，混合智能不管是在理论上还是技术上，都尚有很多方面亟待进一步研究与探索：
1．认知增强方法：与运动增强与感知增强相比，认知增强是一个更难的问题。因为目前对运动与感知神经原理与机制的认识相对比较清楚，但对认知神经原理与机制则了解相对较少，认知过程也更加复杂，例如学习、记忆等。如何充分利用当前认知神经机制方面的研究成果，实现认知增强是一个巨大挑战。
2．脑机融合互学习互适应：大脑神经系统的一个重要特性是可塑性，而机器也具有一定的学习能力，但由于脑与机的学习方式的差异，使得学习能力无法直接融合。如何让脑与机在系统层面实现在线相互学习相互适应，达到更高级的脑机融合，是混合智能未来发展的一个重要趋势。
3．神经环路与网络的层间交互：在神经系统的层次化计算框架中，从神经元到神经集群，再到神经环路，机理相对清楚；但从神经环路到大的神经网络，因为涉及更广泛的神经区域，所以过程极为复杂，目前的研究进展相对有限。因此两层之间的交互方式与技术也有待重点攻克。
4．生物相容性电子器件：生物自身的排异生理特性使得一般电子器件难以长久地保持与生物系统畅通连接。混合智能的最终目标是实现脑机一体化融合，设计实现生物相容优秀的各种电子材料与器件，是构建真正实用的脑机一体化混合智能系统的关键所在。■
致谢：
感谢王跃明、潘纲等同事在本文成文过程中提供多次有价值讨论与意见以及协助制作插图等。
*项目资助：国家973项目(2013CB329500)。
参考文献
[1] LeCun Y, Bengio Y, and Hinton G. Deep Learning [J]. Nature, 2015, 521(7553):436-444.
[2] Sun Y, Chen Y, Wang X, and Tang X. Deep Learning Face Representation by Joint Identification-Verification[C]//Proceedings of Advances in Neural Information Processing Systems 27 (NIPS), 2014.
[3] Szegedy C, Liu W, Jia Y and et al. Going Deeper with Convolutions[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition, 2014.
[4] Hinton G and Salakhutdinov R. Reducing the Dimensionality of Data with Neural Networks [J].Science, 2016, 313: 504 - 507.
[5] Stone P, Brooks R, Brynjolfsson E, and et al. Artificial Intelligence and Life in 2030. One Hundred Year Study on Artificial Intelligence: Report of the 2015-2016 Study Panel, Stanford University, Stanford, CA, September 2016.
[6] 吴朝晖, 郑能干.混合智能：人工智能的新方向[J].中国计算机学会通讯，2012,8(1):59-64.
[7] Wu Z, Pan G and Zheng N. Cyborg Intelligence [J]. IEEE Intelligent Systems, 2014, 28(5): 31–33.
[8] Manfred E and Nathan S. Cyborgs and Space. Astronautics, 1960.
[9] Wang Y, Lu M, Pan G, et al. A Visual Cue-guided Rat Cyborg for Automatic Navigation [J]. IEEE Computational Intelligence, 2014, 10(2):42-52.
[10] Wu Z, Yang Y, Xia B, et al. Speech interaction with a rat[J]. Chinese Science Bulletin, 2014, 59(28): 3579-3584.
[11] Wu Z, Zheng N, Zhang S, et al. Maze learning by a hybrid brain-computer system[J]. Scientific Reports, 2016.
[12] Wang Y, Qi Y, Wang Y, et al. Delving into α-stable distribution in noise suppression for seizure detection from scalp EEG [J]. Journal of Neural Engineering, 2016, 13(5).
[13] Shen J, Ma D, Gu Z, et al. Darwin: a neuromorphic hardware co-processor based on Spiking Neural Networks[J]. Science in China Series F: Information Sciences, 2015, 59(2).
[14] Merolla P A, Arthur J V, Alvarezicaza R, et al. A million spiking-neuron integrated circuit with a scalable communication network and interface[J]. Science, 2014, 345(6197):668.
京公网安备 11010802032778号