2022年9月10日，中国计算机学会青年计算机科技论坛（CCF YOCSEF）武汉分论坛举办了线下技术论坛（论坛编号：CCF-YO-22-WH-2FT）。本次论坛以“协同感知技术将何去何从？”为主题，邀请了华中师范大学、合肥工业大学、江汉大学、武汉科技大学、湖北大学的专家和学者作为论坛嘉宾进行发言和思辨点讨论。本次论坛由YOCSEF武汉AC、武汉科技大学副教授朱子奇，YOCSEF武汉通讯AC、江汉大学讲师刘哲共同担任执行主席；YOCSEF武汉AC、中国地质大学（武汉）教授唐厂，YOCSEF武汉AC，武汉大学副教授肖晶共同担任线上执行主席；武汉科技大学与江汉大学为本次论坛提供了支持。本期技术论坛，邀约协同感知领域相关的专家学者，针对“协同感知技术将何去何从？”进行主题讨论，分析协同感知领域面临的主要挑战，探讨单传感器方案和多传感器方案在应用领域中面临的需求和问题，探索协同感知技术发展面临的瓶颈问题，把握协同感知领域未来发展的方向和机遇。

“协同感知技术将何去何从”技术论坛

 论坛的引导发言环节邀请了3位嘉宾，分别是：华中师范大学副教授魏艳涛、合肥工业大学副教授李畅以及江汉大学副教授赖重远。作为湖北省教育信息化研究中心（省重点实验室）副主任，魏艳涛副教授带来了题为“Local Correntropy Matrix Representation for Hyperspectral Image Classification”（基于局部相关熵矩阵表示的高光谱图像分类）的引导发言。魏艳涛副教授首先介绍了高光谱图像分类研究的现状。高光谱图像是一种特殊的图像数据，是通过高光谱传感器采集的包含有多种光谱谱带的图像数据信息，常见于卫星遥感图像数据分析。与传统图像数据相比，高光谱图像包含有更为丰富的光谱信息和更强的区分度。当前高光谱图像分类面临训练数据量少、数据标记耗时费力，“同谱异物与异物同谱”现象严重等难点。魏艳涛副教授提出可以通过挖掘不同光谱谱段数据之间的非线性相关性来获取有价值的信息。通过利用核方法来对不同谱段信息之间的非线性相关性进行学习，并利用相关熵来估计和表示，提出了局部相关熵矩阵表示方法。在协同感知应用中，不同传感器获取的信息同样具有相关性。如何有效地利用不同传感器数据的相关性信息，并利用上述信息解决传感器感知偏差，以及不同传感器感知的冲突和异常值得探讨。该项研究为协同感知领域相关研究提出了新的思路。

Local Correntropy Matrix Representation for Hyperspectral Image Classification

 随后，来自合肥工业大学仪器科学与光电工程学院的李畅副教授，结合协同感知在脑电情绪识别领域研究的经验和心得，进行了题为“基于深度学习的脑电情绪识别和癫痫预测方法研究” 的引导发言。脑电相关信号属于脑机接口的研究范畴，需要采用特殊的脑电设备来采集信号，有实际应用如下：模式解码——在人的大脑上穿戴设备，采集大脑点播信号，来进行研究或者控制相关的设备。近年来脑机接口发展较为迅速，人们可以通过脑电采集和模式解码实现诸如打字、使用计算器，让病人或残障人士通过脑电操作机械臂料理生活日常等操作。目前深度学习的方法在脑电研究中占据重要的位置，一般脑电信号采集通过穿戴在头部的脑电帽实现，是一种时空信号。描述情绪可以通过离散状态描述，也可以通过多维散点分布图来连续地描述。对于癫痫病人来说，其脑电信号与正常人信号存在差异，因而可以据此预测病人的癫痫发病期，从而提前采取治疗措施，减少病人的痛苦。包括情绪识别和癫痫预测等应用在内的脑电信号识别的基本流程包括：信号采集、预处理、特征提取以及分类预测。脑电识别的研究方法大致可以分为三类：（1）基于传统的经典分类器的方法；（2）将深度学习作为分类器使用的方法；（3）基于深度学习的端到端的方法。目前常用的脑电信号公开数据集包括DEAP、DREAMER、SEED等。在脑电信号处理和识别方面的研究中，李教授近年来的成果包括基于深度学习的开放环境下脑电解码、基于注意力卷积循环神经网络的脑电情绪识别方法、基于加法网络和对比学习的脑电癫痫预测等等。对于脑电信号检测识别领域的研究展望，李教授认为以下问题都具有较高的研究价值：如何解决真实EEG噪声和模拟EEG噪声的域漂移问题、如何利用多源域和多目标域EEG数据、如何针对不断新来的EEG样本训练深度学习模型、如何挖掘深度模型的可解释性进行EEG分析等等。

基于深度学习的脑电情绪识别和癫痫预测方法研究

 作为最后一位引导发言嘉宾，来自精细爆破国家重点实验室、江汉大学人工智能学院的赖重远副研究员进行了题为“基于transformer的点云分类网络”的引导发言。赖教授首先介绍了计算机视觉和点云识别分类的相关背景，并分析了点云识别的研究价值和应用领域，包括智慧医疗、公共安全、自动驾驶等等。点云识别的数据集样本形态各异，具有类内距离大、类间距离小的特点，这也是点云分类当前研究难点的根本原因。就点云识别目前的研究现状而言，其主要的误差来源包括如下方面：（1）遮挡，（2）投影时的方向，（3）先通过投影得到深度图、再计算深度值造成的系统误差，（4）进行连续化操作采用的非线性函数与原始点云之间的差别，（5）点云规则化处理采用一致的分辨率造成关键位置点云信息量不足。赖教授介绍了近年来的研究成果：（一）T-DGCNN，该方法具有可移植的CTEC模块，并基于transformer网络完成点云物体分类；（二）PCCT，使用特征空间变换网络将点云数据进行特征空间变换和对齐，通过transformer获得更加有效的全局特征，适合进行任务迁移。对于点云分类的研究展望，赖教授认为以下问题具有较高的研究价值：<1>如何在提高识别精度的同时降低模型的复杂度，<2>如何更好地设置网络模型的超参数以提高识别精度。

基于Transformer的点云分类网络

 在思辨环节，参与论坛的所有专家和老师就以下三个议题进行了激烈的探讨：（1）在无人驾驶、无人机、机器人等工业应用场景，单一传感器方案和多传感器协同，那种方案更符合应用需求？（2）多传感器信息融合面临的瓶颈问题是什么，成本、算力还是算法？（3）对于多传感器面临的感知偏差，是融合还是博弈？这三个问题也是目前协同感知领域需要面对和解决的问题。

 对于“在无人驾驶、无人机、机器人等工业应用场景，单一传感器方案和多传感器协同，那种方案更符合应用需求？”这个问题的思辨，专家和老师们讨论了下列子问题：1.1随着计算机视觉技术的发展，通过摄像头感知和理解环境的能力日益增强。视觉感知在应用中是否可以完全取代如激光雷达、毫米波雷达等基于其他类型传感器的感知方案？1.2多传感器协同，是强化感知还是相互干扰？

 华中师范大学魏艳涛副教授认为，摄像头不能完全取代激光雷达、毫米波雷达等传感器。不同的传感器各有有点和不足。视觉感知包含有更丰富的语义信息，更适用于内容理解，但在速度和精准度方面暂时还不如激光雷达等其他类型传感器。如果多传感器融合，应该具有更好的优势。多传感器的目的是希望得到强化感知的效果，但是实际应用的效果可能并不立项，传感器之间可能存在相互干扰的问题。因此，在实际应用过程中，要深化对需要解决的问题的理解，选择合适的传感器类型，并利用有效的方法对传感器的信息进行融合。

 江汉大学赖重远副教授认为，利用摄像头完全取代激光雷达并不现实。相对于单一传感器感知，多传感器的数据更加可靠和更加稳定，能够利用不同传感器之间的优势。视觉传感器包含有丰富的颜色信息和纹理信息，更符合人眼的感知；其他雷达感知是一种主动感知方式，不受周围环境影响，可以对物体的位置、大小进行测量，特别在极端情况下有优势。不同类型的传感器应该相互辅助，获得的数据应当是强相关的，从而挖掘更为丰富的信息。

 合肥工业大学李畅副教授认为，在脑电情绪识别研究中，可以进一步引入视频和音频信号。不同模态的信号各有优势，视频信号相对稳定，但会因受测者的差异发生变化；脑电信号是一种自发信号，存在不太稳定的特点，但在区分度上具有优势。视觉的信号容易收到光照等环境因素的影响，激光雷达也会收到恶劣天气的影响，毫米波雷达则存在分辨率低的局限性。多传感器协同的效果是与应用的场景直接相关，不同的传感器各有优势和不足，在协同感知中应尽量发挥其优点并规避不足。应选择合理的融合算法，提升算法的通用性和鲁棒性。

 武汉科技大学林云汉副教授认为，环境感知是机器人技术研究中的一个重要方向，目前通常会采用多模态的感知方案，例如利用二维视觉感知获取环境图像信息，获取目标方位，以及感知环境事件等，同时利用三维视觉技术，例如激光雷达，对目标的位置坐标信息进行估计。激光雷达能够成为二维视觉数据的有效互补。

 湖北大学赵月博士认为，在协同感知的过程中，探索不同传感器的公共信息和互补信息是一个关键问题。利用多视角学习理论，挖掘多源域和多特征域之间的相关性，是解决协同感知领域多传感器数据融合的一个可行思路。

思辨问题1：在无人驾驶、无人机、机器人等工业应用场景，

单一传感器方案和多传感器协同，那种方案更符合应用需求？

 在“多传感器信息融合面临的瓶颈问题是什么，成本、算力还是算法？”的问题上，来自不同领域和方向的专家、老师们也各抒己见，讨论了下列子问题：2.1多传感器协同感知，信息获取是追求全面覆盖还是精准获取？2.2制约多传感器协同感知应用的技术难点是什么？面临那些挑战？

 华中师范大学魏艳涛副教授认为，在协同感知过程中信息获取的全面覆盖和精准获取都是非常重要的问题。利用多个传感器采集获取信息，其本源就是希望能够获取相比于单一传感器更为丰富的环境信息，信息尽可能的全面。同时，在数据获取的过程中，我们也希望数据能够尽可能的精准，以利于进一步的数据融合和环境感知。这两者对于协同感知来说都是非常重要的。

 江汉大学赖重远副教授认为，在无人驾驶领域现在分为两派，一边是例如Tesla采用的全视觉解决方案，通过在车里不同位置部署大量的摄像头来感知车辆的周遭环境；还有一派则是以国内BYD为代表的无人驾驶解决方案，采用包括摄像头、激光雷达、毫米波雷达在内的多传感器协同感知处理方案。从实际应用效果来看，目前全摄像头解决方案依然面临着许多局限性。特别是在复杂的光照和气象环境下，全视觉解决方案的精准性容易收到影响，安全性存在不足。在自动驾驶领域，一个技术难点则是统一不同数据的时间和空间，实现“三同一不同”；第二个技术难点则是多传感器的数据配准以及数据可靠性优先级的判定。

 合肥工业大学李畅副教授认为，在医学领域以及遥感领域，面向全面覆盖的多传感器协同感知方案可能面临的一个瓶颈是问题是成本。相比于其他领域的应用，医学传感器和遥感传感器通常价格非常昂贵，并且面临诸多限制。因此，在无法无限制的部署大量传感器的情况下，根据具体任务选择合适类型的传感器，根据重要性排序，优先覆盖适配性高、精确性强的传感器。目前协同感知的技术难点主要是算法层面。以脑电识别为例，面临的挑战主要是脑电信号数据量少，图像的数据量大，但是精准度不足，不同模态数据之间数据不平衡问题、数据配准问题等。在实际应用中，需要针对不同模态数据的特点设计算法，以及融合策略，以达到更好的应用效果。

 武汉科技大学林云汉副教授认为，在机器人控制领域，信息获取的精度是十分重要的。传感器精度不足可能导致机器人无法准确控制，甚至无法应用。同时，不同的传感器也存在其局限性，这时则需要利用多种传感器的信息进行融合，以获取更为精准的数据。例如使用激光雷达感知环境信息时，激光雷达的精度难以满足需求。则需要结合视觉传感器，以及惯性测量单元传感器（IMU）等，对激光雷达数据进行校准和修正，从而达到更为精准的效果。而全面覆盖，则是根据应用的需要，以及成本的限制，尽量实现传感器数据的互补。

思辨问题2：多传感器信息融合面临的瓶颈问题是什么，成本、算力还是算法？

 在“对于多传感器面临的感知偏差，是融合还是博弈？”的问题上，专家和老师们分析和讨论了如下子问题：3.1当面临不同传感器的感知偏差时，如何在“错觉中寻找真实” 3.2 3.2. 多传感器协同感知的未来发展方向是什么？

 华中师范大学魏艳涛副教授认为，一方面，在不同的应用场景下，应针对不同类型的传感器，建立有效的数据清洗规则；另一方面，可以利用不同传感器获取数据潜在的相关性，建立有效的数据校准和修正方法。未来，随着传感器技术的快速发展，多传感器协同感知一定会成为人工智能的发展方向。针对不同的应用领域，建立精准化的应用方案可能是未来的发展方向。同时，协同感知过程中，多模态数据的融合也会是这个领域未来发展需要重点解决的关键问题。

 江汉大学赖重远副教授认为，在诸如自动驾驶领域，如果出现不同传感器感知偏差的时候可能会导致极为危险的情况。因此，在解决这个问题的时候，需要结合实际应用场景和所使用的传感器，了解到底在何种情况下会出现“错觉”；以此为基础，针对不同的“错觉”建立解决方案，包括传感器的安装方法、传感器类型的选择等。同时，在软件层面，需要建立基于“真值”的判定策略。最后，如果在现有条件下依然无法判断，则按照最坏情况判断和决策，要求车辆停止运行以保障安全。通过后处理来保证自动驾驶的安全。协同感知技术领域发展中，研制性能更为优异的传感器是一个重要方向；同时，传感器信号的实时获取，进行统一的处理也是需要解决的一个难点问题；最后，数据在空间维度、时间维度、尺度等方面都会存在巨大差异，如何实现多模态数据的融合也是需要解决的关键问题。

 合肥工业大学李畅副教授认为，一方面需要对获取的数据进行预处理，以尽可能的消除信号的干扰因素，如降噪处理、去模糊、去雾、标准化处理等信号处理方法；另一方面，针对已经出现偏差的数据，则需要建立有效的数据修正方法。未来决定协同感知技术方案的三个重要因素，依然可能是成本、算力和算法。在不同的应用场景中，部署成本依然是决定性的影响因素，需要研究者能够充分理解面临的问题，并且了解不同类型传感器的性能，在成本允许的条件下，建立最优的解决方案；同时传感器的数量和类型，会直接影响到对系统算力的需求，建立符合合理算力需求的解决方案也是研究者需要充分考虑的因素；最后，建立高性能、高通用性的算法，依然是协同感知技术研究面临的最大挑战。

 武汉科技大学林云汉副教授认为，多传感器系统感知的发展方向与人工智能的发展方向有一定的相似性，其终极目标在于建立一种通用框架，以解决不同类型传感器的共性问题；同时，针对不同的具体的应用，能够有针对性的建立对应的协同解决方案。随着各类新型传感器的不断涌现，以及新的应用问题的不断出现，协同感知技术的发展一定是在不断迭代中不断发展。

 湖北大学赵月博士认为，未来传感器在获取数据的过程中，如果能够自动挖掘不用模态数据之间的相关性，寻找最具判别性的特征数据，并有针对性的采集，不仅能够降低系统的负载性和成本，也有助于更为精准的解决问题。

思辨问题3：对于多传感器面临的感知偏差，是融合还是博弈？

与会人员合影

         本次论坛历时三个小时，通过引导发言、论坛思辨，辨明了协同感知领域在人工智能时代遇到的新问题和困惑，分析协同感知在发展过程中面临的主要挑战，探讨协同感知技术在应用中存在的若干重要问题，探索了协同感知技术的未来发展方向，将更好地推动协同感知技术在诸如机器人、无人驾驶等应用领域的发展。