后深度学习时代是指从第二代人工智能兴起之后，到第三代人工智能正式开始的这段时期。目标检测技术是指从图像中检测特定的目标，并同时获得这一目标的类别信息和位置信息的技术。“双小”目标检测聚焦于小样本和小尺度的目标检测。所谓小样本，意味着可用于深度模型的数据集稀缺，而小尺度则指的是待检测的特定目标在整张图像中尺寸占比很小(占比通常不到百分之五甚至更小)。因此，“双小”目标检测是极具挑战性的难点问题。

2020年11月21日上午，由中国计算机学会(CCF)-主办的青年计算机科技论坛(YOCSEF)保定分论坛“后深度学习时代，‘双小’目标检测技术发展的路在何方？”成功举办，论坛执行主席为CCF YOCSEF保定AC委员、华北电力大学副教授赵振兵和CCF YOCSEF保定AC委员、河北大学副教授刘帅奇，微论坛执行主席为YOCSEF保定AC委员、河北大学工商学院丛帅主任和YOCSEF保定委员、华北电力大学副教授贾惠彬。本次论坛邀请南开大学程明明教授、南京理工大学魏秀参教授、天津科技大学杨巨成教授作为引导报告嘉宾；邀请华北电力大学翟永杰教授、河北农业大学刘博副教授、河北大学刘晓光副教授和中国电力科学研究院人工智能应用研究所谈元鹏博士作为思辨嘉宾。论坛主要通过腾讯会议邀请观众参与活动，并在微信群中同步直播。活动吸引了超过580人加入微信群参与讨论，超过180人通过腾讯会议观看直播并参与讨论，参会人员中不仅有全国各地分论坛AC委员和来自高校、企业的青年学者及科研人员，还有不少对该领域感兴趣的学生和相关从业人员。论坛开展时，线上会议观众通过“举手”发言和打字聊天的方式积极互动讨论，现场气氛活跃，直到论坛结束后，不少观众仍在微信群中与嘉宾相互交流。

活动开始

首先，论坛执行主席赵振兵介绍了YOCSEF的发展历程和大会宗旨，接着刘帅奇介绍了本次论坛的背景、议题及嘉宾。

本次论坛分为嘉宾引导报告和思辨讨论两个阶段。在嘉宾引导报告阶段，首先由来自南开大学的程明明教授以《知识驱动的多粒度目标检测与分割》为题介绍了视觉感知技术面临的挑战与一些探索方法和成果。通过使用边缘检测模型检测待检测物体的轮廓可以缓解“双小”目标的问题。显著性目标检测与边缘检测类似，从大图像中裁剪获得目标物体的子类图像后再进行分类识别。除此之外，程明明教授还提出了使用层内多尺度特征、多粒度目标理解和时序多尺度等方法来解决“双小”目标检测的问题。

程明明报告

第二位作报告的嘉宾是来自南京理工大学的魏秀参教授。他以《图像级类别辅助下的物体检测》为题介绍了上下文信息对目标检测的影响以及如何利用上下文信息来提高目标检测的精度。通过利用廉价的图像级的监督信息来扩展数据信息，构建层次化的上下文信息的传递网络，丰富特征，得到多层次性的信息，以此来保证模型的检测精度。

魏秀参报告

最后来自天津科技大学的杨巨成教授以《后深度学习时代，人脸检测与识别技术探讨》为题作了主题报告。该报告首先介绍了人工智能发展历史以及深度学习模型的发展历程，接着以人脸识别技术为例，介绍了“双小”目标检测问题在人脸识别领域内的一些特定背景和问题。并对使用深度生成对抗网络、超分辨分析方法、基于注意力模块的超分辨率模型、基于空洞卷积残差块的生成对抗网络人脸修复方法、深度极限融合网络和深度迁移模型等技术来解决人脸检测中“双小”目标检测的难题进行了探讨。最后总结：“后深度学习时代，深度学习融合其他先验知识和算法是一个趋势。”而这正好呼应了我们接下来讨论的议题。

杨巨成报告

接下来是论坛的思辨讨论环节，现场气氛活跃，大家畅所欲言，充分交流了对于“双小”目标检测技术的看法，并围绕“传统模型的现在与未来”、“如何结合弱监督”、“如何结合知识”和“技术落地”等四个议题展开了精彩的讨论。

腾讯会议思辨讨论现场

议题一：传统模型算法或经典深度学习模型在“双小”目标检测中是否还有生命力，是否会逆袭？

传统模型算法或经典深度学习模型在“双小”目标检测中依然还有生命力，这不仅仅是因为它们在目前依旧有能够适用的研究领域，还在于它们所代表的思想也都是未来第三代人工智能发展的坚实基础。第一代AI基于知识、算法和算力3个要素构造，第二代AI基于数据、算法与算力3个要素构造，它们各自构造的出发点不同也意味着它们的侧重点不同。深度学习是数据驱动的，数据的规模和确定性直接影响了深度模型的检测能力，在“双小”目标检测任务中，需要大量的标注数据，但在大量实际问题中，很难获得海量的、带有标注的数据，所以对于“双小”问题深度学习面临着巨大的挑战；而SVM、贝叶斯分类器等传统模型在小样本情况下依然可以获得不错的分类结果。同时基于数据驱动的深度学习的“黑箱”性质也导致了深度学习可解释性较差，由此导致深度学习在理论上的不确定性和不可靠性，这些在“双小”目标检测中都是不可忽视的问题。而在基于知识驱动的传统模型算法中，并不存在可解释性差的问题，所以传统模型的检测结果都是理论“可信”和“可理解”的。

当然社会发展需要高效的解决问题的算法，长期发展应考虑效能而不是单纯解决问题，因此仅仅依靠现在的传统模型算法或经典深度学习模型是不够的。对于“双小”复杂场景，仍需要将更多思想进行融合以获得更有效的算法。因此传统模型的设计思想会延续，这也是第三代人工智能的一条发展思路，即：把第一代的知识驱动和第二代的数据驱动结合起来，取长补短，博采众长，同时利用知识、数据、算法和算力4个要素，构造更强大的AI。

议题二：后深度学习时代的“双小”目标检测技术中，深度学习与弱监督如何结合？

“双小”目标检测技术由于其存在的特殊性，有着很强的应用背景。对“双小”问题而言，检测的难点在于样本信息不足和待检测目标在图像中占比过小，而弱监督可以再一定程度上解决数据标注不完整的问题。“双小”问题与弱监督问题从其本质上来说都是信息缺失的问题。采用弱监督方法解决“双小”目标检测的问题，就需要找到这些问题的共性，从共性出发寻找解决问题的方法。

深度学习与弱监督结合，可采用增强和约束两种手段。弱监督共有三种形式，分别是不完全监督(只有一部分训练数据具备标签)、不确切监督(训练数据只具备粗粒度标签)、不准确监督(给出的标签并不总是真值)，总而言之就是数据的信息不足，或者说可用信息不完整、有欠缺。而增强数据的信息，在于知识的迁移和扩充，并增加约束抑制知识的负迁移。要想以弱监督手段解决“双小”目标检测难题，需要统一学习的框架，统计数据信息不足的学习方式，避免过于复杂的模型；还可以利用元学习的思想，通过大样本对小样本学习进行针对性的提高；除此之外探索人脑神经科学如何与计算科学融合，模仿人类能够放大特征点的能力来缓解弱监督问题。同时我们应该认识到，技术不能是单向输出的，要以小样本问题的解决方法来启发大样本学习，提升大样本学习模型的检测能力。

议题三：后深度学习时代的“双小”目标检测技术中，深度学习与知识(知识表达、知识推理、知识图谱)如何结合？

“双小”目标检测，受限于数据信息不足，因此在基于数据驱动的深度学习检测模型上精度很难提高，在模型改动已经触及“天花板”的后深度学习时代，我们希望能够找到一条新的路来攀登“双小”目标检测的高山。深度学习与知识(知识表达、知识推理、知识图谱)相结合指明了新的方向。那么，深度学习与知识如何结合呢？

深度学习与知识图谱的结合，是连接主义与符号主义融合的初尝试。首先要建立起深度学习与知识的关系，或者说知识在深度学习中以何种形式，什么载体进行表达。例如利用待检测物体的刚性特定视觉形态与知识表达相结合，待检测物体的形状、材质、花纹等属性都可以作为知识的载体，构成属性空间，之后与深度学习获得的机器特征空间进行集成，送入分类器进行识别。除此之外，深度模型与知识的结合可以体现在检测的各个阶段。多级检测就是典型的利用先验知识提高小尺度目标检测精度的模型，利用前级检测去除背景信息之后再利用后级检测模型检测待检测目标，这是利用了小目标位于某个大目标上的先验知识；还可以利用待检测物体的特定属性不易改变的知识，针对其属性进行检测。当然构建行业的知识图谱也是必要的，相比较于公共数据集的公共知识图谱，“双小”目标的检测可能更需要基于行业知识所构建的行业知识图谱，因为只有这样的图谱才会更贴近“双小”目标检测的现实情况。构建好知识图谱之后就可以基于先验知识中各物体属性的相关关系、因果关系等进行知识推理，基于知识推理的结果反向验证检测结果的合理性，提高检测精度。另外，知识的融入对于“双小”目标检测而言，并不只是针对待检测的目标，知识的融入让上下文信息、全局信息等不再是无用的背景，将无用的背景信息转化为可用的信息，增加信息量之后可以通过跨模态、跨数据域的知识融合等手段来提高“双小”目标检测精度。深度学习与知识图谱的推理不应该是单向的数据交流，而应该是双向的、迭代的数据流交换，检测结果应该与推理结论相辅相成，互相印证，给最终检测结果上一份“双保险”。

议题四：后深度学习时代，“双小”目标检测技术如何真正落地？

“双小”目标检测技术要想真正落地，一定是离不开其行业背景特殊性的，或者说目前“双小”目标检测技术的应用一定是需要将各行业的特殊背景知识考虑其中。

“双小”目标检测技术的落地首先需要自身的检测精度达到较高的水平，并且能够考虑到具体场景中出现的各种情况。从实验室条件下的限制条件转换成开放世界环境下，需要研究人员进行大量的研究。同时“双小”目标检测落地离不开实际场景下的具体需求，深度学习技术目前还不是全知全能的，一些工程问题可以利用深度学习技术解决，一些问题目前还没有有效的技术方案提出，而哪些实际问题能够使用深度学习技术解决这就需要行业领域内的专家与深度学习从业人员深层次的交流来界定。“双小”目标检测技术落地还离不开企业、行业给予的支持。对于某些小样本、小目标的检测，目前大多还是学术的研究阶段，主要问题是没有稳定的途径获得大量的数据，这对基于数据驱动的深度学习模型而言是致命的。发展产学研一体化，由企业牵头提出问题，提供数据和资金；高校负责技术研发和人才培养，实现企业高校学生三方获利。当然，涉及到数据问题必然绕不过用户隐私与信息安全的问题。企业自身可以对数据进行加密、匿名等前处理，再与高校方等数据使用者签定保密协定，从多个角度封锁隐私数据流出的可能性。

最后，本次论坛的执行主席赵振兵做了总结性的发言：传统模型算法或经典深度学习模型在“双小”目标检测中依然还有生命力，因为传统设计的理念一直植根于深度学习，而且传统模型算法实现简单、不依赖于大量数据，模型驱动的特点是其不可忽视的优势所在，将传统方法与深度结合，可以取长补短，博采众长。“双小”问题与弱监督问题从其本质上来说都是信息缺失的问题。因此，可以采用弱监督方法结合上下文信息、元学习、强化学习、迁移学习、多示例学习甚至自监督方法，从共性出发，寻找解决“双小”目标检测的问题的方法。在“双小”目标检测任务中，将领域知识与深度学习相结合，可以弥补深度学习的缺点，利用符号主义方法的优点，可以通过跨模态、跨数据域、跨任务、目标间关系等的知识融合、迁移、逻辑与推理，图模型，或者构建更合理、更有效的行业知识图谱等手段，来提高“双小”目标检测精度。“双小”目标检测技术要想真正落地，一定要考虑行业场景的特殊性，找准技术应用边界，利用多种工程化手段可以缓解行业难点问题。比如，多模态数据采集、多帧数据采集以缓解小样本问题；联邦学习、多级检测等手段以缓解小尺度问题。另外，“双小”目标检测任务的解决还需探索数据共享方法、校企合作、联合人才培养、产业和政府多方协同 等更优模式和机制。

思辨讨论环节结束之后CCF YOCSEF保定在线为7位嘉宾颁发了电子感谢牌，表达了对嘉宾由衷的感谢。

为嘉宾颁发感谢牌

最终，历时长达三个半小时的活动于中午12点结束。通过本次活动的举办，为相关领域人员介绍了后深度学习时代“双小”目标检测的难点所在以及目前可行的解决思路，讨论了传统模型和深度模型在“双小”检测问题上各自的优缺点，并探讨了“双小”检测问题未来与弱监督学习和知识相结合的发展方向以及如何结合的方案，研究了“双小”检测技术实际落地需要考虑和完善的地方，得出了第三代人工智能需要在第二代人工智能的基础上融入知识的要素才能构造出更强大的AI的结论，对相关领域人员具有极为重要的参考价值。另外，思辨交流中，来自高校的研究生与来自企业的专家达成实习实践意向，进一步明确了未来课题研究方向和专业实践目标。