CNCC2023论坛分享 | 大模型时代的智能物联网研究前沿论坛

近些年，物联网技术蓬勃发展，深刻改变了人们的生产生活。越来越多的设备和物体被连接到互联网，产生海量数据，传统方法难以有效处理和分析。在另一方面，人工智能技术研究在近些年取得了巨大的进展，如深度学习、自然语言处理等。它们被广泛应用在物联网领域，用于处理和分析大规模数据，实现自动化、智能化的决策。2022年底，大语言模型ChatGPT横空出世。相较于普通的AI模型，ChatGPT等AI大模型包含更多参数，具有更强的上下文理解和关系捕捉能力。由于其优越的性能，大模型已赋能了多种行业，包括翻译、广告等。物联网从业者对其也产生了巨大的兴趣，认为AI大模型在物联网领域大有可为。那么，AI大模型究竟怎么与物联网相辅相成呢？

围绕这个问题，2023年10月26日下午，CCF物联网专委承办的CNCC 2023技术论坛“大模型时代的智能物联网研究前沿”在中国沈阳皇朝万鑫酒店举行。本次论坛由浙江大学董玮教授担任主席、北京邮电大学刘亮教授担任共同主席，论坛邀请物联网、人工智能领域的国内外知名专家学者出席。论坛特邀讲者马华东教授、邱锂力博士、张黔教授、刘劼教授和吕建成教授围绕“大模型时代的智能物联网研究前沿”进行主题演讲，旨在深入探讨大模型时代下AI大模型如何赋能物联网应用以及物联网如何反哺大模型。专家们围绕疾病诊断、健康检测、智慧农业等常见的物联网场景及联邦学习、大小模型协同等人工智能技术展开报告，为与会人员分享他们的最新工作与科研见解。

首先，由CCF会士、CCF常务理事、物联网专委主任、北京邮电大学计算机学院马华东教授做报告。视频物联网是物联网的一个重要形态。AI被广泛应用在视频物联网中赋能智慧安防、智慧交通等场景。针对AI赋能视频物联网，马教授做了题为“视频物联网中云端协同智能计算”的报告。在报告中，他指出：随着视频物联网的规模扩大，传统的以云计算作为核心技术的中心化处理模式面临着扩展难、处理慢的问题，云端协同技术是解决这个问题的关键技术。报告针对端侧模型资源受限、云端协同计算难以及视频模型能力的碎片化的问题，提出了一系列关键技术，包括模型轻量化、高效云端协同以及大小模型互动相关技术等。值得一提的是，由于在视频物联网等领域的突出贡献，马教授获得2023年度的CCF王选奖。

除了各种视频物联应用，疾病诊断也是一个典型的“物联网+AI”应用。微软亚洲研究院副院长、ACM/IEEE/NAI Fellow邱锂力博士多年来致力于用AI和物联网技术助力疾病诊断。在本次论坛中，她做了题为“Exploring Different Modalities for Healthcare Applications”的报告。在报告中，邱博士表示， AI辅助医疗诊断在当下极具前景，医疗系统有许多潜在的AI应用，包括疾病检测、诊断、个性化治疗、药物研发、灾害预测、护士辅助和机器外科医生等。报告中介绍了若干项无线传感的不同模态与AI结合、用于疾病诊断的工作，例如通过自动检测语音信号的高鼻音区别进行的早期疾病的诊断和个性化治疗，基于视频行为分析技术的自闭症患者重复行为检测，以及医学图像自动生成医疗报告技术。

香港科技大学腾讯工程学教授、计算机科学与工程系讲座教授、IEEE Fellow、香港工程科学院院士张黔教授同样关注如何让AIoT赋能类似疾病诊断等的以人为中心的应用。张教授的报告题目为“AI+IoT: Human-Centric Smart Sensing Design”。她表示，AI与IoT的融合，特别是智能感知技术的发展，为以人为中心的应用创造了赋能的机会。她的报告主要关注两个核心问题，一个AIoT如何赋能日常健康护理，另一个AIoT是如何使人们的交互方式更加智能便捷。报告针对智能感知面临的资源有限、传感技术异构、数据隐私问题、缺乏开放数据集等问题提出了解决方案，并分享了基于语音的健康诊断、基于毫米波的血压检测、基于WiFi的手势感知等案例。

哈尔滨工业大学（深圳）国际人工智能研究院院长、IEEE Fellow、哈尔滨工业大学刘劼教授关注的是物联网另外一个重要应用：智慧农业。刘教授立足东北广袤的黑土地，为与会人员分享他们在智慧农业方面的经验和成果，带来报告“智慧农业领域的大模型初探”。在报告中，刘教授指出：农业智能化面临着一个非常大的挑战是如何对农业复杂的场景、生长条件做出合适的决策，大模型在农业场景大有可为。报告汇报了大模型赋能农业领域应用的工作，包括基于大模型的农业知识问答系统。此外，刘教授还分享了他们在农业遥感图像分割领域的成果以及他们在联邦学习方面的工作以保护数据隐私性。报告最后也指出了在农业领域应用大模型所面临的可信性、隐私性和可解释性的挑战。

前面四位专家都围绕AI大模型如何赋物联网应用展开报告，四川大学教授/博导、计算机学院院长吕建成教授则更关注物联网如何赋能AI大模型，带来了题为“面向异构计算环境的去中心化联邦学习框架”的报告。目前大模型面临着训练数据紧缺的问题，物联网是很好的训练数据来源。但是很多时候，物联网数据会涉及到隐私，不便用于训练。针对上述问题，吕教授提出：联邦学习是解决具有隐私限制场景（如，医院）大模型训练数据紧缺问题的重要技术。报告中针对联邦学习在实际落地场景中面临的设备性能、通信网络和训练数据异构的挑战，指出现有基于中心化参数服务器的主流优化范式存在计算和通信瓶颈，面临扩展性差、通信开销大、模型性能低等现实问题。报告提出了一个去中心化联邦学习框架，介绍了针对异构节点模型收敛、通信网络自适应梯度压缩以及模型个性化方面的关键技术，为异构计算环境的联邦学习应用提供理论和技术支撑。

在报告结束后，听众就大模型安全性、跨领域能力等科研问题与讲者展开了深入交流。现场气氛热烈。

虽然本论坛已落下帷幕，但我们相信，“物联网+AI大模型”的大船才刚刚启航。未来一定会有更多的专家学者与产业界人员登上这艘大船，驶向智能物联网更光明的明天，让我们拭目以待！