董玮：大模型赋能智能物联网的技术与愿景 | CNCC专家谈

什么是智能物联网？维基百科的定义是：智能物联网是人工智能（AI）技术与物联网（IoT）基础设施的结合，以实现更高效的物联网运营，改善人机交互，提高数据管理与分析能力。通俗地讲，就是物联网设备或物联网基础设施具有类人的能力，包括感知、记忆、推理以及学习等能力。

从物联网到智能物联网，在学术界研究了20余年。2017年左右就已经提出了智能物联网的概念，后来逐步形成了TinyML这个研究领域，得到研究界和工业界的广泛关注。今年，物联网领域已经出现了类似IMUGPT[1]、LocGPT[2]、Penetrative AI[3]、ChatIoT[4]等非常相关的工作。今年5月份的时候，刘云浩教授在CCCF的卷首语中指出：“不在物理世界里进行直接感知和实践，等于把AI装在套子里，哪能获得真正的智能呢？”。真正的智能应该是物联网与AI的有机结合，实现信息世界与物理世界的深度融合。

智能物联网有没有类似自动驾驶一样的分级呢？目前学术界和产业界还没有标准的答案。我们针对智能物联网提出了一种可能的分级，欢迎大家探讨和指正。

我们认为，AI大模型将在推进物联网智能化进程中发挥十分重要的作用。例如，在系统能力自动构建方面，国内外在大模型赋能的代码生成方面取得了积极的进展。2023年1月，前Harvard大学教授Matt Welsh在CACM上发表了一篇文章《the end of programming》，指出编程终将终结，大多数的软件将由AI生成，或其本身就是一个AI系统。

Matt Welsh的观点引起了广泛的关注。在未来，人们只需用自然语言描述想要做的事情，通过大模型以及multi-agents技术，就能自动生成想要的结果。从这个意义上讲，传统的编程语言可能会被取代。发表在MobiCom 2024年上的Autodroid[5]，它通过大模型实现自然语言到自动化执行脚本的转化，实现在智能手机上复杂任务的自动化执行。发表在IMWUT/UbiComp 2024上的ChatIoT[4]通过大模型，在无需大量标注的情况下，准确地将自然语言描述的任务转化为HomeAssistant系统定义的IFTTT规则并自动执行。上述工作在推进L2级乃至L3级智能化进程中起到了重要的作用。

另一方面，在推进大模型与物联网深度融合过程中仍然面临一系列挑战。在系统层面，如何在资源极其受限的物联网设备上支持AI模型部署？如何与云端模型进行高效的协同推理？

在感知层面，如何让大模型更好地理解视觉、声音、无线信号、IMU等感知信息及其跨模态关联？如何解决构建“物联网感知大模型”的数据稀缺问题？如何兼顾可泛化和高精度的双重目标，让AI大模型能够真正超越现有感知算法？在应用层面，面向工业制造等重要场景，如何解决AI大模型幻觉，满足工业物联网场景下的精确性、可靠性、实时性的需求？

学术界针对上述挑战进行了积极的探索。

在系统层面，业界闻名的开源AI大模型，如Llama 3.2，Qwen2.5等都开始针对资源受限的移动和物联网设备进行优化。其目标是提供具备较小模型尺寸的轻量级文本模型，但依然具有强大的文本生成和处理能力。开源社区也在投入设计轻量级AI模型为边缘设备和移动设备提供了强大的AI能力，如MiniCPM-V, MobileLLM等。还有一些工作，如Deja Vu等，通过选择性地执行模型中的一些重要的计算来减少计算量。此外，还可以通过对语言模型推理过程中的KV Cache进行量化或选择性存储，来进一步优化推理资源占用以及响应时间。

在感知层面，Penetrative AI[3]基于IMU、无线信号等传感器数据，结合注入的专家知识，输出基础感知任务的文本化描述（例如步数、步频等）；在此基础上利用大模型的文本理解能力，实现更高语义感知任务（例如是不是在室外跑步等）。再例如，Meta团队在2023年9月提出了AnyMAL[6]，它通过两步骤的方式来训练得到了一个可以直接处理IMU数据的大模型。首先是模态对齐步骤，通过将传感器数据，如IMU以及其对应的文本描述输入到冻结的LLM中，使用得到的结果训练投影层。这一步骤确保了不同模态的数据能够在LLM中得到统一的表达。第二步骤就是利用一些指令数据集对投影层以及LLM本身进行微调，使得LLM的输出能够根据用户的意图正确的做出响应。通过这样两阶段的训练，就可以得到了一个能够直接处理传感器数据，然后可以按照用户的指令进行问答的感知大模型。

在应用层面，大量相关的领域大模型发布，包括海尔的智能家居HomeGPT、百川智能的工业大模型、MIT研究团队提出的健康大模型Health-LLM[7]等。他们通过在通用语言模型上用特定任务的数据进行模型结构与参数的微调，从而提高专业领域大模型的准确度和专业性。在智慧家居应用中，利用大模型可以进行语音识别，提供智能音箱等设备的语音交互服务，如Amazon Alexa、Apple Siri和Google Assistant。智能家居中的智能摄像头可以通过大模型进行图像识别，识别家庭成员和陌生人，甚至检测异常行为并发出警报。在工业物联网领域中，中国的科技企业如百度、华为等也正在不断突破创新。例如，华为的盘古大模型为生产运维全链条提供了智能化服务，全面提升了业务效能和经济效益。

在《流浪地球2》中，描绘了这么一个场景，当用户下达进行流浪地球计划的指令后，MOSS量子计算机自主决策，驱动大量机器建设了行星发动机、地下城和月球发动机。智能物联网的目标和愿景，应该是成为人们的数字物理助理，能够与人类智能交互，最终实现对物理世界的智能感知、决策与控制。

敬请关注本年度CNCC大会组织的“第二届大模型时代的智能物联网研究前沿”论坛。本论坛邀请近年来具有代表性成果的杰出学者进行分享，在系统层面、感知层面、应用层面，深入探讨资源受限系统的模型推理优化、可泛化的智能物联网、大模型赋能工业物联网等多个技术领域的趋势和最新进展，促进交流与合作，共同推动智能物联网技术的创新和发展。论坛日程信息如下：