CCF YOCSEF重庆举办“大模型如何上车？智能汽车搭载大模型的技术路线”技术论坛

智能汽车领域，大模型如何上车变得越来越急迫。特斯拉FSD在北美上市，开启了全球智能汽车厂商在自动驾驶领域的“赛马”。 自动驾驶的核心在于对复杂交通环境的准确理解和迅速反应，大模型则可作用于自动驾驶的感知和预测等关键环节。然而现实场景中，大模型上车仍然面许多的困难，如构建支撑自动驾驶的大模型算力的问题。

2024年8月24日下午，CCF YOCSEF重庆在重庆西南大学25教学楼1320举办了“大模型如何上车？智能汽车搭载大模型的技术路线”技术论坛，CCF YOCSEF重庆AC黄俊杰和吴松担任执行主席，来自高校、科研院所和企业界的相关专家学者40余人共聚一堂，共同探究“大模型上车”的技术路线，以及如何才能让大模型更好地落地汽车行业。

长安科技AI-Lab总师罗咏刚做了题为“Exploring Innovations in Applying LLMs to Automotive Service-oriented Scenarios”的引导发言。罗咏刚首先介绍了大模型在理想、蔚来、小鹏等电动汽车中的应用。他指出，尽管大模型的应用范围较广，但其与汽车功能的深度结合仍处于探索阶段。他介绍了长安汽车将大模型应用于智能座舱和自动驾驶领域的基本情况，其中智能座舱的应用相对更为成熟，重点介绍了长安的自动驾驶服务化产品LLMs。与传统单芯片的集中式计算模式相比，LLMs采用分布式计算模式，基于SOA架构打造独立的服务化产品，能够灵活适应不同的功能和应用场景。这种服务化形式不仅支持定制服务场景，还允许用户根据需求自定义服务。通过构建服务化架构和插件生态系统，长安正积极与车企、科技公司及高校合作，推动大模型的持续创新。目前，长安公司正处于垂直大模型与插件系统结合的阶段，未来将通过提升算力和带宽，进一步推动大模型在智能驾驶中的深入应用，逐步迈向全面实现自动驾驶的目标。

电子科技大学教授万少华在“智能网联汽车深度学习算法”的引导发言中，他首先介绍了AI赋能智能网联汽车的研究背景，指出AI驱动的车联网通感算是实现智能驾驶和下一代智能交通系统的核心保障。回顾了AI的发展历程，解释了第一代AI基于知识驱动、第二代AI基于数据驱动的技术理念，提出单靠某种理论无法实现真正的拟人智能。强调自动驾驶的核心技术与装备已成为全球竞争的战略制高点。车路协同的推进需要分阶段进行，而单车智能在安全性和经济性上仍需优化，两者将相互补充，共同推动智能网联汽车的发展。进一步介绍了AI+智能网联汽车的关键技术，包括多模态融合的感知技术、复杂环境下的交通要素识别、基于多教师蒸馏扩散模型的去雨雾雪算法，以及基于联邦学习和DNN推理加速的云边端协同训练技术。同时讨论了车路协同中的计算卸载技术，如深度强化学习和资源分配。最后指出当前大模型上车面临的挑战很多，包括高数据和算力消耗、灾难性遗忘问题以及黑盒模型在逻辑推理能力上的不足等。

重庆大学教授唐小林，在“面向复杂交通场景的自动驾驶汽车安全决策方法研究”的引导发言中指出，智能网联汽车和新能源汽车产业是我国国家战略的一部分，并得到了重庆政策的强力支持，旨在打造万亿级汽车产业集群。唐小林的发言聚焦于自动驾驶的决策与测试评估。他指出，当前自动驾驶决策的主要问题在于算法的不确定性。针对这一问题，他介绍了两项研究工作及成果。第一，针对算法不确定性的安全决策方法，包括融合预测算法不确定性和分层强化学习的决策方法，结合图神经网络和深度学习技术，采用纵横向轨迹分离的模拟预测和控制方法，在多类高速公路仿真场景中进行了实验验证。第二，针对城市交通的交互性决策方法，提出基于博弈论的交互性决策，应用于无信号灯十字路口的多车协同控制，通过图神经网络与博弈论结合，提高效率并降低碰撞率。此外，唐小林介绍了基于3D高斯的高保真虚拟仿真平台，该平台支持场景生成、编辑和泛化，能够测试感知、控制和决策算法，并建立了自动驾驶算法的评价体系。

在思辨环节中特邀嘉宾重庆大学教授井冈山、国家智能网联汽车质量检验检测中心（重庆）副总工程师吴超、重庆昇腾人工智能创新中心CTO韩云鹏等参会人员积极参与了三个思辨议题地讨论。

思辨议题一： 大模型能解决智能汽车领域的哪些问题，适用于哪些场景？

特邀嘉宾井冈山指出大模型赋能智能驾驶主要是两个方面：人机交互和决策。人机交互技术已经相对成熟，但决策系统仍然面临挑战。特别是在复杂的车路环境下，大模型在从感知到决策的过程中仍处于初步阶段，车路协同和车车协同的决策机制也需要进一步完善。此外，来自小米科技的杨永杰也分享了在小米汽车智能座舱上使用大模型的算力、应用、场景等若干实践尝试。进而，与会人员就该思辨题目进行了讨论，内容主要包括：

(1) 大模型在智能座舱中的应用：与会专家提到大模型在智能座舱中的应用已经显现出提升驾驶体验的潜力。大模型能够将传统的手动控制场景转化为语音控制，这不仅将推动车辆按键设计的革新，还能缩短开发流程，降低开发的复杂性。其他与会专家补充，大语言模型在提升开发效率的同时，也为智能座舱的语音控制、语音唤醒等功能带来了全新的驾驶体验。但大模型在智能座舱中的应用可能受限于算力不足和模型结构的泛化性问题。

(2) 大模型在自动驾驶上的应用：与会人员也指出了大模型在智能驾驶中的局限性。虽然大模型能够为智能座舱中的语音控制提供支持，但在更高风险的自动驾驶领域，自动驾驶已较好落地矿山、港口等封闭交通场景，但在公路交通场景，虽然中国的萝卜快跑，国外的Waymo、Cruise在加快自动驾驶产业布局，但考虑到技术成熟度、法律责任判定不明等多因素还不具备普及于公路交通场景的能力。

其错误率尚未达到可以大规模应用的水平。目前，大模型更多地扮演着辅助工具的角色，无法从根本上解决自动驾驶的核心问题。

(3) 大模型+汽车的未来发展前景：与会专家提出大模型可以通过插件形式增强车辆与乘客的互动，进一步推动智能驾驶的发展。同时，有学者指出，尽管大模型在智能座舱中难以带来颠覆性的改变，但其在车辆故障诊断与预测、车路情况模拟仿真等方面具有重要应用价值。

除了上述的讨论外，专家还就大模型应用于代码辅助、安全测试、智能汽车销售、推荐系统、车企流程优化等全链条产业的优化进行了分析和研讨。

思辨议题二：大模型赋能智能汽车的技术挑战在哪里？

特邀嘉宾韩云鹏指出大模型在智能汽车领域的技术挑战主要体现在以下三个方面：首先是算力，目前车载AI芯片的算力在短期内难以实现突破，但车载场景对算力的需求却在持续增加；其次是网络稳定性，云边协同的应用可能会导致网络传输的不稳定性，特别是在地形复杂的地区（如重庆），网络连接的可靠性问题更加突出；最后是模型升级，自动驾驶领域缺乏成熟的大模型，模型的复杂性和升级问题仍需进一步解决。与会人员就下列议题进行了思辨讨论：

(1) 法律、伦理与决策边界的挑战: 大模型在智能汽车领域的应用带来了法律、伦理道德和决策边界问题。这些问题不仅增加了大模型的应用复杂性，还涉及到法律法规的适应性。具体包括法律法规对不同路况下车辆感知能力的影响，以及如何在决策过程中处理复杂的伦理和法律问题。这些挑战直接影响大模型的实际应用和推广。

(2) 可信性与技术局限:可信技术是大模型面临的最大问题。模型的透明性和可控性是确保其在智能驾驶中应用的前提。同时，仿真测试的局限性凸显，当前的测试场景大多为普通场景，缺乏极端情况下的仿真测试。此外，大模型在转化为大语言模型的过程中，智能汽车领域的问题未能得到充分解决，泛化性欠缺，导致在不同场景中的应用存在瓶颈。

(3) 算力、端侧部署与商业化障碍: 大模型在车载端侧的部署面临算力不足的问题，特别是车规级座舱AI芯片的性能瓶颈，这不仅限制了大模型的有效应用，还可能影响其他车载功能的运行。商业模式的缺乏和相关法规的制定滞后，使得基于大模型的自动驾驶可靠性难以评估。

此外，开闭源模式、数据样本的不足、模型不可解释性、AI伦理等问题也为大模型的商业化应用设置了障碍。

思辨议题三：在重庆“33618”政策的支持下，大模型助力智能汽车的技术路径和解决方案

特邀嘉宾吴超指出，大模型的应用和产业化是重庆“33618”政策的重要方向。在智能汽车领域，大模型的应用主要体现在两个方面：首先，大模型可与智能网联汽车产品融合，为其提供人机交互接口，并开发自动驾驶的核心功能；其次，大模型还可用于智能网联汽车的评估和服务，助力其功能优化。随后，与会人员就该议题进行如下的讨论：

(1) 政府指导与产业协同: 嘉宾们一致认为，重庆智能网联汽车产业的发展应在政府的指导下，政企校研合力推动。部分与会专家提出，应从小规模应用开始，逐步推进大模型的推广，但强调要谨慎对待其在智能汽车领域的全面应用。

(2) 智能座舱标准与生态构建: 针对智能座舱的发展，部分与会专家提出，应制定明确的智能座舱标准，并建立不同等级的规范。另有与会专家指出，智能汽车的定义尚不明确，需要建立交互式解决方案，并由行业龙头企业带头构建完整的智能汽车生态系统。

(3) 大模型应用的方向: 模型的应用方向上，嘉宾们指出，目前大模型缺乏直接面向消费者的应用（2C应用），因此大模型上车的主要目标应聚焦于产业管理与资源整合。此外，部分专家建议，车企与高校、科研单位应联合建立相关数据集，以推动算法发展和大模型上车。

随后， CCF YOCSEF重庆执行主席分别为引导嘉宾颁发感谢牌。最终，论坛在嘉宾的思维碰撞中结束，执行主席黄俊杰对论坛进行了简要总结。CCF YOCSEF重庆主席胡春强对引导嘉宾、到场人员及工作人员表示感谢。

本次论坛由中国计算机学会（CCF）主办，组织机构为中国计算机学会青年计算机科技论坛重庆分论坛（CCF YOCSEF重庆），CCF YOCSEF重庆AC委员黄俊杰和CCF YOCSEF重庆AC委员吴松共同担任本次论坛执行主席。