CIRAC 2024分论坛预告——大模型与通用机器人

会议详细日程

主席介绍：

演讲嘉宾

王东林

西湖大学

王东林，博导，西湖大学人工智能领域主任，西湖机器人公司创始人，国家科技创新2030重大项目首席科学家。西安交通大学电信学院工学学士（2003）和硕士学位（2006），加拿大卡尔加里大学电子与计算机工程系博士学位（2010）。2017年加盟西湖大学，建立了机器智能实验室（MiLAB），主要研究强化学习和机器人具身智能，深入研究离线强化学习、模仿学习、人类反馈强化学习和机器人具身大模型及软硬件耦合等领域，发表ICML、ICLR、NeurIPS、CVPR、RSS等人工智能和机器人顶会顶刊论文150余篇，授权十余项国家发明专利。近五年主持承担了科技部重大项目、国家自然科学基金委等多项国家重要项目。

报告题目：大模型与机器人具身智能

报告摘要：随着语言大模型和多模态大模型的迅速发展，机器人具身智能逐渐成为研究热点。在此背景下，本报告首先介绍采用最优数据训练的机器人具身大模型和采用最优及次优数据训练的强化决策大模型。然后，关注强化学习设计的机器人小脑，针对强化学习的采样效率低下问题和奖励函数设计困难问题，分别介绍我们团队近期在离线强化学习、迁移强化学习、自主奖励函数设计等方面的最新工作。最后，简单介绍强化学习与控制理论的耦合方法，有效缓解机器人的仿真真实差异问题。

张奇

复旦大学

张奇，复旦大学计算科学技术学院教授、博士生导师、上海市智能信息处理重点实验室副主任。兼任中国中文信息学会理事、CCF大模型论坛常务委员、SIGIR Beijing Chapter组织委员会委员等。在ACL、EMNLP、COLING、全国信息检索大会等重要国际国内会议多次担任程序委员会主席、领域主席、讲习班主席等。发表论文200余篇，获得美国授权专利4项，著有《自然语言处理导论》、《大规模语言模型：从理论到实践》。复旦大语言模型 MOSS 核心成员、复旦眸思多模态大模型负责人，发布了国际上首个自然语言处理鲁棒性评测平台TextFlint、国际首个统一的越狱攻击框架 EasyJailbreak。相关研究成果获得WSDM 2014最佳论文提名奖、COLING 2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖、NeurIPS 2023 Instruction Workshop最佳论文奖、ICLR 2024亮点论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”、人才培育计划等支持，获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步二等奖、ACM 上海新星提名奖、IBM Faculty Award等奖项。

报告题目：大语言模型是实现AGI的必由之路吗？

报告摘要：2023年以来，大语言模型迎来了迅猛的发展，在多个领域展现出前所未有的能力。这引发了许多人对通用人工智能（AGI）的预测，认为基于大型语言模型的AGI将在短时间内成为现实。然而，大语言模型是否真的是实现AGI的必由之路呢？本次介绍将深入探讨这个问题。包括：大语言模型能力来源，什么是AGI，要实现AGI所必须具备的重要能力，当前大语言模型在这能力上的表现，大语言模型未来发展思考等。

王昊奋

同济大学

王昊奋，同济大学特聘研究员。长期在一线人工智能公司担任CTO之职。他是全球最大的中文开放知识图谱联盟OpenKG发起人之一。他负责参与多项国家级AI相关项目，发表100余篇AI领域高水平论文，被引用次数达到4100余次，H-index达到30。他构建了全球首个可交互养成的虚拟偶像—“琥珀·虚颜”；所构建的智能客服机器人已累计服务用户超过10亿人次。目前，他担任中国计算机学会术语工委副主任，自然语言处理专委秘书长，信息系统专委常委，智能机器人专委会执委；中国中文信息学会理事，大模型专委会指导委员会委员，语言与知识计算专委会副秘书长；中国指挥控制学会大模型专委会常务委员；上海市计算机学会自然语言处理专委会副主任等社会职位。

报告题目：世界模型角度下知识增强大模型的融合创新与展望

报告摘要：世界模型和知识增强大模型正逐渐成为推动新一代人工智能技术创新的核心力量。本报告将介绍相关基本概念，通过分析前沿研究案例和最新技术发展趋势，给出世界模型角度下知识增强大模型在理解复杂物理世界机理、提升决策质量和加速知识获取过程中的关键作用，最后结合垂直领域的落地应用展望未来技术范式。

王鹤

北京大学

王鹤博士是北京大学计算机学院前沿计算研究中心的助理教授和博士生导师。他创立并领导了北大具身感知与交互实验室(EPIC Lab，主页：https://hughw19.github.io)，研究目标是通过研发具身泛化技能及具身多模态大模型推进通用机器人的发展。他担任北大-银河通用具身智能联合实验室主任，智源学者。他已在计算机视觉、机器人学和人工智能的顶级会议和期刊（CVPR/ICCV/ECCV/TRO/RAL/ICRA/NeurIPS/ICLR/AAAI等）上发表五十余篇工作，其论文获得ICCV2023最佳论文候选，ICRA2023最佳操纵论文候选，2022年世界人工智能大会青年优秀论文（WAICYOP）奖，Eurographics 2019最佳论文提名奖。他获得英特尔中国学术英才计划荣誉学者称号。他担任CVPR和WACV的领域主席，Image and Vision Computing的副主编和诸多顶会的审稿人、程序委员。在加入北京大学之前，他于2021年从斯坦福大学获得博士学位，师从美国三院院士Leonidas. J Guibas教授，于2014年从清华大学获得学士学位。

报告题目：面向通用机器人的具身多模态大模型系统

报告摘要：通用机器人是具有任务和环境通用属性和革命性意义的下一代机器人。本报告将讨论通过具身多模态大模型系统融合视觉语言等模态可以直接对高度泛化通用的物理任务输出动作的解决方案。报告将介绍由本体和数据构成基石层、大脑和小脑构成能力层的具身多模态大模型系统方案。对于本体和数据，我们将对人形机器人的形态进行探讨，提供硬件的发展思路和基于合成大数据的泛化训练数据获取途径。对于能力层，我们完全通过合成数据和Sim2Real实现了多个泛化的移动和操作技能，包括二指和灵巧抓取、铰接类物体操作、柔性物体操作、端到端视觉语言导航大模型等等，这些构成了小脑。而对于大脑，我们将展示GPT-4V为代表的非具身多模态大模型进行视觉感知、任务规划和调用中层的三维视觉技能，实现从家用电器泛化操作到开放指令物体摆放的能力。最后，报告将展望通用机器人的未来，讨论其中的机会和挑战。

Pannel主题：机器人大模型落地应用前景

彭俊杰

上海大学

上海大学教授，博导，上海市计算机学会理事、副秘书长、自然语言处理专委会副主任，CCF智能机器人专委会执委，上海市科协“晨光计划”入选者。主要研究方向为自然语言处理、情感计算、计算机视觉、数据分析与挖掘、智能技术与系统等。主持国家级、省部级及企业委托项目30余项；申请专利50项，授权37项。出版学术专著一部，在包括IEEE TOC、IEEE TAC、PR、IPM、INS、Science China、中国科学：信息科学等行业领域著名期刊及会议上发表学术论文150余篇。曾获中国产学研合作创新奖、中国人工智能学会青年科技成果奖、上海市教学成果一等奖、上海市计算机学会自然科学二等奖、上海市研究生优秀学位论文（指导教师）等荣誉。

刘斐

上海擎朗智能科技有限公司

刘斐，上海擎朗智能科技有限公司高校合作总监、CCF YOCSEF上海分论坛秘书长。博士毕业于国防科学技术大学智能科学学院，先后在第二军医大学、中国自动化学会机器人竞赛与培训部、木星机器人科技有限公司等单位工作。同时还担任中国自动化学会机器人竞赛工作委员会委员/赛项负责人、RoboCup机器人世界杯中型组国际组委会主席、中国自动化学会“智向未来”自动化与人工智能科普百人专家团专家等。长期从事机器人产品研发、课程设计、技术推广等工作，熟悉机器人及其相关研究方向的应用场景、主要技术以及发展方向。出版学术专著1本，发表论文十余篇，获得发明专利、实用新型专利、软件著作权多项。