CNCC | 多模态大模型在NPU上的应用能否开创新的交互范式？

朱文武

CCF会士，清华大学教授

清华大学计算机系教授，信息科学与技术国家研究中心副主任。CCF会士、ACM Fellow、IEEE Fellow、AAAS Fellow、欧洲科学院外籍院士。获2024年度IEEE电路与系统学会Charles A. Desoer技术成就奖和2023年ACM SIGMM技术成就奖。3次获国家自然科学二等奖。

王哲鹏

联想集团副总裁

联想研究院个人电脑与生态创新实验室负责人，智能无人系统产学研联盟副理事长。自2001年持续从事智能设备，柔性显示技术，智能零售，智慧教育等领域的研发工作，拥有专利160余项。主持研发的创新产品在CES，MWC, IFA三大展会获得150多项大奖，视觉算法在CVPR, ICCV, ECCV三大会议获得10余项竞赛冠军，并获得北京市科技进步奖一项和CCF科技进步奖一项。目前承担科技创新2030重大项目和国家重点研发计划重点专项各一项。

陈云霁

CCF体系结构专委会主任，中国科学院计算技术研究所副所长

中科院计算所副所长，处理器芯片全国重点实验室主任，CCF体系结构专委会主任。长期从事处理器芯片与人工智能的交叉研究，研制了国际首款深度学习处理器芯片（寒武纪1号），被Science杂志刊文评价为深度学习处理器的“先驱”和“引领者”。龙芯3号CPU的主架构师之一，2019年开设了国内首门智能计算系统课，2020年编写的《智能计算系统》教材已重印多次。 曾获国家自然科学二等奖、国家杰出青年科学基金、全国五一劳动奖章、中国青年五四奖章、何梁何利科技创新奖，被MIT技术评论评为全球35位杰出青年创新者。

报告题目：人工智能自动设计处理器芯片

报告摘要：图灵的博士导师阿隆佐•邱奇（Alonzo Church）在1957年提出了面向电路综合的邱奇问题（Church's Problem），即机器能否自动设计电路。这个问题被很多计算机和人工智能学者视为计算机科学的一个“圣杯”。但此前业界几十年的探索却一直没有突出的进展，机器只能设计一千个门的玩具电路。我们通过长期的研究，在此问题上取得了突破，形成了国际上首个由AI自动设计的CPU芯片“启蒙1号”。该芯片包含了超过4,000,000个逻辑门，被Nature新闻报道为“对中国芯片发展的好消息”。

李东升

CCF体系结构专委会副主任，国防科技大学计算机学院教授

CCF杰出会员、大数据专委会委员。国防科技大学计算机学院教授、并行与分布计算全国重点实验室副主任。国家杰出青年基金、首批国家优秀青年基金、全国优博获得者，入选教育部新世纪优秀人才计划。主要从事并行与分布式计算、高性能数据中心、数据智能处理等方面研究工作，在《中国科学》、IEEE/ACM Transactions等学术期刊和会议上发表学术论文100 余篇，主持研制的系统在国家重要领域得到应用。获国家科技进步二等奖、军事科技进步一等奖、湖南省自然科学一等奖、湖南省教学成果特等奖、中国青年科技奖、国务院政府特殊津贴等。

报告题目：面向多核处理器的图神经网络推理优化

报告摘要：近年来图神经网络（GNNs）受到了关注。图数据集规模越来越大以及图神经网络的图计算模式多样，给计算平台上图神经网络的推理带来了挑战。报告将分析图神经网络推理在多核CPU上的性能瓶颈，通过对图数据内存访问模式的优化，设计高效的负载均衡策略以及利用多核处理器的向量化指令重新构建图神经网络的核心算子，有效提高GNN在多核CPU上的推理性能。在Intel、AMD、ARM等多种架构的多核处理器上，该方法与当前主流的图神经网络框架DGL和PYG等相比，可显著提高图神经网络的推理性能。

汪玉

清华大学电子工程系长聘教授、系主任

清华大学电子工程系长聘教授、系主任，IEEE Fellow，国家自然科学基金杰出青年基金获得者，清华大学信息科学技术学院副院长，清华大学天津电子信息研究院院长。汪玉教授长期从事智能芯片、高能效电路与系统研究，发表IEEE/ACM期刊论文60余篇、会议论文270余篇，谷歌学术引用20,000余次。主持国家级以及企业联合项目多项，获CCF科学技术奖技术发明一等奖、国际设计自动化会议40岁以下创新者奖、CCF青竹奖等荣誉。曾获得4次国际学术会议最佳论文奖及12次最佳论文提名。2016年知识成果转化入股深鉴科技，打造世界一流的深度学习计算平台，2018年被业内龙头企业赛灵思（现AMD）收购。2023年推动成立无问芯穹，形成面向大模型的软硬件联合优化平台，在国内外十余种芯片上实现业界领先的大模型推理性能。

报告题目：面向AI2.0的高能效电路与系统设计

报告摘要：基于Transformer架构的大语言模型在多种应用上取得了优异的性能，标志着AI 2.0时代的来临。随着模型参数量的激增，大模型的计算、存储和访存开销相比传统深度学习模型增加了4-5个数量级，导致现有端侧硬件平台难以实现大语言模型的高效部署。本报告将首先聚焦大模型时代下软硬件系统方面的关键挑战和发展现状，介绍面向AI 2.0的高能效电路与系统设计方法，包括算法模型压缩、软件算子优化、到硬件架构设计等一系列软硬件协同优化方法。其次，本报告将介绍我们在AI PC场景下开展大模型软硬件协同优化的相关工作。最后，本报告将对AI PC上软件和硬件的未来发展趋势进行展望。

鲁继文

清华大学自动化系副主任、长聘教授

清华大学长聘教授，博士生导师，自动化系副主任，国家杰出青年科学基金获得者，IEEE/IAPR Fellow，国际期刊Pattern Recognition Letters主编，国家重点研发计划项目负责人，中国仿真学会视觉计算与仿真专业委员会主任，中国自动化学会专家咨询工作委员会副主任。长期从事计算机视觉、模式识别、具身智能等方面研究，发表IEEE汇刊论文140余篇（其中T-PAMI论文40篇），CVPR、ICCV、ECCV、NeurIPS论文160余篇，谷歌学术引用32000余次，获授权国家发明专利60余项，主持国家自然科学基金重点项目2项，获中国电子学会自然科学一等奖1项（排名1）和国家级教学成果奖二等奖1项，担任T-IP、T-CSVT、T-BIOM、PR、自动化学报等期刊编委和ACCV2026、FG2023、ICME2022、VCIP2022、AVSS2021等会议大会主席/程序委员会主席。

报告题目：视觉感知与具身智能

报告摘要：具身智能是人工智能与机器人领域的研究热点，在工业、农业、服务业等有着重要的应用前景。报告将回顾视觉感知与具身智能近年来的研究进展，主要包括自主环境感知、三维场景表示、视觉定位巡航等方法，以及在多模态场景理解、机器人抓取与打包、大模型端侧部署等任务中的应用，最后对未来发展趋势进行展望。

司鑫

东南大学集成电路学院副教授/博导

长期从事存内计算和高算力AI芯片研究，近年来累计发表高水平论文45篇，包含12篇有着“芯片奥林匹克”之称的ISSCC论文以及8篇集成电路顶刊JSSC、Nature Electronics等。曾获IEEE CICC最佳学生论文提名奖和MCSoC最佳论文奖。主持多项国家、省部级科研项目。担任IEEE VLSI-TSA、ICTA和MCSoC会议技术委员会委员。

报告题目：面向大算力的SRAM存算芯片设计

报告摘要：随着大数据时代的蓬勃发展，面向边缘端的AIGC场景受到越来越多的关注，它需要对数据进行大量且频繁地访问和计算，因而迫切需要高能效的智能处理器芯片。在基于传统冯诺依曼架构的处理器设计中，存储单元和计算单元之间的数据交互必须经由有限的数据总线，系统的性能很大程度上限制在总线的带宽以及存储单元的读写功耗。为了打破这一“存储墙”的瓶颈，存内计算受到了广泛的关注，基于存内计算的系统架构在保留存储单元自身所具有的存储和读写访问功能的同时，还可以支持不同的逻辑或者矩阵乘加运算，从而在很大程度上减少了计算单元和存储单元之间频繁的总线交互，也进一步减少了大量的数据搬移量和由此带来的功率消耗，从而极大地提升系统的能耗效率。本报告将根据国内外基于静态随机存储器（SRAM）的存内计算设计现状，着重分析存内计算芯片设计的挑战和最新发展趋势。

颜毅强

联想集团首席研究员

联想集团首席研究员，长期从事智能设备开发工作，领导多款业界首创的设备开发工作，包括：无线显示设备、智能电视、柔性设备、智慧零售、平板电脑二合一设备。主持研发的产品在CES、MWC上斩获120多项大奖，并与2021年获得CCF科技进步奖。目前主持面向大模型的个人电脑计算体系架构和交互创新。累计发表发明专利78项，其中海外专利19篇。

报告题目：基于NPU的个人计算体系和交互创新

报告摘要：端侧大模型的推理需求，对传统以CPU+GPU为核心的个人电脑提出了巨大的挑战。报告将探讨CPU+GPU+NPU能否成为下一代主流架构？基于NPU如何实现大模型的快速部署、推理优化以及异构计算，常见的模型优化方式有哪些，在端侧的应用前景如何？报告将进一步讨论，端侧模型推理能力提升将带来个人电脑交互创新的机会，并总结对未来AI PC发展的预期。

CNCC2024将于10月24-26日在浙江省东阳市横店镇举办，大会主题为“发展新质生产力，计算引领未来”。大会为期三天，包括18个特邀报告、3个大会论坛、138个专题论坛及34场专题活动和100余个展览。图灵奖获得者、两院院士、国内外顶尖学者、知名企业家在内的超过800位讲者在会上展望前沿趋势，分享创新成果。预计参会者超过万人。