CNCC | 面向大模型的智能芯片与系统

郭崎

中国科学院计算技术研究所研究员、国家级青年人才

CCF体系结构专委会执委、高性能计算专委会执委，中国科学院计算技术研究所研究员。入选国家级青年人才、中国科学院青年科学家奖等，曾获2020年国家自然科学二等奖、2019年中国科学院杰出科技成就奖等。

李东升

国防科技大学计算机学院教授、杰青

CCF杰出会员，大数据专委会委员，国家杰出青年基金、首批国家优秀青年基金获得者。入选教育部新世纪优秀人才计划。获国家科技进步二等奖、中国青年科技奖、国务院政府特殊津贴等。

报告题目：分布式深度学习训练：挑战与探索

报告摘要：近年来，大数据、大模型对分布式深度学习训练技术提出了迫切需求。报告将分析分布式深度学习训练技术面临的挑战，对分布式深度学习训练技术的发展和相关探索开展探讨。

梁云

北京大学教授、杰青

CCF杰出会员，CCF体系结构专委会常委、集成电路专委会执委，北京大学长聘教授、博雅特聘教授，国家杰出青年基金获得者。入选国家高层次青年人才计划，北京市智源青年科学家，2020年IEEE-CCF青年科学家奖、2023年ACM杰出科学家。

报告题目：大模型的内存优化技术及在芯片设计领域的应用

报告摘要：大型语言模型（LLMs）的上下文管理越来越重要。键值缓存（KV缓存）的扩展需要更大的内存，限制了批处理大小，从而降低了吞吐量。本次分享将介绍两方面的内容，1）我们提出的一个以页为粒度的KV缓存管理器，能够识别和召回重要词元，我们根据页面的摘要评估所有页面的重要性，召回重要的页面，驱逐不重要的页面，选择较重要的页面进行注意力计算；2）我们提出的一个基于LLM的芯片设计框架，通过自我反思和数据集增强的方法来生成高质量、大规模的RTL代码。

李国齐

中国科学院自动化研究所研究员、杰青

国家杰出青年基金获得者，在Nature、Nature 子刊、Science 子刊等期刊会议上发表论文 200余篇，主持基金委重点项目（2项)、科技部重点研发项目等30余项；担任IEEE TNNLS、IEEE TCDS、清华大学学报-自然科学版等多个期刊编委。

报告题目：原生类脑脉冲大模型

报告摘要：类脑智能是受人脑信息处理机制启发，基于神经元和神经环路的结构和功能，以更通用人工智能为目标构建计算系统的技术总称。近年来脉冲神经网络在通用场景逼近传统深度学习的主流网络性能，展现出引领未来智能技术的潜力。本报告介绍脉冲神经网络的模型、算法及其硬件部署以及基于脉冲神经网络的类脑脉冲大模型的科研进展。

陈全

上海交通大学教授、优青

CCF体系结构专委会执委、高性能计算专委会执委，上海交通大学计算机系副主任、教授，国家优青获得者。曾获2019年国家技术发明二等奖、2023年CCF技术发明一等奖、2023年CCF青年科技奖、2019年阿里青橙奖等。

报告题目：面向神经网络高效推理的多级软件栈优化技术

报告摘要：神经网络推理是重要的计算任务，且部署在云平台或高性能边缘节点上以实现负载感知的弹性扩展。为实现神经网络推理，其软件栈包括加速器虚拟层、资源管理与编排层、及应用推理框架层。如何在整个软件栈的各层次进行系统性优化，以提高神经网络推理的性能和效率是目前的研究热点。为此，该报告将分析提高神经网络推理的主要瓶颈，并且介绍一系列加速器虚拟化、推理服务的快速设置、及基于画像的推理模型动态优化相关技术。

赵文来

国家超级计算无锡中心副主任

研究领域为并行计算、可重构计算、智能计算系统方向。主要成果为带领团队研发了基于“神威·太湖之光” 国产超级计算机的人工智能计算平台及软件生态。

报告题目：异构众核架构计算芯片加速大模型落地路线实践

报告摘要：2023年全球计算设备规模为1369E FLops，我国达到450EPflops，占全球三分之一，增速近50%。算力芯片已成为通用AI的核心要素。而芯片的架构制约大模型算力基础设施与系统的落地速度。本次分享内容将围绕异构众核架构与其他芯片架构路线在大模型算力集群扩展性、可靠性、部署难易程度及功耗能效方向进行分享。为大模型浪潮下，国产智能芯片提供崭新的技术路线视角。