CCF Computility 2024 | 翟季冬教授、董德尊研究员和谢鲲教授邀你共话大模型基础设施与架构技术

翟季冬，CCF杰出会员、CCF高性能计算专委副主任、清华大学计算机系长聘教授、博士生导师。国家杰出青年科学基金获得者，国家重点研发计划项目负责人。清华大学计算机系高性能所副所长。ACM中国高性能计算专家委员会秘书长。主要研究领域包括并行计算、编程模型与编译优化。在并行计算与系统领域顶级会议和期刊发表论文100余篇，出版专著1部。研究成果获IEEE TPDS 2021最佳论文奖、IEEE CLUSTER 2021最佳论文奖、ACM ICS 2021最佳学生论文奖等。担任NPC 2018程序委员会主席、IEEE CLUSTER 2021领域主席，IEEE Transactions on Computers等多个国际学术期刊编委。担任清华大学学生超算团队教练，指导的团队十三次获得世界冠军。获教育部科技进步一等奖、中国计算机学会自然科学一等奖、CCF-IEEE CS青年科学家奖。

王毅，CCF杰出会员，CCF体系结构专委会秘书长，深圳大学计算机与软件学院教授、博士生导师。国家优秀青年基金、广东省杰出青年基金、深圳市杰出青年基金获得者。广东省普及型高性能计算机重点实验室常务副主任。主要研究领域包括计算机存储系统、智能芯片与智能计算系统。

董德尊，国防科技大学计算机学院研究员、博导，教育部长江学者，国防科技卓青。主要研究计算机体系结构、高性能与智能计算、并行与分布式系统等。作为银河/天河副主任设计师，长期参与国产高性能计算机系统研制工作。获湖南省教学成果特等奖，军队科技进步一等奖，湖南省自然科学一等奖，中国电子学会自然科学二等奖等。在中国计算机学会CCF推荐的A/B类国际刊物发表论文70余篇。获教育部全国优秀博士学位论文奖，CCF优秀博士学位论文奖等。担任Fundamental Research、国防科技大学学报、计算机工程与科学等期刊编委。CCF杰出会员，CCF体系结构/高性能计算/分布式计算与系统等专委会委员或常委。

报告题目：面向多核处理器的矩阵计算优化

报告摘要：矩阵计算是在智能与高性能应用中具有广泛应用的基础算子之一。在多核处理器上优化稠密和稀疏矩阵计算是本领域经典的挑战性问题。计算应用负载与硬件特性的适配多样性，为各类矩阵计算带来新的优化机会。本报告将讨论近年来课题组关注的一些面向自主或通用多核处理器的矩阵计算优化问题，分享稠密矩阵乘，稀疏序列矩阵向量乘，稀疏三角方程求解等问题的部分进展。

谢鲲，湖南大学二级教授，国家杰出青年基金获得者，湖南省杰出青年基金获得者，湖南省青年骨干教师，湖南省优秀硕士生导师，长沙市“巾帼建功”标兵，湖南大学岳麓学者，湖南大学科研标兵。目前担任超算与人工智能融合计算教育部重点实验室主任。研究方向为：计算机网络，网络安全，大数据和人工智能。

报告题目：网络运维大数据感知、建模和分析

报告摘要：随着网络规模的扩大和复杂性的增加，网络设备、应用程序和用户行为等各个方面都会产生大量的数据。通过对这些数据进行挖掘和分析，可以发现网络中的异常情况、性能瓶颈、性能优化的机会等，从而提升网络的可靠性和安全性，支撑新型网络应用。本报告阐述我们处理运维大数据感知、建模和分析的思路和方法。

钱学海，清华大学计算机系长聘教授，研究领域报告并行计算机体系结构、面向领域的体系结构和系统、硬件安全等。他于2013年获得美国伊利诺伊大学香槟分校博士学位，并获得W.J Poppelbaum Memorial Award。先后在南加州大学和普渡大学任教，获得美国国家自然科学基金Career Award等多项资助，并获得首届北美华人计算机协会新星奖。在国际顶级会议和期刊上发表多篇论文，进入所有四个计算机体系结构顶级会议(ISCA, ASPLOS, MICRO, HPCA) “名人堂” (Hall of Fame)。

报告题目：图神经网络和大模型的训练和推理系统

报告摘要：由于摩尔定律的变缓和功耗等技术限制，未来计算机系统需要领域定制的软硬件系统的设计，跨越算法、软硬件系统和新型硬件技术的“垂直”整合至关重要。本讲座首先介绍一个分布式图神经网络训练系统，利用层级并行大幅减少远程通信，同时提出若干训练技术保证模型收敛。接着介绍我们最近在大模型系统上的研究尝试和进展，包括充分利用GPU/CPU内存和磁盘存储资源的训练系统，考虑请求延迟和服务质量的高效推理系统，以及针对LoRA模型的训练/微调融合系统等。

蒋超，高级工程师，2013年博士毕业于华中科技大学，博士期间主要从事GPU/FPGA异构计算、软硬协同设计等研究。先后在研究所、互联网行业等单位从事异构计算、AI加速、软硬件结合等研发工作。现就职于联想研究院，在智能计算基础设施实验室担任主任研究员，负责系统架构设计与硬件研发相关工作。

报告题目：联想异构智能计算平台

报告摘要：随着AI的发展，尤其是大模型时代的到来，模型的规模持续增大，从早期的几十M级别到如今的万亿参数规模，在这个过程中，异构算力无疑发挥了最重要的核心支撑作用。为了进一步促进人工智能行业的发展，联想在已有AI服务器硬件的基础上，积极布局软件基础设施，打造了一款高性能异构智算平台。该平台面向AI和HPC业务开发、部署、运行全流程需求，突破了多元异构算力资源纳管、GPU细粒度虚拟化池化、大规模分布式训练高效弹性容错、高性能集合通信软硬件协同优化、DPU卸载基础负载、AI高层编译训推优化、AI与HPC任务融合调度等关键技术，可为行业用户提供极致优化的算力、通信、存储、容错、运行、维护服务以及AI和HPC应用任务全生命周期的管理支撑。

Hong Xu is an Associate Professor in Department of Computer Science and Engineering, The Chinese University of Hong Kong. His research area is computer networking and systems, particularly big data systems and data center networks. From 2013 to 2020 he was with City University of Hong Kong. He received his B.Eng. from The Chinese University of Hong Kong in 2007, and his M.A.Sc. and Ph.D. from University of Toronto in 2009 and 2013, respectively. His work has received best paper awards from ACM SIGCOMM 2022, IEEE ICNP 2023 and 2015, among others. He was the recipient of an Early Career Scheme Grant from the Hong Kong Research Grants Council in 2014. He is a senior member of IEEE and ACM.

报告题目：Towards End-to-End Optimization of LLMs and Their Applications

报告摘要：A plethora of LLM-based applications have emerged after the explosive development in generative AI. How to serve them efficiently is clearly paramount. This talk will introduce our attempts to optimize LLM-based applications from an end-to-end perspective. For applications, we build Teola to orchestrate their workflows holistically. Instead of using a simple chain of coarse modules (indexing, search, etc.), Teola represents a workflow using a fine-grained primitive-level data graph, thus exposing a larger design space with more opportunities to exploit the end-to-end optimizations such as parallelization, pipelining, and application-aware execution scheduling. Zooming into LLMs, we again take a holistic approach and build LLEGO to serve them using fine-grained blocks which are sharable across different LLMs, instead of treating them as individual silos. Both systems demonstrate the potential of fine-grained representations that open up a much larger optimization space towards end-to-end metrics, with many exciting new opportunities.