面向复杂图计算应用的新型高能效体系结构 | CNCC 2022技术论坛

简介：CCF高级会员，CCF高性能专委会委员、CCF体系结构专委会委员，之江实验室特聘专家，2016年6月在华中科技大学获得计算机系统结构博士学位，主要研究高性能计算、体系结构和系统软件、图计算，主持国家自然科学基金和企事业项目10余项，参与国家重点研发计划项目、国家自然科学基金重点基金、863计划课题等，在ISCA、ASPLOS、HPCA、SC、DAC、USENIX ATC、ACM TOS、ACM TACO、IEEE TPDS、IEEE TC等CCF A/B类和IEEE/ACM Transactions上发表学术论文58篇，获评CCF A类会议USENIX ATC 2018最佳存储相关论文和最佳论文提名，入选国际顶级期刊IEEE TC的Featured Paper of the Month和ACM TACO的Five Recent TACO Articles of Interest等，相关成果被科技日报（头版）、科学网（要闻）、人民日报等报道。

简介：主要从事大数据处理、系统软件、新型体系结构等研究工作。主持或参与多项863、重点研发计划、国家自然科学基金等项目（课题）。在重要期刊和会议上发表100余篇论文，获国家自然科学二等奖1项、国家科技进步二等奖1项、教育部技术发明一等奖2项、教育部自然科学一等奖1项，获2017年度CCF-IEEE CS青年科学家奖。

嘉宾简介：Dr. Bingsheng He is currently a Professor and Vice-Dean (Research) at School of Computing, National University of Singapore. Before that, he was a faculty member in Nanyang Technological University, Singapore (2010-2016), and held a research position in the System Research group of Microsoft Research Asia (2008-2010), where his major research was building high performance cloud computing systems for Microsoft. He got the Bachelor degree in Shanghai Jiao Tong University (1999-2003), and the Ph.D. degree in Hong Kong University of Science & Technology (2003-2008). His current research interests include cloud computing, database systems and high performance computing. His papers are published in prestigious international journals (such as ACM TODS and IEEE TKDE/TPDS/TC) and proceedings (such as ACM SIGMOD, VLDB/PVLDB, ACM/IEEE SuperComputing, ACM HPDC, and ACM SoCC). He has been awarded with the IBM Ph.D. fellowship (2008), NVIDIA Academic Partnership (2011), and Adaptive Compute Research Cluster from Xilinx (2020). Since 2010, he has (co-)chaired a number of international conferences and workshops, including IEEE CloudCom 2014/2015, BigData Congress 2018 and ICDCS 2020. He has served in editor board of international journals, including IEEE Transactions on Cloud Computing (IEEE TCC), IEEE Transactions on Parallel and Distributed Systems (IEEE TPDS), IEEE Transactions on Knowledge and Data Engineering (TKDE), Springer Journal of Distributed and Parallel Databases (DAPD) and ACM Computing Surveys (CSUR). He is an ACM Distinguished member (class of 2020).

报告题目：Accelerating Graph Random Walks into Fast Runs on Heterogeneous Architectures

报告简介：Graphs are de facto data structures for many data processing applications, and their volume is ever growing. Many emerging graph analytics and learning applications require time-consuming random walks. Therefore, we have witnessed a significant amount of effort in accelerating graph random walks with heterogeneous architectures like GPUs, FPGAs and even ASIC. In this talk, we will first review the literatures of graph random walks on heterogeneous architectures. Next, we present our research efforts, and demonstrate the significant performance impact of hardware-software co-design on designing high performance graph random walks systems and applications. Finally, we outline the research agenda on challenges and opportunities in the system and application development for random walks. More details about our research can be found at http://www.comp.nus.edu.sg/~hebs/.

嘉宾简介：新加坡科技研究院（A*STAR）、资讯与通信研究所（I2R）研究科学家（Scientist III），新加坡国立大学、南洋理工大学兼职博士生导师，新加坡AI人才特殊津贴获得者。主要研究领域：面向大数据与人工智能的高效能算法与体系结构。已累计在国际学术期刊和会议上发表论文60余篇，一作论文涉及HPCA, DAC, AAAI, IEEE TC,IEEE TPDS, IEEE TSMC-S, IEEE TCYB, IEEE TNNLS, ICDM, ICPP等。

报告题目：面向图神经网络的高效能算法与体系结构协同设计

报告简介：最近，图神经网络 (GNN) 将深度学习扩展到了面向图结构数据的学习，并在很多任务上展示了其强大的图表示学习能力。典型的图神经网络模型大都采用邻域消息传播机制，通过聚合邻居节点的特征来更新目标节点的特征。通过分析，我们发现邻域消息传播机制的简单实现会导致大量的冗余计算和冗余通信开销。本报告主要介绍我们在高效能图神经网络方面的一些研究工作。我们通过算法与体系结构的协同设计来去除计算过程中的冗余，以此来加速图神经网络。与目前的图神经网络加速器相比，我们提出的图神经网络加速器在不损失网络精度的情况下带来了可观的加速比并极大的降低了能耗。

嘉宾简介：博士毕业于美国斯坦福大学电子工程系。研究方向为计算机体系结构与系统，尤其关注针对人工智能和大数据分析等数据密集型应用的新型存储架构、专用计算系统、硬件系统安全等方面。已发表多篇国际顶级学术会议(ISCA、ASPLOS、HPCA、OSDI、PACT等)论文，曾获得IEEE Micro 2016年度计算机系统结构最佳论文奖（Top Picks）、欧洲HiPEAC论文奖、福布斯中国2019年30 Under 30等荣誉。他也是MICRO、ASPLOS、ISCA等多个会议的TPC和ERC委员会成员。

报告题目：复杂图计算算法的硬件优化：领域专用加速和近存计算架构

报告简介：图作为最为基础而重要的数据结构之一，常常被用于描述现实世界中复杂且不规则的数据关系。在人工智能和大数据时代，图计算算法逐渐由传统基于边的简单信息传递，演化至图挖掘、图神经网络等复杂应用，但随之而来的系统算力需求也大大提升。图本身的不规则拓扑结构限制了数据访问的效率，同时复杂图计算算法的计算开销对数据处理提出了更高的性能要求。本报告将分为两个部分，介绍我们在面向复杂图计算应用的硬件架构方面的近期工作。一方面，为提高数据处理的性能，我们针对不同图计算算法提出了领域专用硬件架构，包括利用多层次细粒度并行的图挖掘加速，和自适应稀疏度的稀疏矩阵乘法加速。另一方面，为提高数据访问的效率，我们采用近存计算的思想，构建基于3D内存技术的可扩展架构，优化数据划分、数据通信、负载均衡等系统瓶颈，以支持以图计算为代表的复杂且不规则的应用。

嘉宾简介：2016年在香港大学电机与电子工程系获得博士学位，2016-2018年在新加坡国立大学计算机系开展博后研究工作，2018年6月进入中科院计算所工作。主要研究方向为领域专用加速器设计、集成电路设计自动化等，在计算机体系结构与设计自动化的重要学术会议和期刊 ISCA、DAC、TC、TCAD、TVLSI 等发表学术论文五十余篇，获得IEEE GLVLSI’21最佳论文奖以及IEEE Transactions on Computers Featured Paper of the Month。此外，指导学生在CVPR 低功耗计算机视觉挑战赛以及DAC系统设计竞赛中多次获奖。目前主持国家自然科学基金项目两项，作为技术骨干参与近存储计算、物端智能芯片、敏捷芯片设计等多个国家级以及大型企业的研究项目，获得2019年中科院科技成果转化特等奖。

报告题目：基于计算存储器的图处理系统设计

报告简介：计算存储器允许在靠近数据存储的地方进行计算，极大的减少了数据到主机计算引擎的搬运，避免了冗长I/O软件栈导致数据访问开销，是解决基于外存图处理系统I/O瓶颈的有效方法。然而，计算存储器受限于功耗、散热等硬件约束，其算力相对于主机往往低1到2个数量级，这使得一些I/O瓶颈的计算任务转化为计算瓶颈，甚至会严重影响系统的性能。同时，图处理任务间的计算和访存需求也存在巨大差异，并且随着计算的迭代发生动态改变，影响图处理任务在主机与计算存储器之间的最优分配。为此，我们系统的研究了图处理的任务特征，从图的预处理、数据布局和访问、动态任务调度等不同的角度探索充分利用主机和计算存储器各自的计算、访存优势的协同设计方法，并实现了一个基于计算存储器的单节点图处理系统，相对于传统基于外存的图处理系统，展示出了显著的性能加速。

嘉宾简介：于2014年与2019年在清华大学电子工程系获得工学学士和博士学位，研究方向为智能场景下稀疏计算快速高能效电路与系统设计。目前累计发表高水平国际会议/期刊论文30余篇。曾获NeurIPS21 BIGANN竞赛全球冠军，ASP-DAC19最佳论文奖，DAC22/DATE18最佳论文提名，北京市优秀博士毕业生，清华大学优秀博士毕业生，清华大学优秀博士论文等荣誉。参与指导学生获ACM 2021 SRC全球第三，MICRO 2020 SRC全球第一。作为项目负责人，主持包括国家自然科学基金青年项目等在内的多个纵横向项目。

报告题目：DIMMining：高效剪枝并行图挖掘近存架构

报告简介：图挖掘算法在诸多领域被广泛应用。我们指出高性能图挖掘会受到如下挑战：（1）剪枝比较开销大：剪枝技术在图挖掘中被广泛，然而引入巨大的索引比较开销；（2）并行度低：图挖掘算法涉及大量并行度低的稀疏集合操作；（3）数据传输量大：图挖掘引入了比原始数据量大几个数量级中间数据传输。针对上述挑战，我们提出了一种基于高效剪枝并行方法的图挖掘近存架构DIMMining。DIMMining提出的节点索引预比较技术可以有效降低剪枝操作的比较开销，并通过提出压缩位图和脉动合并阵列提升集合操作的并行度，最终实现基于DIMM的近存图挖掘架构，相对于CPU/FPGA加速2个数量级。

嘉宾简介：2022年在新加坡国立大学计算机学院获得博士学位，主要科研方向为领域专用加速器设计。博士期间主要研究基于FPGA的图处理加速器，并在MICRO，DAC，FPGA，FPL和CIDR等会议上发表论文。

报告题目：Scaling Graph Processing on HBM-enabled FPGAs with Heterogeneous Pipelines

报告简介：The use of FPGAs for efficient graph processing has attracted significant interest. Recent memory subsystem upgrades including the introduction of HBM in FPGAs promise to alleviate memory bottlenecks further. However, modern multi-channel HBM requires much more processing pipelines to fully utilize its bandwidth potential. Due to insufficient resource efficiency, existing designs do not scale well, resulting in the underutilization of the HBM facilities even when all other resources are fully consumed. In this talk, I will introduce our latest work, ReGraph, which customizes heterogeneous pipelines for diverse workloads in graph processing, achieving better resource efficiency, instantiating more pipelines, and improving performance.

嘉宾简介：主要研究面向图计算的体系结构和系统软件。2022年9月在华中科技大学获得计算机系统结构博士学位，入选第八届“长江学子”大学生就业创业人物“开拓创新类”。研制了高能效软硬协同图计算引擎，性能功耗比在第18届Green Graph 500排名中全球第一，单机性能在第23届和第24届Graph 500排名中全球第一，在ISCA、SC、IEEE TC、ACM TOS、IEEE TKDE等CCF A/B类和IEEE/ACM Transactions上发表学术论文10余篇，入选国际顶级期刊IEEE TC的Featured Paper of the Month等。