存算一体是一种革新性的计算范式,与以往的冯诺依曼架构相比,其打破了由于计算单元与存储单元过于独立而导致的“存储墙”,能够达到用更低功耗实现更高算力的效果。因此存算一体技术也成为近年来计算机体系结构和集成电路芯片设计领域最热门的方向之一。在产业界,科技巨头纷纷布局存算一体,国内相继也有近十几家初创公司押注该架构。针对存算一体芯片热潮,中国计算机学会(CCF)青年计算机科技论坛(YOCSEF)广州分论坛学术委员会于2024年4月6日,在华南理工大学广州国际校区,举办了YOCSEF大湾区IT创新论坛——“存算一体能否颠覆经典冯诺依曼架构?”观点论坛,共论存算芯片发展的未来之路。
此次论坛由CCF主办,YOCSEF广州学术委员会承办,YOCSEF广州AC委员姚恩义(华南理工大学)和曾衍瀚(广州大学)共同担任执行主席,广州唐邦信息科技有限公司提供赞助支持。论坛邀请了清华大学电子工程系李学清副教授、中山大学计算机学院沈明华副教授、香港科技大学(广州)微电子学域姜泓吾助理教授作为引导发言嘉宾,华南师范大学电子与信息工程学院王德明教授、深圳市九天睿芯科技有限公司创始人, 董事长兼CEO刘洪杰博士、华南理工大学微电子学院杨斯媚副教授作为思辨嘉宾。
YOCSEF广州往届主席黄栋(华南农业大学),YOCSEF广州现任主席龙锦益(暨南大学),候任主席李冠彬(中山大学),现/候任副主席刘同来(仲恺农业工程学院)、黄培涛(唐邦信息科技),YOCSEF哈尔滨候任副主席张晓光(黑龙江大学),YOCSEF广州候任AC委员陈俊颖(华南理工大学)、陈炳丰(广东工业大学)以及来自广东地区多所高校及企事业单位共40多人参加讨论与思辨。
在论坛开幕环节,首先由本次论坛执行主席姚恩义逐一介绍与会嘉宾,再由YOCSEF广州主席龙锦益介绍YOCSEF文化内涵。龙锦益对YOCSEF的含义、理念、分论坛以及YOCSEF广州的特色文化等内容作了介绍。
图1 论坛执行主席姚恩义介绍论坛背景
图2 YOCSEF广州主席龙锦益对YOCSEF文化做简要介绍
在引导报告环节,首先由清华大学李学清副教授以“Cramming More Weight Data Onto Compute-in-Memory Macros for High Task-Level Energy Efficiency Using Custom Hybrid ROM-SRAM Integration”为题,讲解了高性能存算一体芯片的设计方法和未来展望。报告提出将ROM引入到存算一体电路中,并通过将ROM和SRAM协同配合,将大容量big-ROM和小容量small-SRAM压缩,更进一步提出了hidden-ROM,实现更好的存储密度,计算效率,支持更高的复杂度。
图3 清华大学电子工程系李学清副教授做引导发言报告
中山大学沈明华副教授以“深度学习的图与张量计算”为题,针对模型复杂度、算力需求、安全方面的挑战,重点介绍了团队在图计算、张量计算和安全访存方面的研究成果,如基于图属性缓存的编译器,基于图核融合和快速筛的运行时系统和相应的硬件加速器,提出了张量编译框架,支持不同类型的张量计算和空间架构加速器,局部性感知的标签分配等前沿技术。
图4 中山大学计算机学院沈明华副教授做引导发言报告
香港科技大学(广州)姜泓吾助理教授以“High-Efficiency Data Conversion in Compute-in-Memory Design”为题,介绍了存算一体芯片的基本原理,包括存储单元,网络映射、硬件架构,分析了存算一体芯片中ADC/DAC的挑战,提出了网络硬件协同设计,offset-aware training等技术路线,并分析了ADC的测试结果,报告最后分享了其对存算一体技术,特别是在大模型应用下发展趋势的看法。
图5 香港科技大学(广州)微电子学域姜泓吾助理教授做引导发言报告
图6 论坛为引导发言嘉宾颁发感谢状
在引导报告之后,论坛进入思辨环节。与会嘉宾围绕“相比于经典冯诺依曼架构,存算一体技术最显著的优势在什么地方?”、“目前针对存算一体架构的实现路径有很多,存算一体技术未来的发展趋势是什么?”以及“存算一体的产业落地如何破局?”等议题展开观点思辩,论坛邀请了华南师范大学王德明教授、深圳市九天睿芯科技有限公司刘洪杰博士、华南理工大学杨斯媚副教授担任思辨特邀嘉宾。
图7 论坛执行主席曾衍瀚主持思辨议题
图8 嘉宾思辨讨论发言
议题1:相比于经典冯诺依曼架构,存算一体技术最显著的优势在什么地方?
衍生议题1.1:存算一体技术发展的瓶颈在哪里?
针对此议题,与会专家普遍认为,存算一体技术最终解决的就是计算过程中的存储墙问题,其显著优势在于提高计算速度,降低系统功耗。华南师范大学王德明分享了研究团队在微控制器领域研究和开发的经验。在传统架构中计算和存储是分开的,数据需要反复在MCU、射频收发和安全加密模块之间迁移,能耗和时延很难取得突破。而采用了片上集成的近存设计技术,在速度上有了明显的提高,同时功耗也成倍下降。
针对存算一体技术发展的瓶颈问题,中山大学沈明华和香港科技大学(广州)姜泓吾同时指出,存算一体芯片目前面临着生态欠缺的问题,也没有较为好用的编译器,在大规模应用过程中依然无法避免数据通讯的问题,同时面临着存储一致性的问题,存算一体技术学术发展与实际应用还存在着较大的差距。清华大学李学清表示,基于SRAM的存算一体技术在性能上具有交大的优势,但是由于6T的基本结构,密度存在局限,存算一体在应用上的瓶颈要远大于技术发展的瓶颈。
议题2:目前针对存算一体架构的实现路径有很多,存算一体技术未来的发展趋势是什么?
衍生议题2.1:存算一体是否可以有效支撑大模型发展对基础算力的需求?
衍生议题2.2:存算一体是否具有颠覆当前计算芯片产业的潜力?
华南理工大学杨斯媚表示,目前可以基于多种不同的存储器件实现存算一体芯片,不同器件的性能特点迥异,未来可以探索针对不同应用场景的最佳存储器件类型及优化理论。在系统架构上,存算一体芯片的发展应该是向着大规模和异构集成的方向,存算一体芯片的应用需要与CPU,甚至GPU通过异构集成的方式共同提供强大的算力输出。在软件生态方面,当前产业界已经出现一些针对存算一体的编译器和API,但是性能有待提升,还需要学术界和产业界的共同努力,加以完善。
针对人工智能领域目前最为火热的大模型,YOCSEF广州候任AC委员、华南理工大学陈俊颖认为存算一体是具备支撑大模型的算力需求的,一方面在于大模型对数据存储的需求更为强大,另一方面存算一体技术本身所带来的性能上的优势。YOCSEF广州候任主席、中山大学李冠彬认为大模型并适合存算一体技术发挥优势,大模型已经具有了自己的生态,存算一体难以取得优势。存算一体更适合做小模型,可以快速低耗进行计算,还可以保护数据隐私。
在存算一体是否具有颠覆当前计算芯片产业的潜力话题上,参与讨论的大部分专家都认为存算一体技术在未来还是具备可挖掘的潜力和生长空间。但与此同时,当前智能计算芯片领域的各类芯片都有着自己独特的应用场景,存算一体技术当前存在的市场、资金以及安全等难题都有待解决。存算一体技术需要与其他不同类型芯片配合使用,才能发挥巨大的性能优势。
议题3:存算一体的产业落地如何破局?
衍生议题3.1:存算一体技术能否助力国产芯片实现换道超车?
针对存算一体技术产业化落地与发展,深圳市九天睿芯科技有限公司刘洪杰表示,存算一体技术涉及到最底层的计算过程,完成基本的乘加运算,其通用性需要在系统架构上进行重新设计和优化。现阶段初创公司很难做到自下到上整套流程的技术开发和产品推广,仅能根据实际需求来针对特定场景进行专门设计。目前存算一体技术已经实现产业化落地和应用领域有很多,主要集中在边缘端产品,如助听器、车载电子和AR眼镜等。目前公司也在开发面向云端计算的存算一体芯片技术和产品。
广州智能科技发展有限公司总裁、广州信息协会会长罗敏静女士、中山大学李冠彬、以及长沙金维集成电路股份有限公司王锦山等专家认为,存算一体技术在边缘端的应用具有着独特的优势,同时端侧产品具有更广阔的市场。我们应该让消费者认识到存算一体技术的优势,从端侧入手,与英伟达等高性能GPU、NPU错位竞争,小算力场景更需要低功耗和高隐私性的芯片产品。
在存算一体技术能否助力国产芯片实现换道超车这一话题上,清华大学李学清指出,存算一体还是一个比较新的技术,国内外基本上都处在同一起点上,具有非常大的潜力去赶超国外一流水平。与此同时,存算一体技术是与计算机和芯片等领域其他很多技术紧密耦合在一起的,对我们来说也是一个巨大的挑战。
参与论坛的每位嘉宾都对本次论坛议题发表了各自的看法,论坛思辨现场讨论热烈。
此次论坛历时近四个小时,论坛执行主席、广州大学电子与通信工程学院副院长曾衍瀚对此次论坛进行了总结并再次对与会嘉宾表示感谢。此次论坛围绕存算一体芯片的发展现状、技术趋势、未来路径等问题进行了深入思辨。最后,论坛在一片热烈的讨论氛围中圆满结束。
图9 参与论坛嘉宾合影