CCFChip竞赛专题：站在开源项目的肩膀上一起来学习和挑战

旨在通过CPU+GPU异构实现的方法降低LLM推理部署对GPU内存的需求，从而在低成本的消费级显卡上实现快速的LLM推理。赛题参考的PowerInfer开源推理框架是国内上海交大IPADS于2023年12月发布，其在llama.cpp基础上采用了一种全新的设计思路，利用LLM推理中的高局部性特征，设计了一种GPU-CPU混合推理引擎，显著降低了GPU内存需求和CPU-GPU数据传输。本次比赛要求参赛队员以7B模型优化学习资料为例，利用ROCm开源框架上对13B模型展开优化。参赛队伍可以参考PowerInfer框架采用各种方法如算子优化、混合精度量化等进一步优化，也可以开发自己的推理框架来提高大模型部署的速度和效率。通过比赛让同学们更好的学习交流体系结构相关知识，并在实际应用中实践。

本赛题详情可以查看该链接（https://ccf.org.cn/chip2024/news_d_1126），本赛题咨询邮箱CCC_CCF@outlook.com

旨在通过人工智能技术来解决电路设计中的布局违例问题，这是AI4EDA的典型问题，同时也探索EDA算法在最新的AI PC平台异构部署方法。本次比赛的数据集基于北京大学集成电路学院林亦波教授实验室发布的Circuit Net，参赛队员需要根据提供的布局文件和工艺库文件提取关键特征，设计并完成DRC违例预测模型训练，利用ONNX Runtime推理框架完成在最新的AI PC平台部署；参赛队伍需根据算法的并行性和数据依赖性等特点合理安排AI PC中CPU, iGPU和NPU不同计算资源，完成任务划分和调度最大化整个系统的计算效率和性能。最终根据预测精度和运行时间来评估的成绩。

本赛题详情可以查看该链接（CCF-DAC挑战赛 2024赛题发布），本赛题咨询邮箱aipc_contest@163.com。