2024年3月10日上午，CCF YOCSEF武汉“大模型技术机遇与挑战”技术论坛在中南民族大学顺利举办。技术论坛由中国计算机学会（CCF）主办，CCF YOCSEF武汉分论坛承办。本次论坛由YOCSEF武汉委员叶正（中南民族大学）与金正平（北京亿信华辰软件有限责任公司）担任执行主席，YOCSEF武汉候任AC委员周凤（北京并行科技股份有限公司）与汪蓉（北京华清远见教育科技集团）担任线上主席。来武汉大学、复旦大学、华中农业大学、华中科技大学、湖北大学、中南民族大学、河南理工大学等高校，以及金山办公、小米科技、上海特赛发科技等企业的专家学者，共计50余人参加了本次论坛。

在开场致辞中，中南民族大学计算机学院院长帖军教授对各位嘉宾表示热烈欢迎和衷心感谢。接着，CCF YOCSEF武汉分论坛主席肖奎对YOCSEF的文化背景进行了简要介绍。

随后，执行主席叶正和金正平阐述了此次技术论坛的背景和目的。他们指出，近年来大模型在人工智能领域取得了重要突破，引发了全球范围内的研究和创业热潮。大模型凭借其出色的数据理解和生成能力以及广泛的适用性，正在各行业展现出巨大的应用潜力。鉴于此，CCF YOCSEF武汉举办了此次“大模型技术机遇与挑战”论坛，旨在深入研究开源与闭源大模型之间的性能差异，探讨大模型应用中的实际难题，并探索其未来发展路径。

环节一：引导发言环节

在引导发言环节，武汉大学李晨亮、复旦大学邱锡鹏、金山办公姚冬以及特赛发创始人曾冠奇分别就大模型在不同领域的应用、发展趋势以及技术挑战进行了发言。

首位引导发言嘉宾是武汉大学国家网络空间安全学院的李晨亮教授，他的演讲题目是《大模型在推荐领域应用与发展趋势》。他指出，推荐系统依赖用户信息来协助其做出选择，核心功能在于通过过去的数据学习，以预测未来的趋势。他还提及当前推荐系统所面临的性能和效果挑战，强调了数据稀缺对推荐系统的重要性，指出用户提供的信息量越大，系统根据这些数据做出的推荐效果越好。

第二位引导发言嘉宾是复旦大学计算机学院的邱锡鹏教授，他的演讲题目是《从单模态大模型到多模态大模型》。在他的演讲中，他提到了大模型目前的主要发展趋势。大模型从过去主要应用于语言领域，逐渐向多模态领域拓展。他指出，随着数据规模的增大，大模型在多模态应用中的作用日益凸显。甚至在未来可能实现通用应用。目前，已经有一些在多模态方面表现出色的大模型应用，比如sora，它被认为是目前最出色的多模态应用之一。然而，这些多模态应用所需的计算资源非常庞大。可以看出，提升算力将带来大模型性能的提升，从而进一步提高应用效果。尽管目前多模态应用已经有所发展，但大部分还局限在文字回复阶段，在这方面还有很大的发展空间。

第三位引导发言嘉宾是金山办公副总裁、架构师姚冬先生。他为大家带来了题为《大模型时代的办公新模式》的演讲。在演讲中，姚冬先生讨论了随着大模型的发展，如何将其应用于办公场景，推动办公软件变革的三个层次。这三个层次分别是：AIGC（人工智能生成内容）-用于内容创作，Copilot（合作伙伴助手）-作为智慧助手，以及Insight（洞察）-用于提供知识洞察。在演讲中，他强调了大模型在PPT制作、表格分析和数据搜索等领域的应用。例如，在PPT制作方面，大模型可以预制整体PPT框架，用户只需在其上进行修改和补充。在表格分析领域，大模型能够识别用户的命令，并在推理理解后将其转化为脚本，供应用执行。在数据搜索领域，大模型凭借其强大的理解能力，能够很好地理解用户和数据的信息，为用户提供准确的回答。姚冬先生还指出，多模态办公必然是未来办公领域的发展方向。

第四位嘉宾是特赛发创始人曾冠奇先生，他的报告题目是《构建高并发实时交互的大模型推理系统》。他详细介绍了垂直类别和通用模型的优势和挑战，以及采用的MOE架构、全连接self-attention、以及利用全量垂直类别数据、少量通用数据和少量代码数据来进行快速训练迭代的方法。他还提到了主动提问和回答的收敛性问题，指出特赛发写的prompt虽然严格，但对业务并不利，因为生成的内容可能过于超然。此外，他还强调了成本控制和面对高并发需求时的挑战，即请求流水线不均匀的情况。

环节二：思辨环节

在思辨环节，特邀了小米AI实验室大模型算法负责人刘伟先生与华中农业大学信息学院冯在文副教授。两位嘉宾分别针对本次技术论坛的主题发表了自己的观点。

刘伟表示，通用大模型与垂直领域大模型的知识分布存在显著差异。通用大模型能够通过迁移等技术实现多种小模型的聚合，从而无需专门针对某一垂类进行开发。垂直领域大模型虽然在成本上具有明显优势，但通用大模型的功能可能会存在一定程度的冗余。他提出，对于这种冗余功能，企业是否愿意为此支付费用是一个值得思考的问题。此外，刘伟先生还从商业实践的角度探讨了开源与闭源大模型的发展趋势，认为从长远来看，开源大模型将会成为主流。

冯在文表示，他们团队研制的华农大模型基于目前开源领域的一些优秀大模型，如ChatGLM和ChatGPT，利用高质量的数据进行微调，以适应特定的垂直领域需求。他指出，华农大模型目前面临的挑战主要包括大模型的可解释性以及在基因、疾病和性状预测方面的准确性。为了增强垂直领域的知识，华农大模型正在融入知识图谱，以实现知识的双向循环增强。

随后，与会人员在此基础上共同探讨了三个思辨问题，大家围绕“大模型机遇与挑战”这一核心问题，展开激烈的讨论。

思辨议题1：开源大模型和闭源大模型性能差距的原因与解决方案？

复旦大学邱锡鹏指出，闭源模型在效果上目前仍优于开源模型，但开源模型的发展速度受到了闭源模型的促进，两者之间存在互补关系。对于现有的开源大模型，数据对齐是一个显著的挑战。总体而言，开源模型构成了一个生态系统，而闭源模型则在此之上发展。

特赛发曾冠奇讨论了垂直领域大模型的难点，包括模型的专业性和对人类替代的可能性，以及如何降低本地部署成本。他还提到了小型大模型的结构，如Loss跳跃、关注数、1B大小MOE架构和全连接self-attention等。他还强调了在大量垂类数据、少量通用数据和少量代码数据的基础上进行快速训练和迭代的重要性，以及通过特塞法编写严格的prompt来控制生成内容，但这也可能对业务产生不利影响。

武汉大学彭聪探讨了密码算法的保密性问题，并强调密码算法应当公开。他还提到，大模型在分析众多内容时存在潜在风险，并认为数据源开源的情况下，模型也应当开源。在现实应用中，大模型的结论验证至关重要，因此开源模型在这方面具有优势。

湖北大学肖奎从经济角度分析了闭源模型在持续性支持上的优势，而开源模型可能在这方面存在不足。

特赛发曾冠奇强调了prompt设计的重要性，并提出了通过大模型教导小模型的观点。

湖北大学黄辰指出，国家重点行业通常选择闭源大模型，并在这些行业中融合开源大模型，以促进垂直领域的技术升级。

华中科技大学邹逸雄表示，开源与闭源模型的性能差异取决于数据、算力和模型参数。开源模型通常较小，而闭源模型在数据安全和大商业利益方面不会完全开源。

金山办公姚冬探讨了将大模型技术视为算法技术还是工程资源的问题。如果视为算法技术，开源模型将具有优势；如果视为工程资源，则可能需要闭源以获得公司支持。

中南民族大学张潇提出了开源与闭源是否可以共存的问题，并认为技术层面上开源是趋势，但在行业中闭源可能更为合适。

河南理工大学任建吉认为闭源模型在垂直领域具有优势，而开源模型可能更适合通用领域。

海工工程大学吕晓提到，在军事领域，基于开源技术改造闭源模型具有重要意义。

小米刘伟讨论了开源和闭源的未来发展，指出如果只有几个厂商提供垂类服务，可能会向闭源方向发展。但他也强调，技术上支持开源，并认为未来可能是闭源的，类似于手机市场的情况。

武汉大学李晨亮认为开源模型在数据和商业应用方面不如闭源模型有优势，并强调闭源模型在商业应用中的重要性。

中南民族大学帖军认为开源和闭源无需拆开，并比喻了早期操作系统的开源性质以及后来向闭源的转变。他还提出了行业内标准化切分的可能性，以及开源作为基石、闭源作为应用的观点。

思辨议题2：垂直领域的大模型定制化策略？

金山姚冬在讨论中指出，尽管大模型技术令人印象深刻，但在解决具体问题时仍面临诸多挑战。闭源技术所限，许多现有的技术无法直接采用开源方案，而必须依赖工业级解决方案。WPS由于缺乏千亿级模型，受到一定制约。从现实情况来看，大模型在处理实际任务时仍存在诸多问题，其发展仍有待进一步加强。

湖北大学的肖奎就垂直领域应用展开讨论，提出训练过程中是否可能存在一种统一的策略，并探究不同领域间的共通之处。复旦大学邱锡鹏对此进行了解释：利用专业知识进行训练，通过指令微调，在知识丰富的领域能够取得显著效果。他提到了（信息检索）知识增强的方法，虽然预训练成本较高，但在垂直领域显示出优势。他个人看好RAG形式的发展，并预测在未来，当大模型发展放缓时，RAG（检索增强）将是一个更优秀的方案。

华中农业大学的冯在文谈到，在农业领域，目前的做法主要是基于知识图谱或数据库对大模型进行微调，但学校计算资源有限，这对高校而言是一大负担。他提出将SFT（示例引导的预训练）与RAG结合起来是一个有效的解决路径。

特赛发的曾冠奇将大模型比喻为一个个独立的app，他认为在商业和技术领域，通用与垂直类别将会分头发展。他指出，为了实现SFT、RAG和知识图谱的有效结合，需要一个强大的底层大模型和优秀的预训练策略。

华中农业大学的李万理探讨了如何量化大模型在特定领域（如农业）的能力，并提出了如何通过这些量化结果来弥补模型的不足。

复旦大学的邱锡鹏从领域知识的角度出发，建议分析数据结果和训练过程中的损失与困惑度，针对模型的不足，需要人工构造特定的数据和指令以进行模型训练。

湖北大学的黄辰谈到在医疗应用方面指出，相关数据和图谱极为庞大，使用通用大模型进行训练并不切实际。他认为需要针对各个细分领域进行专业的训练，以建立相应的垂直小模型。在垂直领域中，大模型的主要目的是辅助人类完成相关任务。

金山云的刘雨明强调，通用大模型在知识领域存在不足，不应期望其包办所有任务。他建议先由大模型提取知识，随后交给专业人士或接口进一步处理，最后再由大模型进行提炼和凝练。

思辨议题3：未来大模型技术的发展趋势与技术实现路径？

小米刘伟提出，大模型的发展趋势首先在于解决语言智能问题，其次是完善大模型的多模态功能，并最终通过agent技术实现各种功能的聚合，以实现与真实环境的交互。技术应当为场景服务，最终的个人设备将只需要一个最前端的agent，UI可能不再存在，而app将转变为app agent，继续为人类提供服务。

湖北大学肖奎关注大模型如何辨别信息的可信度，以及大模型是否会发展出自主意识并可能做出坏事。他提出了两个关键点：一是信息的可信度问题，即如何区分信息的真伪；二是大模型意识产生的转折点何时会出现。

华中科技大学邹逸雄表示，未来的发展方向是更加精细化地了解大模型学到了什么，以及如何将学习成果从工程密集型转向算法密集型。这是学术界和工业界的一个分歧点，实现路径尚不明确。

武汉城市学院刘芳强调，未来的焦点应放在更高效、更易用的网络结构上，同时可解释性至关重要。人工智能的伦理问题需要得到控制，而内部网络结构的发展将进一步提升大模型的效率和效果。

河南理工大学任建吉指出，大模型的发展将逐渐改变人的交互方式，并可能导致用户交互方式和场景的改变。

武汉理工大学钟忺预测，大模型将更加深入地扎根于各个行业，例如自动驾驶、医疗手术和车床等领域的大模型将被开发出来，大模型将实现垂直领域的繁荣发展。

金山姚冬呼吁学术界探索新的架构，以避免大模型过度依赖transformer架构。在算力方面，不应仅仅追求计算密度，而应注重功耗优化。他提到英伟达在显卡架构和硬件发展方面取得了显著成就，并期待未来有更佳的表现。

武汉人工智能中心的陈军介绍了他们的努力。放弃英伟达显卡的渲染能力，将更多资源用于计算优化核心，并对pytorch进行适配。

此次技术论坛经过三个多小时的激烈讨论后顺利结束。论坛的主要输出观点为：

(1)开源模型与闭源模型之间存在互补关系，闭源模型在效果上目前仍优于开源模型，但开源模型的发展速度受到了闭源模型的促进。开源模型构成了一个生态系统，而闭源模型则在此之上发展。解决开源模型性能差距的问题需要关注数据对齐、模型专业性、本地部署成本、小型大模型结构、快速训练和迭代、严格的prompt控制等方面。

(2)垂直领域的大模型定制化策略需要利用专业知识进行训练，通过指令微调，在知识丰富的领域能够取得显著效果。结合SFT、RAG、知识图谱等技术是有效的解决路径。大模型可以被比喻为独立的app，通用与垂直类别将分头发展。量化大模型在特定领域的性能并弥补模型的不足是重要的。

(3)大模型技术的发展趋势包括解决语言智能问题、完善多模态功能、通过agent技术实现功能聚合，并与真实环境交互。技术发展应当为场景服务，未来个人设备可能只需要一个最前端的agent。大模型技术的发展路径涉及精细化了解大模型学到的内容、从工程密集型转向算法密集型、更高效的网络结构、可解释性、人工智能伦理问题、新的架构探索、算力优化等方面。

  本次论坛由中国计算机学会主办，CCF YOCSEF武汉分论坛承办。中南民族大学计算机学院对本次活动给予了大力的支持，北京并行科技股份有限公司为本次对本次活动进行了赞助。