随着OpenAI发布拥有1750亿参数的GPT-3以及 Google发布1.2万亿参数的GLaM模型，大模型竞争风起云涌，吸引了国内科技巨头如华为、阿里、百度等纷纷投入其中，这场技术变革正在全球范围内展开。然而，大模型开发需要大量资源和资金投入，对于资源有限的高校和中小企业，如何在这场竞赛中保持竞争力是一个值得探讨的问题。为此，中国计算机学会（CCF）青年计算机科技论坛（YOCSEF）广州学术委员会于10月7日举行 “大企业大模型竞争激烈，‘小作坊’如何作‘大贡献’？”观点论坛。本次论坛属于YOCSEF广州ChatGPT论坛系列，邀请了来自高校与企业的专家学者和业界精英，讨论在大模型时代下资源有限的高校和中小微企业如何能够做出一番成就。

此次论坛由CCF主办，CCF YOCSEF广州学术委员会、中山大学计算机学院和仲恺农业工程学院信息科学与技术学院共同承办，东软教育科技集团为此次活动提供赞助支持，YOCSEF广州现任AC委员、中山大学计算机学院副教授胡建芳和YOCSEF广州AC副主席、仲恺农业工程学院副教授刘同来共同担任执行主席。论坛特别邀请了中山大学计算机学院权小军教授、华南理工大学软件学院陈俊颖副教授和百度飞桨(广州)人工智能产业赋能中心卢毅然总监作为引导报告嘉宾，中山大学智能工程学院沈颖副教授、华南农业大学数学与信息学院黄栋副教授、广东工业大学计算机学院朱鉴副院长作为思辨嘉宾。YOCSEF广州现任主席龙锦益（暨南大学）、YOCSEF广州现任副主席李冠彬（中山大学）、YOCSEF广州现任AC委员姜思雨（广东外语外贸大学）、蓝连涛（华南农业大学）、刘伟莉（广东技术师范大学）、乐杰（东软教育科技集团）、黄培涛（广州唐邦信息科技有限公司）、以及来自省内外多所高校及企事业单位的代表（包括中山大学智能工程学院李中华教授、中山大学数学学院谭军老师、华南理工大学邓紫坤副教授、中国科学院南海海洋研究所周巍高级工程师、广东工业大学姜文超教授、仲恺农业工程学院郭建军副教授、仲恺农业工程学院张师瑜老师、广东科学技术职业学院刘晓林教授、广州职赢未来信息科技有限公司许正强经理、广州亮鱼科技的陈巧艳总经理等）共40余人参加了此次论坛活动。

论坛首先由中山大学计算机学副院长郑伟诗教授代表承办单位致辞，并对参加此次特别论坛的嘉宾表示热烈的欢迎，YOCSEF广州现任主席龙锦益对YOCSEF进行了相关介绍并对参加论坛的嘉宾表示感谢。胡建芳作为此次论坛执行主席指出，随着国外厂商大模型浪潮盛行，国内华为、阿里、百度等大型科技公司紧追热潮，也发布了许多AI大模型，这场AI大模型的革命正在国内悄然进行，在各个领域中挥舞着他们的力量，引领着一场前所未有的技术变革。

    在引导报告环节，首先由中山大学计算机学院的权小军教授以“大模型知识蒸馏关键技术”为题，讲解了知识蒸馏的概念，是一种用于将大型神经网络模型中的知识传输到小型模型的技术。这个概念是从知识传递的角度出发，将大型模型的"知识"（通常是模型的预测能力和复杂性）通过训练的方式传递给一个小型模型，从而使小型模型能够在尽可能减小计算和内存开销的情况下获得与大型模型相似的性能。并且结合预训练的语言模型和ChatGPT3，提到ChatGPT可以使用知识蒸馏技术来构建。在ChatGPT的情境下，它可以被视为教师模型，而更小更轻的模型可以被视为学生模型。通过知识蒸馏，ChatGPT的语言生成能力和对话理解能力可以传递到更小的模型，从而降低计算和内存需求，同时保持性能。

华南理工大学软件学院陈俊颖副教授以“高效自监督训练方法探索”为题，讲述了大模型时代下的高效自监督训练方法探索旨在寻求在现代AI领域中更加高效、创新的自监督训练方法，以进一步提升大型模型的性能和应用。这方面的研究关注自监督学习，即从大规模数据中自动生成标签，以让模型更好地理解和表示数据。通过深入研究和实验，科学家和研究人员正在探索各种技术和策略，以在大模型时代中有效地训练这些模型，为各种应用场景提供更强大、高效和可解释的解决方案。这一领域的进展对于推动大模型研究发展和应用具有重要意义。

百度飞桨(广州)人工智能产业赋能中心研发总监卢毅然以“AI大模型+大数据赋能企业智能化转型”为题，讲述AI大模型和大数据对企业智能化转型至关重要。通用大型语言技术如GPT-3、文心一言等和大数据分析可以提高企业的效率、决策支持、个性化体验和预测性维护。要成功赋能企业，需要建立强大的数据基础设施、培训员工、应用AI大模型，同时可借助供应商、咨询公司和安全机构提供的支持来解决特定需求和挑战。这将使企业更具竞争力并实现智能化转型的目标。

在引导报告之后，论坛进入思辨环节。与会嘉宾围绕“‘小作坊’做‘大贡献’，难点痛点在哪里？”、“小作坊团队如何克服难点，完成科学创新研究与人才培养，为大模型竞争输送适合的专业人才？”、“政府、企业、高校如何有效协作，建设人工智能大模型应用健康生态？”等三个议题展开了深入思辨。

思辨议题一：“小作坊”做“大贡献”，难点痛点在哪里？

中山大学智能工程学院沈颖副教授认为，目前对于在高校中普遍存在的“小作坊”（即计算资源较少的组织）在大模型时代做出“大贡献”的痛点主要集中在四个方面：计算资源、算法、模型的可部署性、增强模型可控性。沈教授通过列举具体例子进行了说明：对于计算资源，沈教授认为高校的学术组织通常都不具备充足的计算资源以训练大模型；在算法方面，如今的算法仍没有充分挖掘海量数据蕴含的丰富知识；同时大模型也通常存在部署困难、模型行为不可控等问题。

广东工业大学朱鉴副院长认为痛点可以从资源、数据、人才、模型部署、投入这五个方面展开，并通过具体例子进行了深刻阐述。在资源方面高校科研团队在资金和资源方面与企业相比处于劣势，例如缺乏大型计算资源如GPU，成本高昂。在数据方面，由于大型模型的开发依赖于大数据，高校科研团队在数据获取方面比企业更为困难，企业由于庞大的用户基础能更容易地获得大量数据。在人才方面，虽然高校是人才的培养地，但在实际科研过程中，学生相比企业中有经验的技术人员在科研经验和知识面上有一定的差距，同时优秀的人才可能因为企业提供的高薪而离开高校。在部署方面，大模型的部署需要强大的工程实践能力，而高校团队在实践经验和工程能力上相比企业有所不足。在投入方面，开发大模型需要大量的人力物力，而高校在人力和资源上相对匮乏。

华南农业大学黄栋副教授主要从资源、定位、多样化方面对存在的难点痛点进行了阐述。在“小作坊”的定义来说，“小作坊”是相对的，比如在资源规模上，高校团队相对于头部企业可能被视为小作坊。从资源来说，在有限资源下进行研究不是新问题，历史上科研工作者总是在资源有限的情况下进行研究，因此寻找和提出问题比解决问题更关键，小作坊需要在资源限制下找到重要问题并研究解决。黄教授认为，即使大模型能解决多种问题，仍需要不同规模和效率的模型以应对不同场景和资源限制，因此多样化的研究方向是必要的，可能有助于在未来找到新的突破口。对于无法自主开发大模型的小作坊，可以通过整合现有的大模型和开发小型模型来满足特定需求。最后，黄教授通过实例说明“小作坊”若要开发大模型，可能需要与大企业如百度或华为合作以弥补不足。

来自暨南大学的龙锦益教授强调了像资源受限的高校和中小微企业此类“小作坊”在有限资源下应该聚焦在自己的领域内，不盲目追求大模型，寻找适合自己的机缘和场景，以实现贡献。同时龙教授强调了小作坊的灵活性和机会，而不一定要追求与大企业竞争的规模和知名度。

广东技术师范大学刘伟莉副教授强调了高校团队可以在将深度学习技术应用到实际领域中做出贡献，填补实际应用与理论之间的差距。认为高校团队的一个优势是理论基础扎实，虽然高校在算力和资源方面可能不如大企业，但可以在理论研究方面发挥优势。高校可以专注于一些企业可能无暇顾及的研究，如理论证明和可解释性研究，这对于技术的基础和安全性至关重要。

来自中山大学的国家优秀青年科学基金项目获得者李冠彬副教授认为小作坊能否作大贡献关键在于能否充分发挥灵活性和创新性，找到适合自己的研究领域，充分利用有限的资源，在不同情境下找到合适的方法来做出大贡献。

在自由发言阶段，到场的所有嘉宾就议题展开了激烈的讨论，就各自在实际大模型的科研过程中遇到的问题进行了探讨，大家从计算资源、算法设计、模型的部署与应用等方面充分交流了经验。

思辨议题二：“小作坊”团队如何克服难点，完成科学创新研究与人才培养，为大模型竞争输送适合的专业人才？

衍生话题： 高校如何完成大模型工程技术人才培养？企业如何提升大模型工程技术人才能力？

中山大学智能工程学院沈颖副教授提出在科学研究方面，科研工作需要有明确的方向，不能盲目跟随热点，针对使用大模型和不使用大模型的研究，应该追求差异化，不一味跟随潮流，同时也要继续推进已有的研究路径。强调科研要有实际应用，解决真实世界的问题，注重实际操作能力。在人才培养方面，加强基础学科的培养，为学生提供坚实的基础，以便他们能够在高级课程中成功。提到了自身教授NLP课程的经验，指出如果学生的基础学科不牢固，可能无法应对高级课程。强调实际训练和解决真实问题的重要性，强调实践性。强调高校的人员稳定性，强调培养学生的思维能力，因为科学领域每十年都会面临新问题，思维能力比具体知识更为重要。

广东工业大学计算机学院朱鉴副院长针对人才培养提出了个人观点。在科学研究创新方面，建议高校团队积极与企业合作，利用企业资源和专利等优势来共同开发大型项目。提倡积极申报科研项目，争取政府或纵向项目的资金支持，以便开展大规模项目开发。在人才培养方面，强调课程设置的灵活性，根据热点和需求不断调整专业课程，特别是与AI相关的课程。建议建立实践基地，与企业合作开发相关课程，提升学生的实际操作能力。提到了师资队伍的培养，包括与企业合作、参与竞赛、提高工程实践能力等方式。鼓励学生参加创新竞赛，特别是与大模型相关的竞赛，以提升他们的实践能力和技能。

华南农业大学数学与信息学院黄栋副教授认为在科研创新上，强调每个团队都有其资源限制，需要在可控范围内找到有意义的科学问题。关键是找到适合团队能力和特长的问题，不一定需要大算力，而是应该符合团队的禀赋和能力。鼓励研究者和学生寻找适合自己的研究方向和问题。在人才培养上，指出高校与企业之间的人才培养需要明确定位，高校的目标不同于职业教育。高校应强调基础教育，传授底层原理和深刻理解，而不仅仅是应用层面的代码。提到例子，强调良好的基础教育和理解对于学生在工作岗位上的适应能力至关重要。指出在科研和工作中，团队和个人的基础能力是至关重要的，而高校的职责是培养这些基础能力。

百度飞桨(广州)人工智能产业赋能中心研发总监卢毅然认为高校应将基础知识作为重点培养，理论支持对于解决实际问题非常有帮助。实习生具备优秀的理论基础，可以快速提升实际工作能力，因此受欢迎。大语言模型的应用，即使不重新训练大模型，也可以用于传统知识和最新知识的学习。大语言模型在理论推理和编写代码方面表现出色，有潜力用于推理性工作。要有勇气去尝试，即使资源有限，也能在小规模模型训练等方面取得价值。鼓励学生在某一领域进行创新尝试，这比在学校获得经验更有价值，尤其是刚毕业的实习生。

广东工业大学姜文超副教授讨论了人才培养的问题，强调高校和企业在培养人才方面应有不同的定位和任务。表达对黄栋老师提出观点的赞同，认为高校和企业的任务不同，但是培养人才的方式和目标也不同。讲述了一个学生的故事，强调高校应该让学生理解问题的本质而不仅仅是获得经验。讨论了教育体系的可能改进，包括分流制度和职业技术学院。提到企业需要拥有理论能力和技术基础的人才来应对技术挑战。强调社会问题，企业需要不同类型的人才，但同时也希望高等教育能够为学生提供深刻的理论基础。

思辨议题三：政府、企业、高校如何有效协作，建设人工智能大模型应用健康生态？

广东工业大学计算机学院副院长朱鉴认为政府的首要职责是进行市场监管，确保人工智能大模型的应用遵循明确的政策和法规。考虑到大模型可能被用于不当用途，政府应制定和执行相应的约束措施。面对大模型的巨大数据需求，政府、企业、和高校应该联手构建共享数据平台。政府和企业都拥有丰富的数据，通过这样的共享平台可以助力大模型的训练和应用，同时确保数据的安全和隐私。小作坊常常受限于算力，导致他们在构建大模型时面临困难。政府和企业可以提供共享的AI算力服务平台，如广州市的人工智能算力中心，帮助小作坊和高校低成本地获得所需的技术资源。建设健康生态不仅需要技术和数据，还需要多方面的合作。政府可以提供政策和财政支持，企业提供技术和数据，高校提供研究和人才。通过各方面的互补和合作，可以更有效地推动人工智能大模型的健康应用。这些观点提出了一个合作框架，强调了政府、企业和高校三方面的角色和职责，旨在共同推动人工智能大模型应用的健康生态建设。

华南农业大学数学与信息学院副教授黄栋认为各部门要明确自己的角色定位。政府：扮演顶层设计者和指挥者的角色，对市场进行监管，并出台相应的政策法规。政府很少直接参与到前线工作。企业：在人工智能应用的生态中，主导前沿的实践和实际的生态构建，如小米、百度、华为等都有自己的AI生态。高校：主要职责是进行人才培养和科学研究。与企业之间存在源源不断的人才输送链。政府通过教育部门与高校合作，推动特定领域的研究和人才培养。例如，广东省与农业高校之间的合作，将智慧农业定为重点发展方向。政府通过政策出台、资源提供、拨款或项目资助等方式起到指挥棒的作用。高校为企业输送大量经过科研训练的优秀人才，如“炮弹”输送至战场。这些人才在进入企业后，将在实际生态中得到进一步的发展和应用，为企业带来创新与生态的构建。企业在前线构建和应用生态，高校为企业提供所需的人才支持，政府则为两者提供政策和资源的支持。

中山大学数学学院谭军老师提出资源在科研中扮演了至关重要的角色，特别是在大模型和人工智能的时代。有了充足的计算资源，研究的速度会大大加快。而对于学校来说，独立购买和维护高性能的服务器确实是一大负担，这也说明了政府和企业在这方面的协作重要性。政府和企业如果能提供云计算或其他高性能计算资源给高校，会极大地帮助高校提高研究效率和质量。此外，这种模式也更加经济高效，因为集中的资源可以更好地分配和利用。

仲恺农业工程学院副教授刘同来补充道企业和高校之间存在信息差异，不清楚对方拥有什么样的技术和资源，这可能导致潜在的合作机会被忽视。政府、学会和其他第三方机构可以帮助填补这一信息差距。建立更好的协作平台对于促进高校和企业之间的合作至关重要。这种平台可以为企业和高校提供一个交流的机会，帮助他们发现共同的兴趣和机会。产学研合作对于科研和应用的成功非常重要。通过企业与高校的合作，可以促进研究成果的应用和落地，实现双赢。举办走进企业的活动可以让高校和企业之间建立更紧密的联系。这有助于了解企业的需求和方向，以便高校能够调整研究方向以更好地满足这些需求。总的来说，建立更好的信息共享和协作平台，以及积极推动产学研合作，都有助于促进高校、企业和政府之间的有效协作，推动人工智能等领域的发展和创新。

仲恺农业工程学院系主任郭建军提出政府在人工智能领域应该发挥政策引导的作用，以促进健康生态的建设。头部企业可以在人工智能大模型领域提供资源共享或合作的机会，政府和企业应该共同引导资源共享和师资合作，以避免资源浪费。高校应该围绕企业需求展开合作，不论企业属于哪个领域，高校可以根据企业需求引导学生参与项目，激发他们的兴趣，并且取得深入的研究成果。在高校的协作过程中，学生需要适应不同发展阶段，特别是在人工智能领域的大工业阶段，学生应该培养适应和深入研究的能力。

最后华南农业大学数学与信息学院副教授黄栋还对议题三进行了一个总结补充，强调政府、企业和高校在协作时需要同时考虑当前热点和长期规划。短期内，它们应该积极响应当前的技术趋势，如大模型等，以确保与市场需求的接轨。然而，为了长期可持续的科研和创新，它们也需要保持对基础知识和技能的支持，以应对未来的挑战和机会。这种综合性的战略可以帮助政府、企业和高校更好地平衡短期和长期目标，以促进科技领域的持续发展。

此次论坛历时四个多小时，YOCSEF广州现任AC主席龙锦益对此次论坛进行了总结。此次论坛围绕大模型时代下“小作坊”面对的挑战；以及政府、企业、高校的合作进行了深入思辨，探讨了未来三者如何优势互补、通力合作，希望可以给大模型时代下的各部分发展提供借鉴和帮助。最后，此次论坛在一片热烈的讨论氛围中圆满结束。     

此次论坛由CCF主办，CCF YOCSEF广州学术委员会、中山大学计算机学院和仲恺农业工程学院信息科学与技术学院承办，东软教育科技集团为此次活动提供赞助支持。