返回首页
您的位置:首页 > 新闻 > CCF新闻 > TF

TF136回顾 大语言模型,如何赋能测试?

阅读量:0 2024-07-11 收藏本文




2024年6月27日,CCF TF迎来了第136期活动,主题为“大语言模型,如何赋能测试?”。本次活动由CCF TF质量工程SIG策划呈现,邀请到了来自华为、百度、字节等业界领军企业的资深技术专家,带来关于大语言模型在测试领域应用的深度见解和最新实践。分享的内容精彩纷呈、讨论热烈、听众反馈积极。活动以线上直播的形式进行,通过腾讯会议平台和CCF视频号“中国计算机学会”同步直播,吸引了众多专业人士的参与。本文将回顾本次活动的精彩内容和深刻见解。


CCF TF

CCF TF活动相关专家报告均收录在CCF数字图书馆【TF专辑】,欢迎长按识别,回看精彩分享。本期活动报告也将于近日收录,欢迎回顾!



在大语言模型时代,测试领域相较于软件行业其他领域展现出了更多的先天优势。测试行业拥有丰富的数字化资产,包括测试策略、测试方案、测试用例、自动化脚本、海量的问题单以及执行记录等。这些资产之间存在天然的对应关系,例如测试自动化脚本中,很容易获取到测试步骤(文本描述)与测试代码的关联关系。所有这些,为LLM对测试的赋能提供了丰富的原始语料。


此外,LLM的出现显著降低了AI在测试领域的应用门槛,为技术升级带来了宝贵的机遇。尽管AI赋能测试已发展多年,但AI专家与业务专家之间的知识壁垒一直是一大挑战。LLM的引入简化了这一过程,在许多场景下,无需复杂的训练,通过简单的提示(prompt)即可实现初步的领域应用,例如智能生成测试数据,对测试点的提示与补充等。


实践中我们也发现,虽然有众多有利条件,但LLM在测试业务领域要想产生系统性的业务价值,也并非易事。一旦深入到特定业务领域,就会遇到:SFT的高成本与幻觉、RAG过程中面向真实意图的高质量检索、数据语料的质量,以及管理者和用户的期望和LLM能力之间的矛盾等诸多挑战。


《大模型辅助测试自动化代码生成实践经验与教训》


来自华为数据存储首席测试专家高广达分享的主题是《大模型辅助测试自动化代码生成实践经验与教训》,首先介绍了LLM辅助测试自动化代码生成作为LLM落地首选突破点的考虑初衷和业务价值。接着介绍了整个项目的探索过程。第一阶段-老特性自动化防护网补齐。通过对已有测试自动化脚本的清洗,获得测试步骤-测试代码pair对,以此为语料,通过SFT实现基于内部代码大模型的调优。在这个过程中,遇到了语料质量标准和检查,对业务上下文的区分等众多问题。通过得到的测试代码大模型,对于同类特性的测试自动化代码生成,可以达到较好的效果。但使用SFT的问题,是成本高,训练周期长,一个新项目从语料提交模型团队训练,到能用来生成新项目的自动化脚本,需要较长的时间,无法满足新特性自动化快速编写的需求。项目团队通过分析,在业务实际中找到了老特性自动化防护网补齐场景,为这个阶段的技术找到合适的业务应用价值。为了解决新特性的自动化诉求,通过RAG,实现新特性语料分钟级入知识库,通过检索增强生成,可以支撑业务新特性的自动化快速编写。这个过程中,解决了一系列模型RAG指令不遵从、检索准确度不满足业务要求等问题。


目前,华为的LLM辅助测试自动化代码生成项目已经进入实用阶段,覆盖了60+产品,用户量达到2700多人。分享最后他介绍了这个过程中的一些经验教训:LLM辅助测试项目需要AI专家、业务专家、工具团队多角色配合,缺一不可;技术不会一下子完美,一定要根据技术现状,及时找到业务的获益价值点;LLM项目与以往的确定性项目不同,需要管理好业务测试人员和主管的预期。



《大模型测试之技术探索与范式》


字节跳动工程效能开发专家陈柳杉以《大模型测试之技术探索与范式》为题,介绍了对于AI辅助测试的整体规划思路:构建一个覆盖研发端到端的全链路智能化质量保障体系。针对研发从需求到开发、测试、部署、运维的各个阶段,规划开发相应的LLM辅助应用价值场景。针对这些场景需要的公共能力,如需求理解、代码理解等,构筑统一的原子服务层;为构筑这些原子能力,需要构筑模型层承担不同模型的接入,基于这些模型优化和评估的公共能力,如调优、RAG、Prompt、自动化评估等;同时构筑统一的数据层,以研发数字化为基础,构筑模型应用所需的统一数据湖。在这个统一框架的支撑下,进一步描述通过实践总结的LLM应用统一范式,包括模型能力优化、模型能力评估、模型上线评估等。并对于如何针对不同类型的知识进行模型能力优化进行了详细阐述。接下来,以大模型辅助单元测试生成应用为实例,详细阐述了上述范式的具体应用。包括调优、RAG、Prompt工程、Agent的构建思路、评估中指标设置遇到的问题等,并具体描述了该应用的当前部署方式,以及在业务上产生的效果。这个分享有案例,有总结,对于当前的LLM赋能测试应用的开发,有很好的借鉴价值。



《大模型驱动的手工测试用例生成的探索与实践》


百度资深工程师张克鹏分享了《大模型驱动的手工测试用例生成的探索与实践》,阐述了百度AI赋能测试项目的整体驱动、目标和思路。接着详细分析了LLM辅助测试用例生成场景的开展过程。首先针对根据需求输入的情况,分为短需求和长需求。针对明确、相对简单的需求,通过大模型的一次泛化,直接生成测试用例;对于相对复杂的需求,首先提取测试点,人工确认后,进一步通过测试点生成测试用例;对于篇幅大的长需求,通过大模型进行需求拆解,进一步按照前面短需求的处理方式,直接输出用例,或者通过生成测试点生成用例。对于互联网经常存在的不完善需求,在大模型辅助下,智能识别需要补充的需求点,进行需求完善后,进一步自动生成测试用例;通过两个不同类型的典型项目的实际案例分析,分享了大模型辅助测试代码生成中,如何结合不同业务的具体特点,进行价值点识别和大模型应用场景落地。并分析了大模型落地前后,从QA视角感觉到的业务变化和效率提升。最后,分享了针对大模型辅助测试用例生成确定的观测指标体系,以及相应指标目前的业务效果:已在200+产品落地,整体采纳率40%,部分使用私域知识的团队可以达到60%;生成用例占比可以达到50%。最后分享了当前仍存在的一些技术难题,以及后续的改进方向,包括富文本、表格等多模态信息的识别等。



互动环节,各位参会者对分享的相关内容进行了踊跃提问,如“单元测试生成中,模型如何判断函数输出的值是否正确?给出正确的断言”、“如果函数的执行结果和界面相关,如何判断界面变化的正确性”、“大模型赋能测试落地中,对测试人员需要的能力提升”等问题。各位嘉宾根据分享的主题内容进行了详细的答疑解惑。


活动预告

期数

日期

所属SIG

主题

形式

TF137

7月6日

工程师文化

AI时代的工程师

线下(北京)

TF140

7月18日

算法与AI SIG

AI for Science

线上


关于CCF TF

CCF TF技术前线(Tech Frontier)创立于2017年6月,旨在为工程师提供顶级交流平台,更好地服务企业界计算机专业人士,帮助企业界专业技术人士职业发展,通过搭建平台实现常态化合作和发展,促进企业间、学术界与企业间技术交流。目前已组建知识图谱、数据科学、智能制造、架构、安全、智能设备与交互、数字化转型与企业架构、算法与AI、智能前端、工程师文化、研发效能、质量工程等十二个SIG(Special Interest Group),提供丰富的技术前线内容分享。

加入CCF



加入CCF会员享受更多超值活动,为自己的技术成长做一次好投资。

点击链接了解更多会员权益:

CCF个人会员权益 CCF公司会员权益


识别或扫码入会


欢迎关注CCFTF及CCF业务总部公众号,精彩陆续开启!


关注CCFTF获取TF活动资讯

关注CCF业务总部优惠预定会议场地


CCF推荐

【精品文章】