大语言模型，如何赋能测试？ | 6月27日TF136报名

阅读量:23 2024-06-18 收藏本文

探索未来，共塑测试新纪元。本期技术前线由CCF TF质量工程SIG策划呈现，邀请到了来自华为、百度、字节等业界领军企业的资深技术专家，带来关于大语言模型在测试领域应用的深度见解和最新实践。参与者将有机会深入了解前沿的解决方案，以及实际应用中的成功案例与经验教训，为自身企业的技术升级提供参考。欢迎报名，并参与讨论。

为工程师提供顶级交流平台

CCF TF第136期

时间 2024年6月27日 19:00-21:00

主题 LLM赋能测试

欢迎扫码了解详情和报名参会

报名链接：https://conf.ccf.org.cn/TF136

在大语言模型时代，测试领域相较于软件行业其他领域展现出了更多的先天优势。测试行业拥有丰富的数字化资产，包括测试策略、测试方案、测试用例、自动化脚本、海量的问题单以及执行记录等。这些资产之间存在天然的对应关系，例如测试自动化脚本中，很容易获取到测试步骤（文本描述）与测试代码的关联关系。所有这些，为LLM对测试的赋能提供了丰富的原始材料。

此外，LLM的出现显著降低了AI在测试领域的应用门槛，为技术升级带来了宝贵的机遇。尽管AI赋能测试已发展多年，但AI专家与业务专家之间的知识壁垒一直是一大挑战。LLM的引入简化了这一过程，在许多场景下，无需复杂的训练，通过简单的提示（prompt）即可实现初步的领域应用，例如智能生成测试数据，对测试点的提示与补充等。

然而，实践中我们也发现，虽然有众多有利条件，但LLM在测试业务领域要想产生系统性的业务价值，也并非易事。一旦深入到特定业务领域，就会遇到：SFT的高成本与幻觉、RAG过程中面向真实意图的高质量检索、数据语料的质量，以及管理者和用户的期望和LLM能力之间的矛盾等诸多挑战。

本期TF技术会议邀请到了来自华为、百度、字节公司的LLM赋能测试实践者，他们分别是华为数据存储首席测试专家高广达、字节跳动工程效能开发专家陈柳杉、百度资深工程师张克鹏。他们将分享如何把测试数据优势转化为LLM应用优势，并探讨大模型在软件测试中的应用实践，包括测试代码生成、手工测试用例生成等探索与实践，参与者将有机会深入了解前沿的解决方案，以及实际应用中的成功案例与经验教训，为自身企业的技术升级提供参考。

二、会议安排

TF136：LLM赋能测试主持人：朱少民 CCF TF质量工程SIG主席，同济大学特聘教授
时间	主题	讲者
19:00-19:10	活动介绍	朱少民 CCF TF质量工程SIG主席，同济大学特聘教授
19:10-19:40	大模型辅助测试自动化代码生成实践经验与教训	高广达 CCF TF质量工程SIG主席，华为数据存储首席测试专家
19:40-20:10	大模型测试之技术探索与范式	陈柳杉字节跳动工程效能开发专家
20:10-20:40	大模型驱动的手工测试用例生成的探索与实践	张克鹏百度资深工程师
20:40-20:55	参会者提问互动
20:55-21:00	活动总结	朱少民 CCF TF质量工程SIG主席，同济大学特聘教授

三、所属SIG

CCF TF 质量工程SIG

四、特邀讲者

高广达

CCF TF质量工程SIG主席，华为数据存储产品线首席测试专家

主题：《大模型辅助测试自动化代码生成实践经验与教训》

主题简介：

作为业务方与大模型辅助测试自动化代码生成重点工作负责人，介绍华为大模型辅助测试自动化代码生成的探索过程，以及这个过程中的经验与教训。

1.从业务角度看大模型辅助测试自动化代码生成的价值和对测试模式的可能影响。

2.大模型辅助测试代码生成的整体技术方案和演进过程，以及其中遇到的问题、经验和教训。

3.如何根据技术现状在业务中确定合适的应用模式，实现技术投入的及时变现和对业务团队的价值回馈。

4.目前仍存在的问题和后续演进方向。

个人简介：

现任职华为数据存储产品线首席测试专家，ICT软件测试专业组组长，华为20+年测试工作经验，长期专注测试技术发展，在MBT（基于模型测试）、协议测试、自动化测试、开发者测试、测试设计、大模型辅助测试代码生成等领域有深入探索。

陈柳杉

字节跳动工程效能开发专家

主题：《大模型测试之技术探索与范式》

主题简介：

大模型在测试领域应用的探索如火如荼，本次分享重点介绍我们在技术探索过程中总结的范式及亮点。首先介绍大模型技术在专业领域应用的范式，并通过我们在大模型单测上的技术探索演进来展开；包括我们在sft、PE、RAG等技术方向的探索，以及以单测为例如何解决重点挑战问题和技术亮点；然后结合我们正在深入探索的agent模式，回到我们总结出来的范式；最后介绍我们在业务实际落地，包括单测的落地效果、收益。

个人简介：

字节跳动工程效能开发专家，香港理工大学博士。作为项目负责人建设企业级智能测试核心能力，并推动智能测试技术在业务中落地，在抖音等业务研发中取得实际业务收益。目前聚焦于大模型结合软件工程技术在可信、质量保障领域的技术探索与落地。

张克鹏

百度资深工程师

主题：《大模型驱动的手工测试用例生成的探索与实践》

主题简介：

大模型的语义理解，测试智能化变革的时机已经成熟。百度智能化测试研发团队持续探索大模型应用测试领域的可行性，并希望在生成式AI技术的加持下，重构测试关键环节，创新人机协同工作模式，大幅提升测试效率。TestMate智能测试助理是基于大模型构建的AI原生应用，可以为测试用例生成、测试用例评审、测试数据生成、测试用例执行及分析等多个场景提供智能化测试能力。同时，建立智能测试能力中心，支持开发者定制扩展TestMate能力，实现个性化场景下的智能测试效果增强。通过能力中心开放通用测试能力配置，开发者实现了轻松构建更适配自己业务场景的智能测试能力。通过和百度各体系主要业务如飞桨Paddle、文心一言、自动驾驶、地图等合作共建，打造落地标杆团队。帮助业务线测试人员，在需求理解、用例生成、用例评审、用例修复等多个测试阶段实现智能测试。

个人简介：

2015年加入百度，在DevOps研发流程、AI原生应用研发、研发效能提升等领域拥有丰富经验。目前主要负责百度用例管理平台、接口管理平台等中台产品研发，以及基于LLM的智能化测试方向的探索与实践。

五、SIG主席

朱少民

CCF TF质量工程SIG主席，同济大学特聘教授

个人简介：近三十年来一直从事软件测试、质量管理等工作，先后获得多项省、部级科技进步奖，已出版了二十多部著作和4本译作，代表作主要有《软件质量保证与管理》《软件测试方法和技术》《全程软件测试》等，并经常在国内外学术会议或技术大会上发表演讲，曾任思科（中国）软件有限公司QA高级总监、IEEE ICST 2019工业论坛主席、IEEE ICST、QRS和DSA、NASAC程序委员、《软件学报》审稿人等。

六、参会说明

1、如报名后无法参加，请及时于活动开始前发送邮件申请取消（联系邮箱：tf@ccf.org.cn），无故缺席将影响下一期活动的参与。

2、活动采用线上模式：腾讯会议；同时也将在CCF视频号“中国计算机学会”同步直播。

（注：腾讯线上会议人数有限，若未能进入腾讯会议，可通过直播参与。）

3、会议链接和密码将在活动当天通过邮件、短信通知。可点击腾讯会议链接，输入密码参加。

4、请于活动前一天15:00前完成报名，及时获取会议链接。

5、CCF会员免费参加，非会员99元/次（CCF会员以及缴费观众可登录CCF数字图书馆，免费回顾本期活动经授权的报告内容），加入会员可免费参与全年线上活动。

七、会员权益

会员免费参加CCF TF全年20场线上活动，优惠价参加14场线下活动，为自己的技术成长做一次好投资，用高性价比获取专业知识的绝佳路径！