2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革促进企业降本增效

北京站 08/16-17

大模型在端到端交互测试的探索与实践

原玉娇贝壳找房

演讲嘉宾

原玉娇

贝壳找房技术效能-质量架构团队负责人

北京理工大学硕士毕业，曾就职于滴滴，目前在贝壳担任架构师，负责大模型技术在测试域企业级的工程化探索和应用，基于“产研域提效场景+领域知识+AI agent”在垂直域实现大模型能力延伸，包括测试需求分析、测试用例自动生成、缺陷追踪和智能定位等，优化协同流程机制、助力业务快速迭代从而提升自动化产能。

背景
目录问题/痛点解决思路/整体方案
CONTENTS 4. 具体实现/技术实践
总结与展望

PART 01 背景介绍

获取方案

工作居住证有啥用，怎么办理？

二手房

业务介绍

站式居住服务平台，涵盖二手房、新房、租赁及家居装修等业务

贝壳app

新房
租房
装修
商铺办公

设计我家看看我的房子怎么装

推荐二手房新房租房装修租写字楼

每日必看

11.11安家节交易日抽大奖

被窝app

为我设计

Web类产品

算报价

户型方案

设计师榜
选套餐

区域找房
地铁找房

楼盘排行

批量分享
我的关注
楼盘热门动态

PART 02问题和痛点分析

痛点分析-传统

需求驱动多角色串行协同

工具提效有上限

测试与研发流程割裂，质量反馈环滞后

AI提效应用难点分析

问题：质量域工具有细分，多类别多领域，覆盖前端、后端、环境、数据、自动化等业务多元化导致工具实现比较复杂，工具&人的维护成本都很高

工具如何结合

识别哪些工具可以与AI结合

传统工程开发与AI如何结合

AI如何增强测试能力

架构如何迭代

• 上层：如何扩展和适应变化

• 底层：原子基建能力如何支撑

关注用户体验

• 用户问题如何准确触达对应的智能体，降低体验损耗

PART 03大模型在端到端测试探索进阶之路

演进过程

AI加持下，个人效率提升到协同成本降低的路径

个人效率提升

协同成本降低

生产效率提升

2023年

2024年

copilot方式-实现个人提效极致应用

【解决方案】CUI\对话、多入口、agent化的形式即时触达，和测试行为紧密结合，利用模型意图识别能力和决策执行的能力完成各类各项测试任务

对话交互式应用举例

自动化提效

数据提效

获取房客源给我个上海的房源

[功能说明]1.获取房源：以指定城市录入二手房源；2.获取客源：以指定经纪人系统号录入客源

城市名	城市ID	房源ID	所属经纪人
上海	310000	107104310363

或许您需要其他帮助，点击添加关键词试试：

-查询账号（B/C端账号查询，并支持编辑账号、添加兼岗）

-UC数据操作（B端人员/组织/岗位信息的缓存清理、同步线上、添加业务角色等）

-检索数据功能（通过问题/描述检索海豚、sOSo上的数据构造功能）

-闲聊（直接对话大语言模型）

与之而来的新挑战

AI工具那么多，我该用哪个？【单点提效-->交付提效】

演进-agent模式驱动全流程协同增效

需求驱动测试，通过多个智能代理（Agent）的合作，基于自然语言描述，自动化的进行从交互到检查的全链路测试过程

测什么
怎么测

测得怎么样

整体方案设计思路

端到端全链路智能化测试能力牵引测试模式迭代

AI化&标准化

满足生成提效的实际诉求为出发点

核心思路以智能应用为底座，质量基建更新换代，建立标准和作业流程创新实现生成力提升

灵活应用&扩展

匹配不同场景的智能应用

PART 04技术实践

实现核心技术点

agent智能体

创建助手（Assistant）

✓给它特定场景的工具（Tools）

Tools）✓提示它如何使用工具&如何提示它如何使用思考执行（Prompt）

提问（Question）

（Question）✓可以把问题丢给它（Question）

手上的工具一步步推理解决（Answer）

问题拆解（Auto Plan ✓由它自己运用通用知识结合手Answer）上的工具一步步将问题拆解（Auto Plan -> Answer）

建立模型工程标准化基建，重塑测试工作流程

分层/动态prompt

测试策略

需求

独立智能体

智能调度

结果分析

agent 智能化

知识

需求澄清

端到端精准分析

流程自动化/接口

结果多维度评估

UI自动化/交互

传统工程+大模型

需求端|测试策略生成实现测试分析和设计标准化

agent模式+开放能力

基于assistantApi，以需求作为原点，实现测试策略生成，包括需求澄清、风险关注、测试建议等，沉淀领域工具先提供全景画像辅助用户选择用什么、指导测试实践、加速岗位认知，同时通过开放能力实现业务小工具开源共建，旨在构建一个更加高效、协同的测试知识生态

产品能力：提供测试策略全景画像

组织变革&模式转变

接口级验证用例集

服务端|与传统工具深度融合

变化的是什么？？？

断言生成方式

用例推荐&汰换策略

结果分析&判定

代码变更影响范围评估

代码质量风险预蓄

基于代码变更，识别变更方法、分析影响链路以及对应的接口

接口级自动化用例推荐

PATH

接口变更类型

#

异步消息

定时任务

不同环境配置diff

这次改动影响了资损这次改动涉及分页功能这次改动涉及重试场景验证

与传统软件工程技术融合，在代码开发阶段生成适配的测试用例

展现层精准测试、diff测试、用例推荐、bug定位等所有测试关键因素的关联关系通过传统方案结合模型推理能力，应用于测试结果分析、断言智能生成等

自测执行

自测报告&准入

准入：通过

验证点：4个

未验证点：0个

验证点一：分页特征验证

服务端|端到端智能化能力迭代

以用户需求为导向，以技术创新为动力，从手工测试->自动化测试。从自动化工具->自动化测试->持续测试

碎片化工具（精准、用例生成、环境部署、覆盖率收集）&工作协同流程的结合

AI能力&现有测试工具的结合

服务端|建立与研发工具协同的应用双通道

场景一：影响接口分析，@test，输入影响接口分析，即可得到当前代码分支和master对比，影响的接口list（仅支持JAVA）

操作流程：发送指令后，testagent会列出执行当前能力所需要的步骤，用户确认继续后，testagent将会顺次执行

效果展示

1.3.2.2影响的接口列表

影响接口列表

用户交付端|智能化测试能力迭代

用户交互端多模态+Prompts+知识库--->制造出业务大脑

建立贝壳领域知识工程和产品化，辅助prompt分层设计，持续提升效果

难点-端到端链路数据服务基础能力

关键：后端服务间链路采用环境平台+trace互相补充，前端-后端链路refer + AI补全

业务场景实际应用

业务背景：提佣推城项目，涉及到全国多个城市不同岗位角色的佣金方案线上化改造，项目今年会一直持续进行。

业务问题：推城项目持续周期长、需求多；当前交付流程长、耗时长、需要多个角色介入。耗费大量人力、实践。

流程变化

PART 05 总结展望

总结展望

可持续

特定领域模型能力

知识化沉淀、知识图谱等能力融合、规模化和结构化进行数据体系的管理

“知识+场景+agent”，在垂直领域下将传统技术经验融合创新思维不断探索和尝试测试领域的场景和问题，在更上层测试设计和前置阶段发挥大模型的能力，最终带来效率提升。

模型工程能力

关注原子能力深耕，包括prompt模式的构建、

聚焦传统方法和大模型方法融合（断言智能生成等）

知识沉淀

基建

场景

丰富应用场景

关注全流程提效，从产品到开发到测试的严谨和高效，在垂直场景下做细做透持续深入，测试和agent协同测试的习惯

总结展望

AI技术

AI应用

工具

协同创新

技术创新

创新

创新协同模式

战略

管理

AI技术

人才

组织

新产品

技术集成

新平台

#

提升核心能力

一岗多能持续发展

2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革 促进企业降本增效

大模型在端到端交互测试的探索与实践

演讲嘉宾

原玉娇

PART 01 背景介绍

业务介绍

站式居住服务平台，涵盖二手房、新房、租赁及家居装修等业务

贝壳app

每日必看

被窝app

Web类产品

PART 02问题和痛点分析

痛点分析-传统

AI提效应用难点分析

工具如何结合

架构如何迭代

关注用户体验

PART 03大模型在端到端测试探索进阶之路

演进过程

个人效率提升

协同成本降低

copilot方式-实现个人提效极致应用

对话交互式应用举例

获取房客源给我个上海的房源

与之而来的新挑战

AI工具那么多，我该用哪个？【单点提效-->交付提效】

演进-agent模式驱动全流程协同增效

整体方案设计思路

AI化&标准化

灵活应用&扩展

PART 04技术实践

实现核心技术点

agent智能体

创建助手（Assistant）

提问（Question）

手上的工具 一步步 推理解决（Answer）

建立模型工程标准化基建，重塑测试工作流程

需求端|测试策略生成实现测试分析和设计标准化

agent模式+开放能力

服务端|与传统工具深度融合

#

#

自测执行

自测报告&准入

验证点一：分页特征验证

服务端|端到端智能化能力迭代

服务端|建立与研发工具协同的应用双通道

效果展示

1.3.2.2影响的接口列表

用户交付端|智能化测试能力迭代

用户交互端多模态+Prompts+知识库--->制造出业务大脑

建立贝壳领域知识工程和产品化，辅助prompt分层设计，持续提升效果

难点-端到端链路数据服务基础能力

业务场景实际应用

流程变化

PART 05 总结展望

总结展望

可持续

特定领域模型能力

模型工程能力

丰富应用场景

总结展望

#

THANKS

2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革促进企业降本增效

手上的工具一步步推理解决（Answer）

AiDD-计算机行业2024AI+研发数字峰会：大模型在端到端交互测试的探索与实践-250320.pdf