2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革促进企业降本增效

北京站 08/16-17

基于大模型的根因分析实战

文吉畅捷通信息技术股份有限公司

演讲嘉宾

文吉

十年以上SRE实战经验，特别是对ToB场景有丰富实战经验

用友集团P9高级专家

多次对外分享，融合大模型能力升级智能运维

荣获了信通院颁发的“稳定性优秀案例"

背景
目录 23 解/路/整体方案
CONTENTS 4. 具体实现/技术实践
总结与展望

PART 01背景

畅捷通是做什么的？

畅捷通信息技术股份有限公司是用友旗下成员企业，成立于2010年3月，于2014年在港交所上市，是中国领先的小微企业财税及业务云服务提供商。

业务架构复杂

C端用户量 + B端客户体量

要保障每个用户的体验

业务迭代速度快

公有云模式

接入阿里云、华为云、腾讯云等各类型公云，实现标准化运维深入研究各云组件的特性、配置、使用，实现云原生

混合云模式

服务上云、转型公有云运维

纯IDC模式

平台层运维：

glusterfs、cloudfoundry

畅捷通运维转型之路——目标0-2-5-10

业务从自建机房逐步转向全面采用公有云容器化架构，为业务发展提供了更强大的基础，但同时也带来了运维复杂性的指数级增长。

提高资源利用率

简化部署和管理

仍需手动配置和管理

虚拟化

容器化

实现更快速的部署

·弹性伸缩和持续交付

提高开发和部署效率

自建机房

·手工操作

资源利用率低

部署和扩展速度慢

·不易实现弹性伸缩

云计算

迁移到公有云或私有云平台

·实现弹性、灵活性和成本效益

·可根据需求快速调整资源

PART 02问题/痛点

》从一次飞机撞鸟说起

2023年11月1日，旭日8409飞机起飞离地时，发动机遭遇鸟击。
情况万分危急，关系到机上183人的生命安全。

客机起飞时突遭鸟击，机组人员28分钟安全返航获嘉奖

新京报2023-11-0320:46发布于北京新京报官方账号

新京报讯（记者吴采倩）“稍等一下，旭日8409，刚才撞鸟了。“11月1日，“航班遭鸟击机组带173名旅客安全返航"一事登上微博热搜，网友表示，驾驶舱内的对话"满满安全感"。

这段对话发生在8月26日，长安航空9H8409机组人员在执飞广西梧州至海南三亚航班时，飞机起飞离地时遭遇鸟击。从鸟击发生到安全返航，机组人员用28分钟化险为夷，保障了机上173名旅客和10名机组人员的生命安全。

执行检

收集现象查单

做出正确决策

总耗时秒

畅捷通运维面临什么样的压力？

闪退了以后打开

? 发生故障时难以定位

易报税是有定时任务吗凌晨三点开始paas-core-easyacctg这个服务的cpu就起来现在都没恢复@糖加三勺@叶云

4-2 10:10

慢日志也是三点开始的

感觉大概率是这个mq消费一直消费导致的

睡神 4-2 11:10

@糖加三勺@赵鹏

定位一个问题，需要：

打开3-5个看板

执行2-4次分析脚本

90%的问题此时就能找到原因，耗时10分钟。

但另10%的问题，才会产生大的故障，且往往难以定位原因

无法快速判断爆炸半径

. 已收到

报警分析

·自动分析

·人工处理流程

jira问题自动创建成功，点击查看

@报警小秘书已收到

今天怎么这么多报警？

这个内存有问题。

9点之前的是开发代码的问题
9点之后的是

恢复了

影响客户多吗？

1条回复

怎么判断报警严重性？

报警爆炸半径多大？

是否正在处理？谁在处理？

恢复了吗？

畅捷通运维面临什么样的压力？

XNSTVO

客户不能等

线上无法复现

压力山大

王某某互联网公司28岁程序员

无迹可寻

其实我觉得吧，压力也没那么大

10月28日星期六

IT从业者的压力究竟有多大

PART03解决思路/整体方案

关键要素：检查单

737快速检查单

空速不可靠

状况：怀疑空速或马赫数指示不可靠。（可能表明空速不可靠的项目在“其它信息”中列出）。

目的：如可能，识别出可靠的空速指示，或使用“性能-飞行中”章节的“空速指示不可靠飞行”图表继续飞行。

1自动驾驶（如接通）... .......脱开

2自动油门（如接通）..... .......脱开

3飞行指引电门（两个）..... .....关

4按以下数据调置起落架收上的俯仰姿态和推力：襟翼放出 .10°和80%N1襟翼收上 ......4°和75%N1

1.吸收了所有故障排查经验

2.紧急时刻不需要思考

3.谁都可以执行，无门槛

4.资料集中，查阅方便

运维领域现状-传统AIOps的缺陷

运维团队积累的专家经验很难编码到算法模型中。通常，这些经验会被简化为阈值或复杂的规则，不仅难以维护，也难以传承。

如何打造运维检查单？

接入和维护成本高，需要业务和算法团队深入理解业务逻辑和算法模型。

未遇到过的故障很难被解决，因为它们超出了模型的训练范围。

·方案需要用户理解模型并精确地传递参数

可落地的协同处理流程

建立故障处理流程；

高效协同多个组织；

可落地的协同处理流程

建立业务高峰期预防应急机制。

4.6财税业务--大税期预防和应急机制

由文吉创建，最后修改于六月30，2024

·预防篇：

·一级响应机制-处置方案： (高等风险处理机制)

·运维团队：

·1、遵循2-5-10原则，告警2分钟内须响应，5分钟内须定位到问题，10分钟内须对问题进行处理

·2、线上报警异常后，及时定位到问题，如问题不能立刻修复，须打开紧急预案，保障用户核心功能可用

·3、线上发生问题，及时打开快速定位面板，最短时间内定位问题

·4、如果是单个节点异常，应及时从集群摘除节点，防止影响扩大

·5、需要根据经验对问题严重性进行评估，如果达到一级响应级别，要及时通知研发，拉好问题处理专项群进行问题跟进与处理·研发测试团队：

·1、ui自动化报警须及时跟进问题，进行解决，保证报警的准确性

·2、ui自动化大规模报警，须及时发出预警，拉好问题处理相关负责人的群进行专项问题跟进与处理

·3、研发同学在进入专项问题跟进群后，须集中精力处理线上问题，直到问题解决

·服务团队：

·1、共性问题及时反馈，及时发现和处理共性问题

·2、大规模共性异常问题走紧急流程，要求开发运维及时跟进处理

·二级响应机制-处置方案： (中等风险处理机制)

·运维团队：

·1、值班人员负责对告警面板进行巡检，不可存留告警信息，及时反馈和解决。前期是grafana面板，后期为监控中心的驾驶舱

·2、智能巡检提供的异常巡检及时验证。 (24小时内的全部异常都要解决掉)

·3、容量评估预测风险：

·4、历史问题进行分析和提前预警：

·5、线上须研发跟进问题要及时创建jira给对应研发负责人进行跟进

·研发团队：

·1、ui自动化要求必须全部有效和正常运行。 (24小时内的全部异常都要解决掉)

·2、研发团队及时分析异常日志信息。

·服务团队：

应急止损方法论一应急止损

建立应急止损操作流程和工具。

应急止损方法论——排障树

建立故障排查的专家经验排障树。

基于大语言模型的根因诊断（RCA）Agent框架

我们定义了一些工具和插件，这些工具和插件是用于出现故障时进行检测。除了工具和插件，我们还设计了工作流编排，可以自动化的故障处理流程。此外我们构建了一个知识库，它包含了历史故障数据、专家经验和故障处理策略，这些都是进行有效根因分析的关键资源。

基础工具的构建

将传统的针对多模态运维数据的异常检测方法变成工具（Agent），用户仅需维护指标项即可。

比如我们定义变更查询工具，该工具可以用于确定问题是否由线上变更导致。这样的工具有很多，一般都是基于运维专家日常的排障经验，可以是一个简单的脚本，也可以是一个API，或者是一个命令，这些工具可以完成故障排查过程中某一个环节的任务。

服务器资源瓶颈分析

域名错误量upstream分布分析

工作流的构建

构建工作流，我们在prompt和文档中预先设置了不同报警的分析流程，即应该先后检查哪些数据，从而得出结论。

这个工作流类似飞机检查单（SOP），不同的现象对应不同的检查项，类似一个树状结构，最终一定会递归找到一个叶子节点然后返回。比如当某个域名出现5xx状态码报警，我们需要先判断这些状态码是否来源于同一个用户的请求，再判断这些请求是否都打到了同一个upstream节点，后端承载流量的微服务、容器和node是否存在问题，最后再检查是否是第三方依赖存在问题等。

这是一种妥协方案，我们可以选择对通用大语言模型进行训练，十七能够根据用户的SOP文档直接生成工作流，但是大模型训练的成本是非常高的，一方面是资源成本，另一方面是对大模型人才需求的成本。

PART 04具体实现/技术实践

数据治理—CMDB建设

将资产标签化，将标签目录化，得到完整的产品六级目录，既有业务信息，又有资产实例的关联关系，每种资源都拥有自己的身份证号：六级目录。这是AIOps落地的基石。

IP	实例ID/名称	状态	系统/配置	账号平台	可用区	付费方式创建时间	标签	使用人	操作
		运行中	4C/8G/G	阿里云	cn-bejing-k	按量付费 2024-01-07 16:28:00	?		详情
		运行中	4C/8G/G	阿里云	cn-bejing-k	按量付费	?		文详情
						2024-01-07 16:28:00
云		运行中	4C/8G/G	阿里云	cn-beijing-k	按量付费 2024-01-07 16:28:00	?		详情

数据治理——监控统一

来源于不同监控工具的报警必须满足最小字段集合，这样以来所有的报警都能标准的关联到具体的业务、产品，从而关联出所有的资源、中间件等信息。同时我们也完成了CMDB的自动化维护，形成了包含业务、基础资源、人员、代码仓库、配置等关联关系的大型数据字典，本身也为webUI提供了许多API，这些API都将作为Agent被注册。

-消息源-

-报警消息接入-

-报警消息转发-

数据治理一监控统一

? 云擎平台	Q全局搜索菜单/资源值班表
监控中心驾驶舱监控项看板	P1-Disaster P2-High				P3-Info 218个	P4-Notclassified
监控项配置
默认监控项						0个 0个		171个
业务监控项	全量未恢复报警
资源监控项						P1x P2x		报警来源 √	请输入报警内容	Q
	报警来源报警时间持续时间报警级别报警内容资源类型					报警实例	产品线中心	环境 cid	操作 ACK O
用户监控项
回监控类型配置
域名接口管理	暂无数据								凹 0
域名监控项管理
ARMS-K8S集.
历史报警流水驾驶舱


	时间报警级别	资源类型	报警实例	报警内容	产品线	中心	环境 CID	报警状态	持续时间	报警来源	手动关闭/ ACK
	2024-08-16 0 P4 16:46:24 2024-08-16 O P4	ecs pod		172.16.43.1...win内存使用.. T+cloud 容器 CPU 资... 好生意-好业财中心一	中心二	线上环境线上环境 C0850-publ..	C2053-devh.. .firing firing	27	ZABBIX	No/No

SOP定义—专家经验的沉淀

针对每种现象，我们都梳理了运维专家的排障脑图，将故障排查过程固化下来。

根节点表示现象（报警），分支节点代表一个分析操作，每个分支节点会再分化出是和否两个分支，直到最外围的叶子节点，无法再进行下一步分析为止。外围节点会有两种状态：根因和非根因

》工具构建之查询类Agent

查询类Agent融合了CMDB（产品、应用、资源的关联关系）、IT资产清单、CICD配置、config数据的查询。
查询类Agent的还包含了历史故障单的查询，让AI具备寻找历史相似事件的能力。

Schema 查看 OpenAPl-Swagger 规范 +从 URL中导入例子
"servers": [
"url": "htp-. chaniet.com"
}
]
"paths": {
i_ost_info/": {
"get": {
"summary": "Get machine host info",
"parameters": [
{
"name": "pageSize",
"in": "query"，,
"required": true,
"schema": {

可用工具

名称	描述	方法	路径	操作
assetecsmachine_host_info_get	Get machine host info	get	in: host_info/	测试
tagV2show_ctags_get	获取服务器的应用标签	get	._Jtags/	测试

》工具构建之动作类Agent

动作类的Agent就是前文提到的，对于排障脑图中某个具体节点的对象的分析过程，我们可以非常原子化的进行这些Agent的定义，比如下面是我们定义的一些Agent

服务器资源瓶颈检查

异常访问来源检查

异常访问upstream检查

BodyCookiesHeaders (10)Test Results

openapi: 3.1.0

info: title: Root_Cause_Analysis_APl

description: API for monitoring and analyzing root causes of alerts

version: 1.0.0

servers:

- url: https:) jet.com

description: Productior server paths:

/monitor/root_cai

post:

operationld: remote_root_cause_analysis

summary: Analyze the root cause of alerts pertaining to either a single user or domain, exclusively when the instance_type is designated as domain

流程编排

GitLab Projects v Groups ν Morev

Search or jump to...

Aairca-prompt

thored 1 day ago

Project overview

prompt 4.14 KB

Edit

Repository

你是一个根因分析专家，专注于解析报警信息以确定问题根本原因。报警信息将以JS0N格式提供，需仔细审查以下核

Files

2 ‘instance_type`：指示报警涉及的实例类型，涵盖domain、ecs、log、数据库、K8S组件等。

Commits

Branches

4 `product`、center`、env`、`cid`：这些字段共同标识特定的业务环境。

5 ‘pd`：表示特殊产品线中的子产品名称；若pd为空，则无需将其纳入API查询参数

3 `instance`：具体的报警实例详情。

名称

智能诊断actionl

Schema丨查看 OpenAPl-Swagger 规范

+ 从 URL中导入

例子

可用工具

名称	描述	方法路径
	Analyze the root cause of
	alerts pertaining to either a
remote_root_cause_analysis	single user or domain,	post	/monitor/root_cause_analysis/ai/domair

移除

流程编排

效果升级

降低编码的复杂性和成本输出

云擎平台

事件中心

策略配置

策略管理

策略组管理

配置中心

三数据接入

模板管理

报警屏蔽规则

默认接收规则

策略管理 ×

模板管理 ×

钉钉模板-修...X

*模板类型:

钉钉

Q全局搜索菜单

* 模板标题

模板备注

\${content}

*模板内容:

模板备注信息

-**报警日期:**\${happen_time}\n\r-**产品:** \${product_app} \n\r - **应用:** \${product_app} \n\r - **报警内容:** \${content} \n\r - **中心:** \${idc_name} \${cloudsvs} \n\r - **报警IP:** \${ip} \n\r -- --- \n\r- **运维:** \${operator} \n\r - **研发:** \${developer}\n\r - **事件:** \${ruleCaseName} \n\r - **应用ID:** \${cid} \n\r - **等级:** \${level_name} \n\r - - \n\r # 报警回复\n\r-[已收到](dtmd://dinatalkclient/sendMessage?

模板验证

验证

NEW
回

实际运用

我们目前已经实现了所有线上报警的自动分析，目前根因的召回率已经超过了50%，随着Agent和流程编排的完善，召回率还会逐渐提升。

对于成功召回根因的报警，机器人会自动关闭报警工单，同时支持钉群交互，形成闭环。

重要报警公司级内部归属于畅捷通信息技术股份有限公司

报警小秘书机器人14:33

技术运营平台／OPS-202448
[自动填写]h....,et.com产品302状态码报警,当前302状态码条数632.0

报警小秘书机器人

编辑 1	Q备注	分配	更多
详情
类型:		报警	状态:	关闭 (查看工作流)
优先级：		《一般	解决结果：	修复
影响版本：		无	修复的版本：	无
模块:		无
标签:		无
报警等级：		P2	服务器172.16i33 内存自愈.命令:win_app_clean_mem 发起时间:2024-08-1614:25:51
报警原因: 改进措施:			建议对服务器172.16.．■33进行内存监控和优化，避免频繁的内存自愈操作。同时，检查相关
			应用程序的内存使用情况，优化代码以减少内存占用。
所属部门:		技术运营部
影响范围:		T+cloud	检查代码变更:无业务变更。检查异常来源分布:单接口导
AI分析过程:		致:/tplus/aj	.ortal.UIP.Porta 常pv:415.0。检查后端异常分布:单upstream导致:17，	-u.T.-A....JIP.ashx，占比: 58.70%，异 18.133，占比:100.00%，异常pv:

RCA效果展示

高级编排组件列表

输入引导[5] <

语言模型[3] <

知识增强[3] <

基础组件[4] Y

智能服务[3] <

其他功能[3] <

系统插件[0] <

用户插件[0] <

动作请求[7] <

调试预览

提示词预览尝试在对话前提示框中编写一些提示词

（x）用户输入填入变量的值，每次启动新会话时该变量将自动替换提示词中的变量。

我们更进一步的尝试

钉钉修改窗口会话帮助

PART 05 总结与展望

方案总结一一望、闻、问、切

本方案通过构建根因排查逻辑树、建立统一的报警字段集规范，建立多模态Agent集合，充分调度AI大模型文本推理的能力，对报警通知、报警事件单和根因分析过程进行了整合，实现了报警的自动化分析，整体耗时在1分钟以内，对于90%常见的报警都能分析出根因所在，即便是10%的不常见报警，也能完成分析过程，运维人员无需重复分析，为应急止损和故障定位争取了更多时间，保证了业务稳定性。

大模型时代，做AI的主人

大模型技术诞生之后，已经颠覆了IT从业者的工作和思维习惯，大家的技术水平差距已经被大模型抹平了，而善于思考，能把问题想明白变这个事情，变得更加重要了。

其实用大模型技术完成推理+检索实现RCA应用的过程，其实就是在prompt或者知识库中定义了各种ifelse的逻辑，理论上只要能说得清的逻辑，就可以通过传统编码的方式实现，我们为什么要承担AI大模型偶尔“一本正经胡说八道”的风险？

把问题想明白说清楚专业技术强大

我们接下来会做的事情

更多工作流：让AI串联更多工作流程，比如监控、巡检、故障止损、智能容量预防、智能风险识别等

·工作流插件化：让这些工作流变成插件，从而可以在大模型应用中进行调用

大总管的模式：面向对话框工作，所有的交互不再需要设计webUI，也不再需要设计问题，简化开发的过程，充分释放AI的能力

我们接下来会做的事情

未来的发展趋势

关键词：全文检索、逻辑推理、低代码

目标：

1、基于大模型的，减少知识获取难度

2、利用大模型擅于汇总、总结的能力

XXX现在有问题吗？

query

XXX当前有少量500状态码，都来自同一个用户的请求，结合历史判断目前正常

2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革 促进企业降本增效

基于大模型的根因分析实战

演讲嘉宾

文吉

PART 01背景

畅捷通是做什么的？

公有云模式

畅捷通运维转型之路——目标0-2-5-10

容器化

自建机房

云计算

PART 02问题/痛点

》从一次飞机撞鸟说起

客机起飞时突遭鸟击，机组人员28分钟安全返航获嘉奖

执行检

总耗时 秒

畅捷通运维面临什么样的压力？

? 发生故障时难以定位

无法快速判断爆炸半径

. 已收到

畅捷通运维面临什么样的压力？

PART03解决思路/整体方案

关键要素：检查单

737快速检查单

空速不可靠

运维领域现状-传统AIOps的缺陷

如何打造运维检查单？

可落地的协同处理流程

可落地的协同处理流程

建立业务高峰期预防应急机制。

4.6财税业务--大税期预防和应急机制

·预防篇：

·一级响应机制-处置方案： (高等风险处理机制)

应急止损方法论一 应急止损

应急止损方法论——排障树

建立故障排查的专家经验排障树。

基于大语言模型的根因诊断（RCA）Agent框架

基础工具的构建

工作流的构建

PART 04具体实现/技术实践

数据治理—CMDB建设

数据治理——监控统一

数据治理一 监控统一

SOP定义—专家经验的沉淀

》工具构建之查询类Agent

可用工具

》工具构建之动作类Agent

动作类的Agent就是前文提到的，对于排障脑图中某个具体节点的对象的分析过程，我们可以非常原子化的进行这些Agent的定义，比如下面是我们定义的一些Agent

服务器资源瓶颈检查

异常访问来源检查

异常访问upstream检查

BodyCookiesHeaders (10)Test Results

流程编排

prompt 4.14 KB

名称

Schema丨查看 OpenAPl-Swagger 规范

可用工具

流程编排

效果升级

云擎平台

实际运用

RCA效果展示

高级编排组件列表

调试预览

我们更进一步的尝试

PART 05 总结与展望

方案总结一一望、闻、问、切

大模型时代， 做AI的主人

把问题想明白说清楚 专业技术强大

我们接下来会做的事情

我们接下来会做的事情

未来的发展趋势

关键词：全文检索、逻辑推理、低代码

query

THANKS

2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革促进企业降本增效

总耗时秒

应急止损方法论一应急止损

数据治理一监控统一

大模型时代，做AI的主人

把问题想明白说清楚专业技术强大

AiDD-人工智能行业2024AI+研发数字峰会：基于大模型的根因分析实战-250320.pdf