基于大模型思维链的SRE智能化服务检查
服务变更后的健康度检查,长期依赖指标阈值与人工经验。本文分享一次探索:把 SRE 的领域知识与诊断思路沉淀为 Prompt,借助大模型的思维链完成变更后的风险判断,并以低代码编排的方式嵌入现有发布流程。
# 背景
# 现状分析
服务健康度检查是变更后的通用观测手段,目前主要依赖多维指标的阈值比对与异常检测。这套模式在业务差异化和规模化之后逐渐暴露瓶颈:
- 实现成本高:不同业务、不同指标都需要大量定制化编码;
- 扩展性受限:个性化检查诉求往往要经过需求、排期、开发多轮迭代;
- 专家经验难以沉淀:SRE 的判断逻辑散落在个人经验和告警规则里,难以系统化复用。
# 实现思路
这次探索以 DeepSeek-R1 为推理引擎,尝试将 SRE 的指标判断规则、业务特征和历史案例整理成 Prompt。系统采集变更前后的监控数据后,将数据与这些判断依据一同交给模型,生成风险等级和分析报告。
与为每个场景单独开发检查逻辑相比,这种方式希望让专家能够通过调整知识和案例来迭代判断规则,减少部分定制开发工作:
- 传统流程:专家经验 → 产品设计 → 代码开发 → 产品落地
- 探索流程:专家经验 → 知识建模 → 流程编排 → 模型辅助判断
模型给出的原因是基于现有数据的分析假设,并不等同于已验证的根因;风险结论和处置动作仍需要结合业务场景复核。
# 架构设计
# 总体逻辑架构
从任务触发到结果反馈,系统按职责分为五个部分:

- 任务入口:接收服务变更、定时巡检或人工触发的检查任务。
- 执行编排层:管理任务,采集并预处理监控数据,串联后续分析流程。
- 知识工程层:整理指标规则、业务特征和历史案例,为风险判断提供上下文。知识内容包括故障模式、指标关联、风险等级与基线参考。
- AI 推理引擎:组装 Prompt 和监控数据,调用模型分析,输出风险等级及其依据。
- 结果处理层:保存检查报告,通知相关人员,并将经过复核的案例用于后续知识优化。
其中,知识工程层解决“依据什么判断”,推理引擎解决“如何综合判断”,编排与结果处理层则负责让检查融入现有运维流程。
# 检查流程
# 整体流程
一项检查从创建任务开始:首先确定集群、变更时间与业务单元,再采集变更前、历史同期和变更后的监控数据。数据经过校验、对齐和降噪后,与 SRE 规则、业务知识及历史案例一起组装为 Prompt,交给大模型分析。最后保存结构化结果,并按需通知或进行后续处置。

# 服务交互时序
将上述流程展开到服务调用层面,可以分为四个阶段:
- 获取业务信息:根据节点查询名字服务和成本服务,确定服务及预算单元。
- 采集监控数据:获取变更前、历史同期和变更后的数据,完成校验、降噪与格式化。
- 分析风险:加载 SRE 领域知识,组装 Prompt 并调用模型,解析和校验返回结果。
- 存储与通知:保存报告,异步回调任务触发方,并向责任人或相关群组发送通知;检查案例可经复核后用于知识优化。

# 风险判断设计
# 从监控数据到风险等级
数据采集完成后,模型需要结合业务背景综合判断,而不是只看单个指标是否超过阈值。设计上的分析顺序如下:先了解流量规模和业务关注度,再观察成功率、时延及 CPU、内存等指标;随后对比变更前和历史同期数据,结合业务特征与历史案例,判断异常是否持续、是否可能影响服务。

最终报告将风险划分为无风险、低风险、中风险和高风险,并按照“结论、数据支撑、分析过程、历史案例”的顺序呈现。这样的结构既便于快速了解结果,也方便使用者回看判断依据。
# Prompt 设计
为了让模型遵循上述检查思路,Prompt 中依次定义任务目标、输入字段、指标含义、判断条件、历史案例和输出格式。前半部分描述检查方法,后半部分用 5 个案例展示不同场景下的判断方式。
以下保留完整 Prompt。文中的阈值和案例是该场景下的参考,使用时需要根据业务实际情况验证和调整。
# 目标:根据给出的监控数据,按照上下文给出的格式,判断风险的等级(高风险,中风险,低风险,无风险)。
# 要求:根据下面给出的思考过程及判断逻辑,结合监控数据分析风险级别并形成自己的思维链;要优先理解判断逻辑,其次通过分析案例来丰富判断依据;
# 任务分解:
1.提取信息:学习监控数据格式及每个字段代表的含义能够正确提取信息
2.了解指标作用:学习每个指标的说明能够正确理解指标的重要程度以及对风险等级判定的影响
3.判断条件:学习判断条件作为判断依据,重点学习不同指标组合时的关联关系以及可能出现的问题
4.案例学习:根据给出的案例结合(判断条件)深度分析,理论与实践结合,判断条件作为方法论指导,也要结合实际情况来灵活判断。
# 提取信息:
1.提取时间:start_time为服务开始变更的时间,end_time为服务结束变更的时间,monitor_start_time为监控采集的开始时间,monitor_end_time为监控采集的结束时间。
2.提取集群:cluster为本次变更的服务集群,也是本次监控指标的主体
3.提取数据:history_data是一段服务正常表现的数据,称之为变更前的数据,用于参考对比;assessment_data为待评估对比的数据,通常称之为变更后的数据,需要把assessment_data的数据与history_data的数据每一项进行对比,从而得出本次服务变更的风险等级。history_data和assessment_data数据结构相同。
4.提取检查指标,检查指标在history_data和assessment_data中,拥有一个或多个检查指标,以json数组形式展示,data对象中的key是监控指标,value是一个数组,包含一组监控值,每个值间10s。
5.提取唯一id:job_id是本次任务的id
6.提取预算单元:budget_unit是预算单元,相同的预算单元可能存在相似的现象,比如大数据,题库,检索可能在代码上线时因重启经常cpu和内存和时延突增突降但很快会恢复,又比如直播课相关的预算单元,18:00-22:00经常有流量突增,时延增大,又比如用户产品,经常会有成功率维持在一个低水位。
# 了解指标作用:
1.指标说明:成功率是最关键的指标,正常情况是100,成功率**突然大幅**下降、直接影响服务质量如突降20或持续劣化,一般为高风险,但某些服务存在长期成功率不高的情况则为低风险,所以需要结合历史数据评估是否是突然大幅度下降。成功率的微小抖动不管流量高低都可忽略影响,成功率较大的抖动在流量低关注度或不关注度的场景可以酌情忽略。成功率下降较低时(参考值:<5)为低风险。
2.指标说明:时延单纯升高通常为无风险,因为时延可能会抖动,如果时延增大了几倍并且超过了一个较大的值(参考值:1000)就是低风险,如果一直持续没有恢复并且伴随成功率中幅下降(参考值:>6)就是中风险,如果恢复了则无风险,原因可能是服务负载高,也可能是服务有变更,但是,有的服务可能是传输大量数据或执行复杂逻辑常态下就是超过1000的,所以需要结合历史同期数据来对比。
3.指标说明:流量为参考指标,需配合其他指标综合观察,不单独作为判断依据。正常的流量趋势有以下几种:正常的流量潮汐导致的波峰波谷,一般为日级别,今天的同一时段和昨天的同一时段可能相差不大;分钟级的波峰通常是定时任务的流量特征;节假日级别的波峰波谷需结合日期对应其节假日,流量可能升高也可能降低;周级别的波峰波谷通常体现在周末比工作日流量或高或低。高关注度流量值(参考值:>500),正常流量值(参考值:>100),低关注度流量值(参考值:20-80),不关注流量值(参考值:<20)小于20直接判定为无风险;
4.指标说明:cpu使用率数值应低于安全水位(参考值:80),对于流量潮汐分明的业务来说这是一个比较安全的水位,**但并非超过安全水位就是高风险**,需要结合历史同期数据和变更前来看是否为常态现象,cpu是可压缩资源,和内存不同,某些情况下会超过安全水位甚至跑满,可能的原因有:定时任务导致的周期性的突增突降这种风险较低;流量突增导致的风险较高;训练任务型的业务通常会有相当一段时间数值都处于高位并且流量,时延很低,有周期性的特点
5.指标说明:内存正常数值应低于安全水位(参考值:80),内存可能会抖动,超过安全水位不能说明一定有风险,需要结合历史数据看是否长期以来就是这样,还要看变更前数据,如果变更前数据也已经超过则表示并非本次变更导致的,所以风险等级应该降低,如大模型训练,大数据,redis等服务重启时会出现内存升高。但如果超过警戒水位(参考值:95)并且持续未恢复则有风险,内存打满会触发系统OOM,无论什么原因都应定义为高风险。
# 判断条件
1.饱和度判断:CPU:指标表现:CPU利用率持续高水位(参考值:80),关联影响:可能导致时延上升;内存:内存利用率持续高于高水位(参考值:80),关联影响:内存不足可能导致服务崩溃或响应变慢。前提是历史同期或变更前并非处于高水位才是高风险,否则应降低风险评级
- 注意:cpu和内存下降无风险,资源饱和度主要关注的是增长而非下降。
2.流量判断:当流量值超过一般的值小于20时,可直接判定为无风险。流量突增:指标表现:流量显著超过历史基线,可能伴随资源利用率(如CPU、内存)同步上升,关联影响:若系统未及时扩容,可能导致时延增加或成功率大幅度下降;流量突降:指标表现:流量显著低于历史基线,可能由上游服务故障、网络中断或客户端异常引起。关联影响:可能某条链路中断导致流量未传递,或者下线了某个接口。
3.成功率判断:成功率突降:指标表现:成功率大幅度低于100并且成功率显著低于历史基线,关联影响:CPU突增或内存突增或时延增大或流量突增。同时满足成功率>98和流量平稳则为无风险,不需要看其他指标.
4.时延判断:平均延迟增加:指标表现:时延最后3个数据点相比历史数据上升一倍并且超过一个较大的值(参考值:1000ms)。并且持续未恢复。原因可能由资源竞争(如数据库锁)、慢查询或依赖服务延迟导致。关联影响:cpu突增或内存突增或成功率大幅度下降或流量增长。如果延迟最后3个数据点未显著高于历史数据则即使之前的数据点高于历史数据也是无风险。
5.场景判断:容量不足的表现有资源饱和度增长如cpu突增或内存突增,时延变大,流量突增,成功率突然大幅度降,通常为高风险,如果抖动后恢复则为低风险
6.场景判断:变更有问题的表现有成功率大幅度下降,时延上升,流量受成功率大幅度下降导致增加重试流量,资源饱和度可能有变化但只要不是持续在90以上一般不会有问题,通常为低风险,如果成功率大幅度突降(参考值:20)并且持续劣化未能恢复则为高风险
7.场景判断:下游服务故障的表现有成功率抖动,时延上升,流量轻微上升(一般是流量积压或重试),以上3个条件都符合通常为中风险,如果成功率大幅度突降(参考值:20)并且持续劣化未能恢复则为高风险,否则为低风险
8.场景判断:周期性任务的表现有每隔固定周期(参考值:5分钟)通常环比前一天同时间会有相同表现,流量,资源饱和度都会持续上涨一段时间后恢复到之前的水位,只要成功率没有下降,通常为无风险
9.场景判断:服务抖动:cpu,内存,时延突增后恢复,流量,成功率没有太大变化,通常为低风险
10.场景判断:业务正常表现:除流量外其他指标均无太大波动,通常为无风险
11.场景判断:服务重启:cpu、内存、成功率、时延、流量数值会有增加或降低,最终与变更前的数值相差不大,通常为无风险
# 案例学习
-----案例1 start-----
输入:'''{"job_id":209423477,"cluster":"polyflow-infer-worker-n.asr.qcvmbj6-docker","end_time":"2025-04-21 16:21:14","start_time":"2025-04-21 16:21:14","budget_unit":"智能中台AIGC-推理","history_data":[{"data":{"cpu":[0.77,0.62,0.98,0.79,0.43,0.65,3.98,13.55,15.99,8.57,6.69],"内存":[24.55,24.55,24.7,24.7,24.7,24.7,27.54,29.98,32.32,32.32,35.4],"mesh时延":[0.25,0.31,0.29,0.09,0.58,0.45,0.49,0.53,0.43,0.75,0.64],"mesh流量":[0.8,1,0.9,0.4,0.7,1,1.6,1.3,1.5,1.9,1.8],"mesh成功率":[87.5,90,88.89,75,85.71,90,68.75,61.54,66.67,68.42,61.11]},"monitor_end_time":"2025-04-21 16:21:14","monitor_start_time":"2025-04-21 16:16:14"},{"data":{"cpu":[9.31,9.5,9.28,9.07,8.75],"内存":[40.86,40.86,40.86,40.86,40.86],},"monitor_end_time":"2025-04-20 16:23:14","monitor_start_time":"2025-04-20 16:21:14"}],"assessment_data":{"data":{"cpu":[6.69,18.4,13.51,6.34,2.4,5,6,5,4,12,13],"内存":[35.4,37.4,35.07,31.58,31.59,33,50,34,40],"mesh时延":[64,162,148,206,500,1200,1500,500,200,100],"mesh流量":[1.8,1.1,0.9,0.9,0.3,5,7,13,2,1],"mesh成功率":[100,100,80,87,61.11,72.73,66.67,66.67]},"monitor_end_time":"2025-04-21 16:23:14","monitor_start_time":"2025-04-21 16:21:14"}}
'''
思考:'''
流量数值有超过三分之二的数据值<20即属于不关注区间,可直接判定为无风险,因此结论是:无风险
'''
输出:无风险
-----案例1 end------
-----案例2 start-----
输入:'''
{"job_id":218065406,"cluster":"gptserver.aiessay.qcvmbj6-docker","end_time":"2025-05-15 15:43:37","start_time":"2025-05-15 15:33:37","budget_unit":"AI快问应用","history_data":[{"data":{"cpu":[15.095,15.214,15.177,15.288,15.264,15.143,14.917,14.79,14.764,14.586,14.468,14.482,14.405,14.484,14.561,14.943,15,15.152,15.329,15.152,15.193,15.155,15.097,14.877,14.941,14.942,14.801,14.733,14.707,14.653,14.52],"内存":[15.447,15.205,15.445,15.48,15.416,15.353,15.388,15.333,15.357,15.442,15.312,15.308,15.319,15.342,15.284,15.321,15.353,15.295,15.189,15.409,15.264,15.351,15.418,15.357,15.313,15.22,15.257,15.338,15.224,15.17,15.315],"mesh时延":[1047,1180,1072,1071,1019,1172,938,1004,971,1043,1005,928,1033,866,1064,962,1038,1108,1063,898,1118,925,1031,1083,1001,1214,1053,964,826,1035,1147],"mesh流量":[284,280.7,280.9,279.2,279.5,286.7,295.6,269,295.9,315.4,305.8,311.6,295.7,306.5,309.5,304.1,304.8,286.7,291,311.5,285.3,286.8,285.2,281.8,273.9,281.6,292.8,276.8,310.9,279.4,285.5],"mesh成功率":[100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100]},"monitor_end_time":"2025-05-15 15:33:37","monitor_start_time":"2025-05-15 15:28:37"},{"data":{"cpu":[12.252,12.296,12.397,12.479,12.576,12.752,13.015,13.022,12.945,12.962,13.098,13.03,12.927],"内存":[13.93,14.056,14.043,14.039,14.012,14.092,14.046,14.06,13.996,14.031,14.04,14.009,14.01],"mesh时延":[844,1043,957,897,1019,959,1002,1104,877,972,1112,940,919],"mesh流量":[265.7,281.1,264.3,277.4,282.4,288.7,288,250.6,281,282.5,286,278.3,300.7],"mesh成功率":[100,100,100,100,100,100,100,100,100,100,100,100,100]},"monitor_end_time":"2025-05-14 15:45:37","monitor_start_time":"2025-05-14 15:43:37"}],"assessment_data":{"data":{"cpu":[11.236,9.964,7.367,7.532,7.938,7.476,6.743,6.33,6.077,5.945,6.092,6.013,6.069],"内存":[14.75,12.949,11.583,11.82,12.095,8.218,6.183,6.243,6.267,6.292,6.313,6.381,6.426],"mesh时延":[596,7916,9733,7433,19289,449,429,489,468,514,424,472,532],"mesh流量":[290.7,296.7,311,318.9,293.6,318,304.2,298.8,296.3,302.3,331.9,305.9,311.9],"mesh成功率":[99.897,99.225,99.26,99.31,95.012,88.182,78.014,87.929,94.123,99.008,99.036,99.15,99.038]},"monitor_end_time":"2025-05-15 15:45:37","monitor_start_time":"2025-05-15 15:43:37"}}
'''
思考:'''
变更后的时延数据先偏离历史均值,超历史基线18倍存在多个超1000ms的异常值,但最后至少3个数据点重新接近历史均值,属于变更后正常恢复的表现,无风险;成功率最终重回变更前或历史均值,无风险;资源饱和度未超过安全水位,无风险;因此结论为无风险
'''
输出:无风险
-----案例2 end-----
-----案例3 start---
输入:'''
{"start_time":"2025-03-31 17:55:00","end_time":"2025-03-31 18:00:00","job_id":177987,"cluster":"tiku-formula.tiku.qcvmbj6-docker","budget_unit":"","history_data":[{"monitor_start_time":"2025-03-31 17:50:00","monitor_end_time":"2025-03-31 17:55:00","data":{"cpu":[5.75,5.78,5.86,5.89,5.79,5.73,5.79,5.94,5.98,6.01,6.2],"mesh成功率":[97.55,98.59,97.64,98.7,97.69,96.22,97.07,98.07,97.91,94.36,97.8],"mesh时延":[0.19,0.19,0.18,0.17,0.18,0.19,0.2,0.18,0.2,0.19,0.2],"mesh流量":[1353.5,1329.1,1359.4,1311.5,1346,1337.1,1322.3,1354.4,1360.9,1456.7,1391],"内存":[8.89,8.9,8.89,8.94,8.91,8.96,8.9,8.89,8.91,8.9,8.93]}},{"monitor_start_time":"2025-03-30 18:00:00","monitor_end_time":"2025-03-30 18:02:00","data":{"cpu":[0.73,0.69,0.75,0.77,0.77],"mesh成功率":[100,87.38,84.19,87.3,80.94],"mesh时延":[0.02,0.02,0.01,0.02,0.01],"mesh流量":[25.4,31.7,31,30.7,40.4],"内存":[8.92,8.88,8.86,8.89,8.91]}}],"assessment_data":{"monitor_start_time":"2025-03-31 18:00:00","monitor_end_time":"2025-03-31 18:02:00","data":{"cpu":[6.15,4.37,1.65,0.8,0.75],"mesh成功率":[90.11,16.88,51.41,33.06,30.79],"mesh时延":[0.19,0,0.01,0.01,0.01],"mesh流量":[220.4,158.2,53.3,85.6,86.4],"内存":[9.02,8.76,8.61,8.49,8.52]}}}
'''
思考:'''
变更后的数据成功率下降幅度非常大,从流量来看每秒平均流量最高超过220,所以高流量成功率较大幅度突降并且持续劣化未恢复符合高风险标准,对比变更前的数据看,成功率也是在下降,对比昨天的数据成功率也同样在下降,说明并非每天在这个时间都下降,排除周期性任务因素,时延在下降但不能说明问题通常时延上升才会反应服务有问题,流量和cpu在下降,这和我们通常见到的场景不一样,通常成功率下降会因为重试流量而上升,资源饱和度也因此升高,但看起来并没有重试流量,也不符合容量不足导致问题,有可能是调用下游服务异常导致问题,综上成功率突降且流量超过100,可能是调用下游服务异常导致,因此结论是:高风险
'''
输出:高风险
-----案例3 end-------
-----案例4 start------
输入'''{"job_id": 215175310, "cluster": "logcenter-znzt.op.qcvmbj6", "end_time": "2025-05-07 17:46:49", "start_time": "2025-05-07 17:36:49", "budget_unit": "检索算法", "history_data": [{"data": {"cpu": [70.142, 72.977, 68.704, 68.237, 68.184, 67.284, 71.131, 69.296, 67.726, 68.363, 67.71, 74.511, 71.433, 68.965, 68.661, 68.627, 72.735, 71.876, 68.499, 68.804, 69.259, 75.647, 70.863, 71.265, 67.967, 71.8, 75.085, 69.668, 69.791, 69.813, 73.297], "内存": [40.533, 40.531, 40.521, 40.518, 40.512, 40.506, 40.501, 40.489, 40.483, 40.479, 40.475, 40.469, 40.463, 40.456, 40.451, 40.449, 40.44, 40.436, 40.432, 40.427, 40.421, 40.416, 40.411, 40.406, 40.403, 40.397, 40.393, 40.387, 40.383, 40.377, 40.37]}, "monitor_end_time": "2025-05-07 17:36:49", "monitor_start_time": "2025-05-07 17:31:49"}, {"data": {"cpu": [69.544, 59.656, 70.749, 66.552, 61.262, 68.873, 60.971, 72.225, 67.55, 63.54, 68.887, 59.982, 70.387], "内存": [53.591, 53.617, 53.65, 53.65, 53.649, 53.657, 53.658, 53.658, 53.659, 53.658, 53.659, 53.659, 53.66]}, "monitor_end_time": "2025-05-06 17:48:49", "monitor_start_time": "2025-05-06 17:46:49"}], "assessment_data": {"data": {"cpu": [82.588, 80.238, 79.698, 80.918, 83.195, 80.886, 78.759, 83.494, 80.558, 76.955, 82.914, 82.257, 78.964], "内存": [40.09, 40.086, 40.093, 40.081, 40.079, 40.073, 40.07, 40.066, 40.062, 40.061, 40.055, 40.053, 40.05]}, "monitor_end_time": "2025-05-07 17:48:49", "monitor_start_time": "2025-05-07 17:46:49"}}'''
思考:'''资源饱和度:变更后的内存与昨日同期相似,cpu虽然超过了安全水位(参考值:>80),但安全水位是针对普通服务,而这个服务从变更前的数据和历史同期数据来看长期在70左右,接近安全水位,所以相对来说涨幅并不是很大,因此结论是:无风险'''
输出:无风险
-----案例4 end----
-----案例5 start----
输入'''{"job_id": 210139064, "cluster": "knowledge-aigc-controller.rec-strategy.qcvmbj6-docker", "end_time": "2025-04-23 16:04:49", "start_time": "2025-04-23 16:04:49", "budget_unit": "检索算法", "history_data": [{"data": {"cpu": [2.46, 2.47, 2.46, 2.48, 2.54, 2.58, 2.6, 2.6, 2.62, 2.61, 2.57], "内存": [35.28, 35.28, 35.29, 35.3, 35.31, 35.29, 35.3, 35.31, 35.3, 35.29, 35.3], "mesh时延": [4050, 4130, 3740, 3080, 2710, 2780, 2470, 2740, 3050, 3280, 4250], "mesh流量": [258.9, 247.2, 242.3, 304.7, 327.1, 314.4, 327.4, 329.5, 300, 288.2, 249.2], "mesh成功率": [93.7, 94.22, 95.25, 97.6, 98.38, 98.35, 99.02, 98.73, 98.27, 97.4, 92.66]}, "monitor_end_time": "2025-04-23 16:04:49", "monitor_start_time": "2025-04-23 15:59:49"}, {"data": {"cpu": [2.59, 2.59, 2.59, 2.6, 2.61], "内存": [30.51, 30.52, 30.52, 30.54, 30.55], "mesh时延": [2150, 2020, 2140, 2160, 2080], "mesh流量": [325, 334, 332, 343.5, 332.7], "mesh成功率": [99.42, 99.31, 99.19, 99.21, 99.34]}, "monitor_end_time": "2025-04-22 16:06:49", "monitor_start_time": "2025-04-22 16:04:49"}], "assessment_data": {"data": {"cpu": [2.57, 2.51, 2.46, 2.43, 2.42], "内存": [35.3, 35.29, 35.29, 35.3, 35.29], "mesh时延": [4250, 4430, 4760, 5010, 4890], "mesh流量": [249.2, 229.6, 241.7, 223.6, 215], "mesh成功率": [92.66, 92.42, 90.73, 85.73, 92.65]}, "monitor_end_time": "2025-04-23 16:06:49", "monitor_start_time": "2025-04-23 16:04:49"}}'''
思考:'''
资源饱和度:变更后cpu使用率在2%左右,内存在35%左右,没有超过安全水位,和变更前差不多,和昨天同期比内存使用率增长5%,cpu无变化,推测可能是流量有增长?总结变化较小无风险。从流量看变更后比变更前流量低了50,不过变化比例只有不到20%可接受,比昨天同期降了30%,推翻了刚才流量增长导致内存使用率增加的推理,看起来内存增长可能有其他原因。时延变更前后差不多,但和昨天同期比增加了1倍,平均值超过1000,同时满足超过1000ms并且有较大涨幅而且没有恢复的三个条件,从这里得出几个信息:1.变更前已经出现耗时翻倍问题,说明不是本次变更引入2.服务长期耗时超过1000ms说明接口一直响应较慢,非时延突增,3.时延明显的劣化属于风险但非本次引入。在看看最重要的指标成功率,也得出几个信息:1.成功率变更前后都不是100%说明不是本次引入2.昨天同期成功超过99%,说明对比昨天出现了劣化迹象综上内存略微上升,流量相对高位出现成功率较大幅度下降,时延处于高位且翻倍,但并非本次引入,因此结论是:中风险
'''
输出:中风险
-----案例5 end------
# 回答要求:输出结论及分析过程,使用markdown代码块格式,按照结论先行,数据支撑,分析过程,历史case的顺序并使用二级标题进行突出。
# 禁止以下行为:
- 不要一味地通过案例反推判断逻辑,保持严谨不要夸张。
- 禁止输出时存在多余空行、删除线(~~)
- 当每个指标数据量过小(标准:<3),跳过此项指标。
- 如果对比的指标只有变更后的数据,变更前数据中不存在,不要将此项指标纳入检查范围。
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
# 输出示例
以下为一次无风险变更的检查输出节选:
# 结论
无风险
# 数据支撑
CPU 使用率
- 变更前:均值约 0.017%(范围 0.015%~0.021%)
- 变更后:短暂突增至 0.066% 后回落(范围 0.014%~0.066%)
内存使用率
- 变更前:恒定 3.368%
- 变更后:轻微波动(范围 3.308%~3.369%)
# 分析过程
饱和度判断
CPU:变更后的最高值仅为 0.066%,远低于 80% 的安全水位。突增幅度虽达 3.88 倍(0.017% → 0.066%),但绝对值极小且快速回落,属于低关注度抖动。
内存:变更后的波动幅度仅 0.061%(3.308%~3.369%),远低于安全水位,且未出现持续增长。
上下文关联
预算单元特征:直播课教学业务在 18:00-22:00 可能存在周期性流量潮汐,但当前监控时段(18:53-19:05)未观测到显著的资源需求变化。
服务特性:该微服务(docker 集群)长期保持极低的资源占用(CPU < 0.1%、内存 < 4%),符合轻量级后台服务的特征。
# 历史案例印证
与案例 1 的逻辑一致:当资源饱和度指标的绝对值极小(CPU < 1%、内存 < 5%)时,即使存在相对比例的突增,也直接判定为无风险。
与案例 4 的逻辑一致:历史基线长期处于低水位时,细微波动属于业务正常表现。
# 检查通知
对于未通过检查的变更,平台会生成如下通知,推送给变更责任人并附上分析详情与工单入口:
- 任务类型:CD 部署
- 服务单元:xxxx
- 检查时间:2025-08-19 11:49:49
- 检查结论:不通过([点击查看 AI 分析])
- 变更人:xxx
- 变更详情:[点击查看 CM 工单]
# 总结
这套方案的价值不在于用大模型替代 SRE,而在于把专家经验从代码中解耦出来:知识以 Prompt 和案例的形式持续迭代,检查逻辑通过编排快速复用。随着检查结果不断回流,知识库与判断准确率可以形成正向循环;后续还可以向日志与链路等多模态数据分析、自动处置等方向延伸。
