重大事件中的 AI 指标怎么设计？联想 ITIL 5 内训课程教学心得分享

速度不是唯一目标，稳定性、置信度和人工介入也要被看见

本系列为ITIL官方宣传大使长河老师2026年5月联想ITIL 5内训课程教学心得分享，共五篇，本文为第三篇。

重大事件管理中引入 AI，最容易被大家注意到的指标是速度。AI 能不能更快发现异常？能不能更快聚合告警？能不能更快生成影响范围分析？能不能更快给出处置建议？这些问题当然重要——重大事件里，每一分钟都可能影响业务体验，速度是无法回避的指标。但这次联想 ITIL 5 Foundation 内训课程的研讨让我再次确认，AI 进入重大事件管理后，指标不能只看速度。如果 AI 很快，但判断不稳定，组织不敢用；如果 AI 建议很多，但置信度不清，工程师反而要花更多时间核对；如果 AI 自动执行动作却经常需要回滚，速度就会变成风险。真正成熟的指标体系，必须同时看速度、质量、稳定性、人工介入和复盘收益。

课堂第二场分组研讨，我们按照识别、分诊、处置、复盘四个阶段，讨论重大事件中 AI 应该如何介入。识别阶段，最直接的指标是异常发现时间和告警聚合准确性。AI 是否能比人工更早发现异常？是否能把相关告警聚合在一起？是否减少了重复告警对人的干扰？但还要看误报和漏报：误报太多，会让团队疲劳；漏报太多，风险更大。所以 AI 识别能力不能只看"发现了多少"，还要看"发现得是否有用"，更细一点，还可以看告警压缩率、关联命中率、人工确认后的有效比例。

分诊阶段，指标要看影响范围评估的准确性、优先级建议的采纳率、置信度分布，以及人工确认频率。这里有一个很关键的点：人工介入不是失败指标。对于高风险、低置信度、新类型事件，AI 主动转人工，反而说明边界设计合理。真正要警惕的，是该转人工却没有转，或者大量低风险场景仍然需要人工反复确认。

课间经过走廊，各种休闲设施一路排开，联想园区的配套让人印象深刻。下午重新进教室，讨论进入了最需要权衡的部分——处置阶段，指标设计也最要谨慎。

如果 AI 被授权执行某些标准化动作，就要看执行成功率、回滚触发率、平均处置时间缩短程度、自动化动作覆盖范围，以及执行后是否产生新的异常。对于涉及核心业务系统或影响范围难以预估的动作，指标不能鼓励盲目自动化，而要看人工确认点是否有效、审批是否及时、回滚方案是否可用。课堂讨论中，大家形成了分层授权的方向：有明确 SOP、影响范围有限、回滚方案成熟的动作，可以考虑授权 AI 执行；高风险动作必须保留人工批准。对应的指标也应该分层——低风险动作看自动执行效率，高风险动作看辅助判断质量和人工决策支持效果。

复盘阶段，AI 的指标又换了一套逻辑。AI 可以辅助根因分析、生成事件报告初稿、提取知识库条目，可以看报告初稿生成时间、人工修改比例、根因分析建议采纳率、知识条目审核通过率、复盘材料完整度，更进一步还可以看这些知识条目在后续事件中是否被有效调用。这时 AI 的价值，不是替人下最终结论，而是让复盘更快、更完整，让人的精力集中在判断和改进上。

午间在走廊里走了一圈，脑子里还在回味刚才关于稳定性指标的讨论。这确实是一个容易被忽视的维度：同一个类型的重大事件，AI 今天判断准确，明天判断偏差很大，对管理者来说是不放心的。AI 能力验收不能只看一次演示，而要看多组 test case 下的表现，看灰度运行期的稳定性，看异常场景下是否会主动降级或转人工。这和健康指标很像，一次体检数值正常不代表长期稳定，连续观察趋势才更有意义。AI 进入重大事件管理后，组织也需要趋势指标：识别准确率是否稳定，人工纠偏是否下降，自动处置是否逐步扩展但风险没有上升，复盘知识质量是否持续改善。这类指标，正是 ITIL 第 5 版值得管理层学习的地方——不是简单告诉大家"AI 可以用于运维"，而是要求组织把 AI 放进服务管理实践里，持续观察、反馈和改进。