利用人工智能提高事件响应效率
内容提要
Meta公司开发了一种AI辅助的根本原因分析系统，利用启发式检索和大语言模型加速故障调查，测试中准确率达到42%。该系统帮助识别网页单体库的根本原因，简化调查过程，提高响应效率，未来计划扩展功能以主动检测潜在问题。
延伸解读
准确率42%的解读
文章指出，系统在回溯测试中达到42%的准确率，具体是指在调查创建时，根据当时可得信息，将根本原因包含在建议的前五个代码变更中的比例。这一指标反映了在信息有限的早期阶段，AI辅助定位根本原因的能力，并非最终解决率。
两阶段检索与排序机制
系统首先通过基于启发式的检索器，利用代码和目录所有权、运行时调用图等信息，将搜索空间从数千个变更缩减到数百个，且准确率无显著下降。随后，基于LLM的排序系统使用Llama模型，通过选举式排名进一步筛选出前五个候选变更。
模型微调的关键作用
达到42%准确率的最大杠杆是微调Llama 2（7B）模型。训练过程包括使用内部维基、问答和代码进行持续预训练，以及混合原始SFT数据和专门的根本原因分析SFT数据集进行监督微调，使模型能够遵循RCA指令并生成排序列表。
风险控制与未来方向
文章强调AI可能建议错误根本原因并误导工程师，因此所有面向员工的功能都优先考虑闭环反馈和结果可解释性，并依赖置信度测量来避免推荐低置信度答案。未来计划扩展系统以自主执行完整工作流，并在代码推送前主动检测潜在事件。
Q&A
Meta公司的AI辅助根本原因分析系统如何工作？
该系统结合启发式检索和大语言模型，通过减少搜索空间来加速故障调查，最终识别出潜在的根本原因。
该系统在识别根本原因方面的准确率是多少？
在测试中，该系统的准确率达到了42%。
使用AI进行根本原因分析有哪些潜在的风险？
AI可能会建议错误的根本原因，从而误导工程师，因此需要确保结果的可解释性和反馈机制。
Meta公司未来对该系统有哪些扩展计划？
未来计划扩展系统功能，以主动检测潜在问题并执行完整工作流程。
调查过程中面临哪些挑战？
调查过程中需要建立上下文并处理多个团队的变更，这使得调查变得复杂且耗时。
该系统如何减少调查时间？
通过AI的帮助，系统能够快速识别潜在的代码更改，从而减少调查所需的时间。
