事故场景需要的是可追溯答案,而不是模型凭经验生成通用建议。RAG 的每条结论都应能回到原始复盘或 Runbook。
选择知识源
优先纳入已审核复盘、服务 Runbook、依赖关系、变更记录和已解决工单。聊天记录噪声高,只适合作为补充证据。
按语义切分
以故障现象、根因、缓解动作和长期修复为边界切分,不要机械按固定字符数截断。元数据至少包含服务、环境、时间、版本、负责人和权限级别。
检索时加入上下文
查询中带上服务、错误码、依赖和当前变更。先做关键词与向量混合检索,再按时间和权限过滤。过期 Runbook 应降低权重或下线。
强制引用
回答必须列出文档标题、更新时间和段落链接。没有足够相似证据时返回“未找到可信历史案例”,而不是拼接一个答案。
评测
使用真实值班问题评估召回率、引用正确率和过期建议率。知识库更新应进入文档发布流程,而不是依赖手工重建。