混沌工程不是随机删除 Pod。它是一种实验方法:先定义稳定状态和故障假设,再用最小影响验证系统是否按设计恢复。
写出可证伪假设
例如:“任意一个可用区不可达时,结算成功率仍高于 99.9%,P99 延迟低于 800ms,并在 10 分钟内恢复容量。”
从小影响开始
先在测试环境和单实例执行,再扩展到节点、可用区和依赖。实验前确认值班人员、业务负责人、监控和回滚工具都在线。
设置停止条件
错误预算燃烧、关键交易失败、恢复时间超限或出现未知数据风险时立即停止。停止动作必须自动化,不能依赖实验人员临时登录。
观察系统反应
记录检测时间、告警路由、自动恢复、人工决策和用户影响。预期结果“服务没有挂”过于模糊,应使用 SLI 验证。
沉淀改进
实验发现的缺口进入负责人明确的任务,修复后重复同一实验。只有可重复通过,才能说明韧性真正提高。