Production Incident at Customer（客户生产事故）
知识库位置：
FDE Knowledge Base/09 Field Guides/12-Production-Incident-at-Customer.md
Situation（情景）
Section titled “Situation（情景）”客户生产系统出现故障。
可能：
- 系统完全不可用
- AI 输出严重异常
- Integration（集成）失败
- 数据处理错误
- 权限问题
- Performance Degradation（性能劣化）
First Principle（第一原则）
Section titled “First Principle（第一原则）”Incident（事故）中的优先顺序：
Protect（保护）↓Restore（恢复）↓Communicate（沟通）↓Investigate（调查）↓Prevent（预防）而不是：
Find who caused it（先找是谁造成的）Step 1 — Assess Severity（评估严重度）
Section titled “Step 1 — Assess Severity（评估严重度）”参考：Troubleshooting README（严重等级与证据包）
判断：
- SEV-1
- SEV-2
- SEV-3
- SEV-4
Step 2 — Establish Incident Command（建立事故指挥）
Section titled “Step 2 — Establish Incident Command（建立事故指挥）”明确：
- Incident Commander（事故指挥官）
- Technical Lead（技术负责人）
- Customer Communication Owner（客户沟通负责人）
- Engineering Owners（工程负责人）
不要所有人同时指挥。
Step 3 — Define Impact（定义影响）
Section titled “Step 3 — Define Impact（定义影响）”回答：
Who is affected?（谁受影响？）What is broken?（什么坏了？）Since when?（从何时开始？）How many users?（多少用户？）Business impact?（业务影响？）Data impact?（数据影响？）Step 4 — Mitigate（缓解）
Section titled “Step 4 — Mitigate（缓解）”优先考虑：
- Rollback（回滚）
- Disable Feature（禁用功能）
- Failover（故障切换）
- Manual Process（人工流程）
- Read-only Mode（只读模式）
- Stop Risky Automation（停止高风险自动化）
Step 5 — Communication（沟通）
Section titled “Step 5 — Communication（沟通）”更新应包含：
Current Impact（当前影响）What We Know（我们已知什么）What We Are Doing（我们正在做什么）Next Update（下次更新时间）不要过早猜 Root Cause（根本原因）。
Step 6 — Evidence（证据）
Section titled “Step 6 — Evidence（证据）”保存：
- Logs（日志）
- Traces（链路追踪）
- Metrics（指标）
- Request IDs（请求编号）
- Timeline（时间线）
- Deployments（部署记录）
- Config Changes（配置变更）
Step 7 — Root Cause Later（事后找根因）
Section titled “Step 7 — Root Cause Later（事后找根因）”业务恢复后再进行：
Root Cause Analysis（根本原因分析）并形成：
- Root Cause（根本原因）
- Contributing Factors（促成因素）
- Detection Gap（检测盲区）
- Corrective Actions（纠正措施）
- Prevention（预防措施）
AI-specific Incident（AI 特有事故）
Section titled “AI-specific Incident（AI 特有事故）”如果 AI 产生高风险错误：
可以先：
Disable automation（禁用自动化）↓Switch to recommendation-only（切换为仅建议）↓Human review（人工复核）而不是必须整个系统下线。
What NOT to Do（不要做什么）
Section titled “What NOT to Do（不要做什么）”不要：
- 在生产事故中随意试验多个改动
- 没有记录就直接修改
- 对客户做未经证实的 Root Cause 声明
- 隐瞒严重影响