Experiment & Evaluation Registry（实验与评估登记）
知识库位置：
FDE Knowledge Base/13 Operating System/07-Experiment-and-Evaluation-Registry.md
Experiment Registry（实验登记）
Section titled “Experiment Registry（实验登记）”FDE 项目中的很多技术工作，本质上是在减少未知。
因此建议显式记录：
Unknown（未知）↓Hypothesis（假设）↓Experiment（实验）↓Evidence（证据）↓Decision（决策）Experiment Record（实验记录）
Section titled “Experiment Record（实验记录）”Experiment ID（实验编号）:
Question（问题）:
Hypothesis（假设）:
Why It Matters（为什么重要）:
Method（方法）:
Dataset（数据集）:
Metrics（指标）:
Success Criteria（成功标准）:
Result（结果）:
Evidence（证据）:
Conclusion（结论）:
Decision Impact（对决策的影响）:
Owner（责任人）:
Status（状态）:Example（示例）
Section titled “Example（示例）”Question:Can hybrid retrieval meet support policy search requirements?（混合检索能否满足客服政策搜索要求？）
Hypothesis:Hybrid retrieval will outperform vector-only search.（混合检索将优于纯向量检索。）
Dataset:120 representative questions.（120 个代表性问题。）
Metric:Relevant-document Hit@5.（相关文档 Hit@5。）
Result:Improved from 78% to 91%.（从 78% 提升到 91%。）
Decision Impact:Adopt hybrid retrieval for pilot.（试点采用混合检索。）示例数字仅用于格式说明。
Evaluation Registry（评估登记）
Section titled “Evaluation Registry（评估登记）”不要让 Evaluation（评估）报告散落。
统一记录：
Evaluation ID（评估编号）:Component（组件）:Version（版本）:Dataset（数据集）:Metrics（指标）:Results（结果）:Failure Distribution（失败分布）:Known Limitations（已知局限）:Decision（决策）:可以包括：
- RAG（检索增强生成）
- Agent（智能体）
- Model（模型）
- API（接口）
- Workflow（工作流）
- User Pilot（用户试点）
Why This Matters（为什么重要）
Section titled “Why This Matters（为什么重要）”很多项目的问题是：
团队知道「之前测过」，但不知道用什么数据、哪个版本、结果到底是什么。
Registry 解决这个问题。
Unknowns Registry（未知项登记）
Section titled “Unknowns Registry（未知项登记）”复杂项目可以维护：
Unknown（未知项）Importance（重要性）Owner（责任人）Resolution Method（解决方式）Due（截止时间）Status（状态）例如：
Can the customer SSO pass user groups to the app?（客户 SSO 能否把用户组传给应用？）
Importance:Critical（关键）
Resolution:Technical spike（技术验证）+ IT confirmation（IT 确认）这特别适合 Early Discovery（早期调研）/ Architecture（架构）阶段。