RAG Evaluation Toolkit（RAG 评估工具）
知识库位置：
FDE Knowledge Base/11 Tools/04-Engineering/02-RAG-Evaluation-Toolkit.md
Evaluation Dataset（评测数据集）
Section titled “Evaluation Dataset（评测数据集）”每个测试 Case（用例）建议记录：
Question（问题）Expected Answer（预期答案）Relevant Document（相关文档）Relevant Section（相关章节）User / Permission Context（用户/权限上下文）Difficulty（难度）Category（类别）Retrieval Evaluation（检索评估）
Section titled “Retrieval Evaluation（检索评估）”检查：
Hit@K（Top-K 命中率）
Section titled “Hit@K（Top-K 命中率）”正确文档是否出现在 Top-K（前 K 条结果）？
Recall（召回率）
Section titled “Recall（召回率）”应该找到的内容找到了多少？
Precision（精确率）
Section titled “Precision（精确率）”找到的内容里多少真的相关？
Generation Evaluation（生成评估）
Section titled “Generation Evaluation（生成评估）”检查：
Correctness（正确性）Groundedness（依据性）Relevance（相关性）Completeness（完整性）Citation Accuracy（引用准确性）Abstention（拒答能力）Failure Taxonomy（失败分类）
Section titled “Failure Taxonomy（失败分类）”每个失败标注：
Parsing（解析）Chunking（分块）Metadata（元数据）Query Rewrite（查询改写）Retrieval（检索）Reranking（重排序）Context（上下文）Prompt（提示词）Model（模型）Citation（引用）Permission（权限）Data Freshness（数据新鲜度）Evaluation Table（评估表）
Section titled “Evaluation Table（评估表）”| ID（编号） | Query（查询） | Retrieval（检索） | Answer（回答） | Citation（引用） | Failure Type（失败类型） | Notes（备注） |
|---|
Golden Rule（黄金规则）
Section titled “Golden Rule（黄金规则）”不要只记录：
Pass / Fail（通过/失败）还要记录：
为什么失败？
否则无法指导系统改进。