RAG Retrieves Wrong Documents(RAG 检索错文档)
知识库位置:
FDE Knowledge Base/03 Engineering/Troubleshooting/RAG-Retrieves-Wrong-Documents.md
Problem(问题)
Section titled “Problem(问题)”RAG(Retrieval-Augmented Generation,检索增强生成)返回的文档与用户问题语义上相似,但业务上不正确。
Example(示例)
Section titled “Example(示例)”用户问:
美国员工的休假政策是什么?
系统却检索:
英国员工休假政策。
Embedding(向量化)认为语义高度相关,但业务条件不同。
Possible Causes(可能原因)
Section titled “Possible Causes(可能原因)”Missing Metadata(缺少元数据)
Section titled “Missing Metadata(缺少元数据)”没有保存:
- Country(国家)
- Department(部门)
- Product(产品)
- Version(版本)
- Date(日期)
- Access Level(访问级别)
Query Too Generic(查询过于泛化)
Section titled “Query Too Generic(查询过于泛化)”例如:
vacation policy(休假政策)无法区分国家。
Poor Chunking(分块不当)
Section titled “Poor Chunking(分块不当)”Chunk(内容块)缺少标题和上下文。
Semantic Search Limitation(语义检索的局限)
Section titled “Semantic Search Limitation(语义检索的局限)”Semantic similarity(语义相似度)不等于:
Business correctness(业务正确性)。
Diagnostic Steps(诊断步骤)
Section titled “Diagnostic Steps(诊断步骤)”检查:
- 原始 Query(查询)
- Rewritten Query(改写后的查询)
- Top 10 Retrieval(前 10 条检索结果)
- Metadata(元数据)
- Similarity Scores(相似度得分)
- Reranker Results(重排序结果)
Fixes(修复)
Section titled “Fixes(修复)”推荐逐层增加约束:
Query(查询)+Metadata Filter(元数据过滤)+Semantic Search(语义检索)+Reranker(重排序器)例如:
country = US(国家 = 美国)ANDdocument_type = HR_POLICY(文档类型 = 人事政策)ANDstatus = ACTIVE(状态 = 生效)再进行 Semantic Search(语义检索)。
Principle(原则)
Section titled “Principle(原则)”企业 RAG 通常不应该只有:
Vector Similarity(向量相似度)更成熟的模式是:
Business Filter(业务过滤)+Search(检索)+Reranking(重排序)Prevention(预防)
Section titled “Prevention(预防)”- Index(索引)时保留完整 Metadata(元数据)
- 文档建立 Ownership(责任归属)
- 明确 Active / Deprecated(生效/废弃)状态
- Retrieval Evaluation(检索评估)中加入业务条件测试