跳转到内容

RAG Retrieves Wrong Documents(RAG 检索错文档)

知识库位置:FDE Knowledge Base/03 Engineering/Troubleshooting/RAG-Retrieves-Wrong-Documents.md

RAG(Retrieval-Augmented Generation,检索增强生成)返回的文档与用户问题语义上相似,但业务上不正确。

用户问:

美国员工的休假政策是什么?

系统却检索:

英国员工休假政策。

Embedding(向量化)认为语义高度相关,但业务条件不同。

没有保存:

  • Country(国家)
  • Department(部门)
  • Product(产品)
  • Version(版本)
  • Date(日期)
  • Access Level(访问级别)

例如:

vacation policy(休假政策)

无法区分国家。

Chunk(内容块)缺少标题和上下文。

Semantic Search Limitation(语义检索的局限)

Section titled “Semantic Search Limitation(语义检索的局限)”

Semantic similarity(语义相似度)不等于:

Business correctness(业务正确性)。

检查:

  1. 原始 Query(查询)
  2. Rewritten Query(改写后的查询)
  3. Top 10 Retrieval(前 10 条检索结果)
  4. Metadata(元数据)
  5. Similarity Scores(相似度得分)
  6. Reranker Results(重排序结果)

推荐逐层增加约束:

Query(查询)
+
Metadata Filter(元数据过滤)
+
Semantic Search(语义检索)
+
Reranker(重排序器)

例如:

country = US(国家 = 美国)
AND
document_type = HR_POLICY(文档类型 = 人事政策)
AND
status = ACTIVE(状态 = 生效)

再进行 Semantic Search(语义检索)。

企业 RAG 通常不应该只有:

Vector Similarity(向量相似度)

更成熟的模式是:

Business Filter(业务过滤)
+
Search(检索)
+
Reranking(重排序)
  • Index(索引)时保留完整 Metadata(元数据)
  • 文档建立 Ownership(责任归属)
  • 明确 Active / Deprecated(生效/废弃)状态
  • Retrieval Evaluation(检索评估)中加入业务条件测试