RAG Fundamentals(RAG 基础)
知识库位置:
FDE Knowledge Base/03 Engineering/AI Engineering/RAG/RAG-Fundamentals.md关联架构文章:Enterprise RAG Architecture(企业级 RAG 架构)
RAG,全称 Retrieval-Augmented Generation(检索增强生成)。
核心思想是:
在让 LLM(Large Language Model,大语言模型)回答问题之前,先检索(Retrieval,检索)相关外部知识,并将这些知识作为 Context(上下文)提供给模型。
基本流程:
User Query(用户查询)↓Retrieval(检索)↓Relevant Documents(相关文档)↓Prompt + Context(提示词 + 上下文)↓LLM(大语言模型)↓Answer(回答)数据准备流程:
Documents(文档)↓Parsing(解析)↓Chunking(分块)↓Embedding(向量化/嵌入)↓Vector Store(向量存储)Why Use RAG(为什么需要 RAG)
Section titled “Why Use RAG(为什么需要 RAG)”LLM 本身可能不知道:
- 企业内部流程
- 私有文档(Private Document,私有文档)
- 最新政策
- 产品资料
- 客户数据
RAG 可以将企业知识(Enterprise Knowledge,企业私有知识)动态提供给模型。
RAG 的关键问题
Section titled “RAG 的关键问题”RAG 并不只是「接一个 Vector Database(向量数据库)」。
核心问题包括:
Parsing(解析)
Section titled “Parsing(解析)”原始文档是否正确解析?
Chunking(分块)
Section titled “Chunking(分块)”文档如何拆分?
Indexing(索引)
Section titled “Indexing(索引)”如何建立索引?
Retrieval(检索)
Section titled “Retrieval(检索)”如何找到真正相关的信息?
Context Construction(上下文构建)
Section titled “Context Construction(上下文构建)”放多少 Context(上下文)?
Generation(生成)
Section titled “Generation(生成)”模型如何根据 Context(上下文)回答?
Evaluation(评估)
Section titled “Evaluation(评估)”怎么知道回答是正确的?
Common Failure(常见失败)
Section titled “Common Failure(常见失败)”很多所谓:
LLM 回答不准确
实际上不是模型问题,而是 Retrieval(检索)问题。
因此 Debug(调试)RAG 应该拆开:
Retrieval Quality(检索质量)vsGeneration Quality(生成质量)