Enterprise RAG Architecture(企业级 RAG 架构)
知识库位置:
FDE Knowledge Base/04 Architecture/Patterns/01-Enterprise-RAG-Architecture.mdv0.1 基础版(Phase 1 #9)于 v0.2 升级为参考架构模式。
Architecture Metadata(架构元数据)
Section titled “Architecture Metadata(架构元数据)”Architecture ID: ARCH-001
Category(类别):Knowledge(知识)
Primary Business Problem(主要业务问题):Enterprise Knowledge Access(企业知识获取)
Complexity(复杂度):Medium(中)
AI Dependency(AI 依赖度):High(高)
Data Dependency(数据依赖度):Medium(中)
Integration Complexity(集成复杂度):Medium(中)
Human Review(人工复核):Optional(可选)
Status: CoreVersion: v0.2Business Problem(业务问题)
Section titled “Business Problem(业务问题)”企业知识分散在:
- 文档
- Wiki(维基)
- SharePoint(微软文档协作平台)
- PDF(便携式文档格式)
- 产品手册
- 内部政策
- 知识库
用户需要:
用自然语言快速找到可靠、可追溯、符合权限要求的答案。
When to Use(适用场景)
Section titled “When to Use(适用场景)”适合:
- 企业知识助手
- 内部政策查询
- 产品支持
- 技术文档搜索
- 法务 / 合规知识检索
- 客服知识辅助
When NOT to Use(不适用场景)
Section titled “When NOT to Use(不适用场景)”不适合:
- 查询精确实时余额
- 查询订单当前状态
- 需要强事务一致性的业务数据
- 纯结构化分析
- 明确 SQL(Structured Query Language,结构化查询语言)就能解决的问题
这些通常更适合:
API(应用程序编程接口)Database(数据库)Analytics(数据分析)Requirements(需求)
Section titled “Requirements(需求)”Functional(功能性需求)
Section titled “Functional(功能性需求)”- 文档接入
- 文档解析
- 搜索
- 问答
- 引用来源
- 权限过滤
- 反馈
Non-functional(非功能性需求)
Section titled “Non-functional(非功能性需求)”- Security(安全性)
- Freshness(新鲜度)
- Retrieval Quality(检索质量)
- Latency(延迟)
- Auditability(可审计性)
- Cost(成本)
High-Level Architecture(总体架构)
Section titled “High-Level Architecture(总体架构)” User(用户) │ ↓ SSO(单点登录) │ ↓ Application Layer(应用层) │ ↓ Query Processing(查询处理) │ ┌───────┴────────┐ │ │ ↓ ↓Permission Filter Query Rewrite(权限过滤器) (查询改写) │ │ └───────┬────────┘ ↓ Hybrid Retrieval(混合检索) ┌───────┴────────┐ ↓ ↓ Keyword Vector Search (关键词检索) (向量检索) └───────┬────────┘ ↓ Reranker(重排序器) ↓ Context Builder(上下文构建器) ↓ LLM(大语言模型) ↓ Answer + Citation(回答 + 引用溯源)文档侧:
Enterprise Sources(企业知识源) ↓ Connectors(连接器) ↓ Parsing(解析) ↓ Metadata Extraction(元数据提取) ↓ Chunking(分块) ↓ Embedding(向量化) ↓ Search / Vector Index(搜索 / 向量索引)Core Components(核心组件)
Section titled “Core Components(核心组件)”Source Connectors(源连接器)
Section titled “Source Connectors(源连接器)”负责:
- SharePoint
- Drive(云端硬盘)
- Wiki
- S3(对象存储)
- Internal CMS(内容管理系统)
Parser(解析器)
Section titled “Parser(解析器)”处理:
- Text(纯文本)
- Table(表格)
- HTML(超文本标记语言)
- Office Documents(办公文档)
Metadata Layer(元数据层)
Section titled “Metadata Layer(元数据层)”至少保存:
document_id(文档编号)source(来源)owner(责任人)department(部门)version(版本)effective_date(生效日期)permission(权限)status(状态)Retrieval Layer(检索层)
Section titled “Retrieval Layer(检索层)”推荐逐渐演进:
Vector Search(向量检索)↓Hybrid Search(混合检索)↓Metadata Filtering(元数据过滤)↓Reranking(重排序)Generation Layer(生成层)
Section titled “Generation Layer(生成层)”负责:
- Answer Generation(回答生成)
- Citation(引用溯源)
- Abstention(拒答)
- Format Control(格式控制)
Data Flow(数据流)
Section titled “Data Flow(数据流)”Document(文档)↓Parse(解析)↓Normalize(标准化)↓Chunk(分块)↓Metadata(元数据)↓Embedding(向量化)↓Index(索引)
User Query(用户查询)↓Identity(身份)↓Permission(权限)↓Retrieve(检索)↓Rerank(重排序)↓Context(上下文)↓LLM(大语言模型)↓Answer(回答)Security(安全)
Section titled “Security(安全)”最重要原则:
Permission Before Retrieval(检索之前先鉴权)。
不应该:
Retrieve restricted content(检索受限内容)↓Ask LLM not to reveal it(要求 LLM 不泄露)应该:
User Identity(用户身份)↓Permission Filter(权限过滤器)↓Retrieval(检索)同时需要考虑:
- Document-level ACL(文档级访问控制列表)
- Group-based Access(基于组的访问)
- Audit Log(审计日志)
- Sensitive Data(敏感数据)
- Index Isolation(索引隔离)
Reliability(可靠性)
Section titled “Reliability(可靠性)”需要考虑:
- Source Connector Failure(源连接器故障)
- Index Refresh Failure(索引刷新失败)
- Embedding Failure(向量化失败)
- LLM Provider Failure(模型服务故障)
- Retrieval Timeout(检索超时)
可以设计:
Search unavailable(搜索不可用)→ Fallback keyword search(降级为关键词搜索)
LLM unavailable(模型不可用)→ Return search results only(仅返回搜索结果)Observability(可观测性)
Section titled “Observability(可观测性)”记录:
- Query(查询)
- User(用户)
- Filters(过滤条件)
- Retrieved Documents(检索到的文档)
- Retrieval Scores(检索得分)
- Reranker Output(重排序输出)
- Prompt Version(提示词版本)
- Model(模型)
- Latency(延迟)
- Cost(成本)
- Feedback(用户反馈)
Cost Drivers(成本驱动因素)
Section titled “Cost Drivers(成本驱动因素)”主要成本:
- Document Parsing(文档解析)
- Embedding(向量化)
- Search Infrastructure(搜索基础设施)
- LLM Tokens(模型词元)
- Reranking(重排序)
- Storage(存储)
Key Trade-offs(关键权衡)
Section titled “Key Trade-offs(关键权衡)”Large Chunk vs Small Chunk(大块 vs 小块)
Section titled “Large Chunk vs Small Chunk(大块 vs 小块)”大 Chunk(内容块):
- Context(上下文)完整
- Retrieval(检索)粒度差
小 Chunk:
- Retrieval 精确
- 容易丢上下文
Top-K 高 vs 低
Section titled “Top-K 高 vs 低”高:
- Recall(召回率)高
- Noise(噪声)和 Token Cost(词元成本)高
低:
- Context 精简
- 可能漏掉重要信息
Failure Modes(失败模式)
Section titled “Failure Modes(失败模式)”- 错误文档版本
- 权限泄漏
- Retrieval Recall(检索召回率)低
- Context Too Large(上下文过大)
- Citation 不一致
- Index 不新鲜
- 文档 Parsing 错误
Scaling(扩展)
Section titled “Scaling(扩展)”随着规模扩大:
Single Index(单一索引)↓Metadata Partitioning(元数据分区)↓Department / Tenant Segmentation(部门 / 租户分域)↓Distributed Search(分布式搜索)Implementation Path(实施路径)
Section titled “Implementation Path(实施路径)”Stage 1Small Document Set + Vector Search(小文档集 + 向量检索)
Stage 2Metadata + Citation(元数据 + 引用溯源)
Stage 3Hybrid Search + Reranking(混合检索 + 重排序)
Stage 4Permission-aware Retrieval(权限感知检索)
Stage 5Evaluation + Observability(评估 + 可观测性)
Stage 6Enterprise-scale Governance(企业级治理)