Data Warehouse for FDE(FDE 的数据仓库入门)
知识库位置:
FDE Knowledge Base/03 Engineering/Data Engineering/Data Warehouse/Data-Warehouse-for-FDE.md定位:Enterprise Field Primer(企业环境入门页) 术语不确定时,请查阅 Glossary(中英文术语表)。
1. What It Is(它是什么)
Section titled “1. What It Is(它是什么)”Data Warehouse(数据仓库)是面向分析、历史数据和业务指标的数据平台。
和典型 transactional database(事务型数据库)不同。
简单理解:
Operational Systems(业务系统)↓Data Pipeline(数据管道)↓Warehouse(数据仓库)↓Analytics / Reporting / AI(分析/报表/AI)2. Why FDE Cares(FDE 为什么关心)
Section titled “2. Why FDE Cares(FDE 为什么关心)”很多企业的关键分析数据已经汇总在 Warehouse。
FDE 项目可能需要:
- business baseline(业务基线)
- historical analysis(历史分析)
- customer 360(客户 360 视图)
- pilot metrics(试点指标)
- feature generation(特征生成)
- reporting(报表)
- AI context(AI 上下文)
3. OLTP vs Analytical Workload(事务型 vs 分析型负载)
Section titled “3. OLTP vs Analytical Workload(事务型 vs 分析型负载)”Operational Database(业务数据库)
Section titled “Operational Database(业务数据库)”优化:
Small transactions(小事务)Frequent updates(频繁更新)Current state(当前状态)Data Warehouse(数据仓库)
Section titled “Data Warehouse(数据仓库)”优化:
Large scans(大批量扫描)Aggregations(聚合计算)Historical analysis(历史分析)4. Common Data Flow(常见数据流)
Section titled “4. Common Data Flow(常见数据流)”CRM(客户关系管理)ERP(企业资源计划)Support(客服系统)Product(产品系统)↓ETL / ELT(抽取-转换-加载两种模式)↓Warehouse(数据仓库)↓BI / Analytics / ML(商业智能/分析/机器学习)5. Dimensional Thinking(维度思维)
Section titled “5. Dimensional Thinking(维度思维)”FDE 至少理解:
Facts(事实)+Dimensions(维度)例如销售:
Fact(事实)
Section titled “Fact(事实)”Sales transaction(销售交易)
Dimensions(维度)
Section titled “Dimensions(维度)”- customer(客户)
- product(产品)
- time(时间)
- region(区域)
这有助于理解企业 Reporting Model(报表模型)。
6. Freshness(新鲜度)
Section titled “6. Freshness(新鲜度)”Warehouse 不一定实时。
可能:
Daily(每日)Hourly(每小时)15 minutes(15 分钟)Near real-time(近实时)所以客户说:
数据在 Warehouse。
还必须问:
多久更新一次?
7. Source of Truth(唯一事实来源)
Section titled “7. Source of Truth(唯一事实来源)”Warehouse 是分析 Source of Truth(事实来源),并不一定是 Operational Source of Truth(运营事实来源)。
例如:
Current order status(当前订单状态)→ ERP / OMS(企业资源计划/订单管理系统)
Historical order analytics(历史订单分析)→ Warehouse(数据仓库)8. Data Transformation(数据转换)
Section titled “8. Data Transformation(数据转换)”Warehouse 中通常存在大量:
- cleaned tables(清洗后表)
- business models(业务模型)
- metrics(指标)
- derived fields(衍生字段)
FDE 应优先复用已有业务定义。
不要自己重新定义:
Active Customer(活跃客户)Revenue(收入)Churn(流失)导致与公司报表不一致。
9. Warehouse and AI(数据仓库与 AI)
Section titled “9. Warehouse and AI(数据仓库与 AI)”适合:
- historical features(历史特征)
- structured customer context(结构化客户上下文)
- aggregated metrics(聚合指标)
- analytical queries(分析查询)
但如果用户问:
当前账户余额是什么?
可能仍应走 operational API(业务接口)。
10. Questions FDE Should Ask(FDE 应问的问题)
Section titled “10. Questions FDE Should Ask(FDE 应问的问题)”- Warehouse 中有哪些 domain(业务域)?
- 数据 freshness(新鲜度)?
- 哪些表是 curated(精炼)的?
- 谁维护 metric definition(指标定义)?
- 是否有 semantic layer(语义层)?
- 是否允许 application direct query(应用直查)?
- Query cost(查询成本)如何?
- Sensitive data(敏感数据)如何处理?
11. Common Failure Modes(常见失败模式)
Section titled “11. Common Failure Modes(常见失败模式)”Failure 1 — Treat Warehouse as Operational API(把数仓当业务接口)
Section titled “Failure 1 — Treat Warehouse as Operational API(把数仓当业务接口)”高并发在线请求直接打分析平台。
Failure 2 — Ignore Freshness(忽略新鲜度)
Section titled “Failure 2 — Ignore Freshness(忽略新鲜度)”用户需要当前值,Warehouse 实际每天刷新。
Failure 3 — Recompute Metrics Differently(另算一套指标)
Section titled “Failure 3 — Recompute Metrics Differently(另算一套指标)”AI 使用的 revenue(收入)与 CFO Dashboard(财务看板)不一致。
Failure 4 — Query Raw Tables Directly(直查原始表)
Section titled “Failure 4 — Query Raw Tables Directly(直查原始表)”忽视 curated layer(精炼数据层)。
12. FDE Depth(FDE 深度要求)
Section titled “12. FDE Depth(FDE 深度要求)”目标:
Level A/B(A 级认知 / B 级操作)FDE 应能:
- 查询 Warehouse
- 理解历史 vs 当前
- 找到 curated tables(精炼表)
- 理解 freshness(新鲜度)和 lineage(血缘)
- 与 Data Team(数据团队)合作