跳转到内容

Data Warehouse for FDE(FDE 的数据仓库入门)

知识库位置:FDE Knowledge Base/03 Engineering/Data Engineering/Data Warehouse/Data-Warehouse-for-FDE.md 定位:Enterprise Field Primer(企业环境入门页) 术语不确定时,请查阅 Glossary(中英文术语表)。

Data Warehouse(数据仓库)是面向分析、历史数据和业务指标的数据平台。

和典型 transactional database(事务型数据库)不同。

简单理解:

Operational Systems(业务系统)
↓
Data Pipeline(数据管道)
↓
Warehouse(数据仓库)
↓
Analytics / Reporting / AI(分析/报表/AI)

很多企业的关键分析数据已经汇总在 Warehouse。

FDE 项目可能需要:

  • business baseline(业务基线)
  • historical analysis(历史分析)
  • customer 360(客户 360 视图)
  • pilot metrics(试点指标)
  • feature generation(特征生成)
  • reporting(报表)
  • AI context(AI 上下文)

3. OLTP vs Analytical Workload(事务型 vs 分析型负载)

Section titled “3. OLTP vs Analytical Workload(事务型 vs 分析型负载)”

优化:

Small transactions(小事务)
Frequent updates(频繁更新)
Current state(当前状态)

优化:

Large scans(大批量扫描)
Aggregations(聚合计算)
Historical analysis(历史分析)

CRM(客户关系管理)
ERP(企业资源计划)
Support(客服系统)
Product(产品系统)
↓
ETL / ELT(抽取-转换-加载两种模式)
↓
Warehouse(数据仓库)
↓
BI / Analytics / ML(商业智能/分析/机器学习)

FDE 至少理解:

Facts(事实)
+
Dimensions(维度)

例如销售:

Sales transaction(销售交易)

  • customer(客户)
  • product(产品)
  • time(时间)
  • region(区域)

这有助于理解企业 Reporting Model(报表模型)。


Warehouse 不一定实时。

可能:

Daily(每日)
Hourly(每小时)
15 minutes(15 分钟)
Near real-time(近实时)

所以客户说:

数据在 Warehouse。

还必须问:

多久更新一次?


7. Source of Truth(唯一事实来源)

Section titled “7. Source of Truth(唯一事实来源)”

Warehouse 是分析 Source of Truth(事实来源),并不一定是 Operational Source of Truth(运营事实来源)。

例如:

Current order status(当前订单状态)
→ ERP / OMS(企业资源计划/订单管理系统)
Historical order analytics(历史订单分析)
→ Warehouse(数据仓库)

Warehouse 中通常存在大量:

  • cleaned tables(清洗后表)
  • business models(业务模型)
  • metrics(指标)
  • derived fields(衍生字段)

FDE 应优先复用已有业务定义。

不要自己重新定义:

Active Customer(活跃客户)
Revenue(收入)
Churn(流失)

导致与公司报表不一致。


9. Warehouse and AI(数据仓库与 AI)

Section titled “9. Warehouse and AI(数据仓库与 AI)”

适合:

  • historical features(历史特征)
  • structured customer context(结构化客户上下文)
  • aggregated metrics(聚合指标)
  • analytical queries(分析查询)

但如果用户问:

当前账户余额是什么?

可能仍应走 operational API(业务接口)。


10. Questions FDE Should Ask(FDE 应问的问题)

Section titled “10. Questions FDE Should Ask(FDE 应问的问题)”
  • Warehouse 中有哪些 domain(业务域)?
  • 数据 freshness(新鲜度)?
  • 哪些表是 curated(精炼)的?
  • 谁维护 metric definition(指标定义)?
  • 是否有 semantic layer(语义层)?
  • 是否允许 application direct query(应用直查)?
  • Query cost(查询成本)如何?
  • Sensitive data(敏感数据)如何处理?

11. Common Failure Modes(常见失败模式)

Section titled “11. Common Failure Modes(常见失败模式)”

Failure 1 — Treat Warehouse as Operational API(把数仓当业务接口)

Section titled “Failure 1 — Treat Warehouse as Operational API(把数仓当业务接口)”

高并发在线请求直接打分析平台。

Failure 2 — Ignore Freshness(忽略新鲜度)

Section titled “Failure 2 — Ignore Freshness(忽略新鲜度)”

用户需要当前值,Warehouse 实际每天刷新。

Failure 3 — Recompute Metrics Differently(另算一套指标)

Section titled “Failure 3 — Recompute Metrics Differently(另算一套指标)”

AI 使用的 revenue(收入)与 CFO Dashboard(财务看板)不一致。

Failure 4 — Query Raw Tables Directly(直查原始表)

Section titled “Failure 4 — Query Raw Tables Directly(直查原始表)”

忽视 curated layer(精炼数据层)。


目标:

Level A/B(A 级认知 / B 级操作)

FDE 应能:

  • 查询 Warehouse
  • 理解历史 vs 当前
  • 找到 curated tables(精炼表)
  • 理解 freshness(新鲜度)和 lineage(血缘)
  • 与 Data Team(数据团队)合作