Data Lake for FDE（FDE 的数据湖入门）

知识库位置：FDE Knowledge Base/03 Engineering/Data Engineering/Data Lake/Data-Lake-for-FDE.md 定位：Enterprise Field Primer（企业环境入门页）术语不确定时，请查阅 Glossary（中英文术语表）。

1. What It Is（它是什么）

Data Lake（数据湖）通常用于存储大量：

raw（原始）
semi-structured（半结构化）
structured（结构化）
unstructured（非结构化）

数据。

常建立在低成本对象存储之上。

2. Core Mental Model（核心心智模型）

Sources（数据来源）
↓
Raw Data（原始数据）
↓
Data Lake（数据湖）
↓
Processing / Transformation（加工/转换）
↓
Analytics / ML / Warehouse / AI（分析/机器学习/数仓/AI）

3. Why FDE Cares（FDE 为什么关心）

FDE 可能需要使用：

event logs（事件日志）
raw customer data（原始客户数据）
documents（文档）
sensor data（传感器数据）
historical exports（历史导出）
ML datasets（机器学习数据集）

这些数据可能首先进入 Data Lake。

4. Data Lake vs Warehouse（数据湖与数据仓库）

一个简化区别：

Warehouse（数据仓库）

更偏：

Curated（精炼）
Structured（结构化）
Analytics-ready（可直接分析）

Lake（数据湖）

更偏：

Raw / Flexible（原始/灵活）
Large-scale（大规模）
Multiple formats（多格式）

现代平台中两者边界越来越模糊，因此不要过度执着术语。

5. Raw / Bronze Layer（原始层/铜层）

保留原始数据的价值：

replay（重放）
debugging（调试）
new transformation（新转换）
audit（审计）

但也增加：

governance（治理）
sensitive data exposure（敏感数据暴露面）
storage lifecycle（存储生命周期）

6. Partitioning（分区）

大量 Data Lake 数据通常按：

date（日期）
region（区域）
source（来源）
tenant（租户）

分区。

不合理分区会造成：

slow query（查询变慢）
too many files（文件过多）
high cost（成本升高）

7. Schema（数据结构）

即使 Data Lake 允许灵活 schema（结构）：

没有 schema 不等于没有治理。

需要管理：

field definitions（字段定义）
schema evolution（结构演进）
data catalog（数据目录）
lineage（血缘）

8. Data Lake → Data Swamp（数据湖变数据沼泽）

最典型 Anti-pattern（反模式）：

Store everything（什么都存）
↓
No owner（无负责人）
No catalog（无目录）
No quality（无质量）
No retention（无保留策略）
↓
Nobody trusts it（没人敢信）

这就是：

Data Swamp（数据沼泽）。

9. FDE Questions（FDE 应问的问题）

数据为何进入 Lake？
谁消费？
Raw 数据是否可长期保存？
是否存在 PII（Personally Identifiable Information，个人身份信息）？
Schema 谁管理？
是否有 Catalog（目录）？
数据如何发现？
删除请求如何执行？
是否需要 replay（重放）？

10. AI Use Cases（AI 用途）

Data Lake 对 AI 常有价值：

Historical events（历史事件）
Documents（文档）
Logs（日志）
Training / Evaluation Data（训练/评估数据）
Sensor Data（传感器数据）

但不要：

把整个 Lake 直接当作 RAG（检索增强生成）数据源。

必须先：

Select（选取）
Clean（清洗）
Govern（治理）
Prepare（准备）

11. Common Failure Modes（常见失败模式）

no ownership（无归属）
sensitive raw data retained forever（敏感原始数据永久保留）
no lifecycle policy（无生命周期策略）
tiny-file explosion（小文件爆炸）
schema drift（结构漂移）
teams cannot discover usable datasets（团队找不到可用数据集）

12. FDE Depth（FDE 深度要求）

目标：

Level A — Recognize（A 级：认知）

Data-heavy FDE（数据密集型 FDE）可达到：

Level B（B 级：操作）

重点是理解 Lake 在客户数据架构中的位置，而不是成为 Lake Platform Engineer（数据湖平台工程师）。