Data Quality Is Poor(数据质量差)
知识库位置:
FDE Knowledge Base/09 Field Guides/04-Data-Quality-Is-Poor.md
Situation(情景)
Section titled “Situation(情景)”项目接入数据后发现:
- Missing(缺失)
- Duplicate(重复)
- Stale(过期)
- Wrong(错误)
- Conflicting(冲突)
- Poorly Labeled(标注差)
What It Usually Means(通常意味着什么)
Section titled “What It Usually Means(通常意味着什么)”不要马上说:
AI 做不了。
数据质量差需要进一步判断:
哪一种数据质量问题,对哪个业务目标有多大影响?
Diagnostic Framework(诊断框架)
Section titled “Diagnostic Framework(诊断框架)”从五个维度评估:
Completeness(完整性)Accuracy(准确性)Freshness(新鲜度)Consistency(一致性)Uniqueness(唯一性)Questions to Ask(该问什么)
Section titled “Questions to Ask(该问什么)”- 哪些字段真正关键?
- 缺失比例是多少?
- 错误集中在哪些时间段?
- 哪个系统最可信?
- 数据错误是否有业务规律?
- 当前人工流程如何处理这些错误?
Severity(严重度)
Section titled “Severity(严重度)”Low(低)
Section titled “Low(低)”不影响核心任务。
例如:
optional description missing(可选描述缺失)Medium(中)
Section titled “Medium(中)”部分 Case(案例)无法自动处理。
High(高)
Section titled “High(高)”核心判断依赖的数据不可靠。
Recommended Response(推荐应对)
Section titled “Recommended Response(推荐应对)”Step 1 — Identify Critical Data(识别关键数据)
Section titled “Step 1 — Identify Critical Data(识别关键数据)”不要试图修所有数据。
先问:
Which fields drive the decision?(哪些字段驱动决策?)Step 2 — Quantify(量化)
Section titled “Step 2 — Quantify(量化)”例如:
12% records missing account_id(12% 记录缺失账户编号)比:
数据质量不好
更有用。
Step 3 — Define Handling(定义处理方式)
Section titled “Step 3 — Define Handling(定义处理方式)”可以:
- Reject(拒绝处理)
- Impute(插补)
- Human Review(人工复核)
- Fallback(降级备选)
- Query Another Source(改查其他来源)
Step 4 — Establish Ownership(建立责任制)
Section titled “Step 4 — Establish Ownership(建立责任制)”数据问题必须有业务或数据 Owner(责任人)。
What NOT to Do(不要做什么)
Section titled “What NOT to Do(不要做什么)”不要:
- 把数据问题隐藏在 Prompt(提示词)中
- 用模型猜缺失字段
- 默认最新系统就是 Source of Truth(唯一事实来源)
- 一开始就发起大型「数据治理项目」
Decision(决策)
Section titled “Decision(决策)”如果核心 Use Case 只需要 5 个字段,而其中 4 个质量很好:
项目可能仍然能继续。
如果关键目标依赖大量不可靠数据:
应先解决 Data Readiness(数据就绪度)。