跳转到内容

Data Quality Is Poor(数据质量差)

知识库位置:FDE Knowledge Base/09 Field Guides/04-Data-Quality-Is-Poor.md

项目接入数据后发现:

  • Missing(缺失)
  • Duplicate(重复)
  • Stale(过期)
  • Wrong(错误)
  • Conflicting(冲突)
  • Poorly Labeled(标注差)

What It Usually Means(通常意味着什么)

Section titled “What It Usually Means(通常意味着什么)”

不要马上说:

AI 做不了。

数据质量差需要进一步判断:

哪一种数据质量问题,对哪个业务目标有多大影响?


从五个维度评估:

Completeness(完整性)
Accuracy(准确性)
Freshness(新鲜度)
Consistency(一致性)
Uniqueness(唯一性)

  • 哪些字段真正关键?
  • 缺失比例是多少?
  • 错误集中在哪些时间段?
  • 哪个系统最可信?
  • 数据错误是否有业务规律?
  • 当前人工流程如何处理这些错误?

不影响核心任务。

例如:

optional description missing(可选描述缺失)

部分 Case(案例)无法自动处理。

核心判断依赖的数据不可靠。


Step 1 — Identify Critical Data(识别关键数据)

Section titled “Step 1 — Identify Critical Data(识别关键数据)”

不要试图修所有数据。

先问:

Which fields drive the decision?(哪些字段驱动决策?)

例如:

12% records missing account_id(12% 记录缺失账户编号)

比:

数据质量不好

更有用。

Step 3 — Define Handling(定义处理方式)

Section titled “Step 3 — Define Handling(定义处理方式)”

可以:

  • Reject(拒绝处理)
  • Impute(插补)
  • Human Review(人工复核)
  • Fallback(降级备选)
  • Query Another Source(改查其他来源)

Step 4 — Establish Ownership(建立责任制)

Section titled “Step 4 — Establish Ownership(建立责任制)”

数据问题必须有业务或数据 Owner(责任人)。


不要:

  • 把数据问题隐藏在 Prompt(提示词)中
  • 用模型猜缺失字段
  • 默认最新系统就是 Source of Truth(唯一事实来源)
  • 一开始就发起大型「数据治理项目」

如果核心 Use Case 只需要 5 个字段,而其中 4 个质量很好:

项目可能仍然能继续。

如果关键目标依赖大量不可靠数据:

应先解决 Data Readiness(数据就绪度)。