跳转到内容

Data Quality(数据质量)

知识库位置:FDE Knowledge Base/03 Engineering/Data Engineering/Data Governance/Data-Quality.md

很多 AI 项目失败的根本原因不是模型,而是数据。

典型问题:

  • Missing Data(数据缺失)
  • Duplicate Data(数据重复)
  • Stale Data(数据过期)
  • Incorrect Data(数据错误)
  • Inconsistent Format(格式不一致)
  • Conflicting Sources(来源冲突)

数据完整吗?

数据正确吗?

数据够新吗?

不同系统中的数据一致吗?

是否重复?

CRM(Customer Relationship Management,客户关系管理系统)显示:

Customer Status = Active(客户状态 = 活跃)

ERP(Enterprise Resource Planning,企业资源计划系统)显示:

Customer Status = Suspended(客户状态 = 已停用)

那么 AI 应该相信谁?

这不是 Prompt Engineering(提示词工程)问题。

而是:

System of Record(权威记录系统)问题。

项目开始时应该明确:

Source of Truth(唯一事实来源)
Data Owner(数据责任人)
Refresh Frequency(刷新频率)
Quality Rules(质量规则)