Data Quality(数据质量)
知识库位置:
FDE Knowledge Base/03 Engineering/Data Engineering/Data Governance/Data-Quality.md
很多 AI 项目失败的根本原因不是模型,而是数据。
典型问题:
- Missing Data(数据缺失)
- Duplicate Data(数据重复)
- Stale Data(数据过期)
- Incorrect Data(数据错误)
- Inconsistent Format(格式不一致)
- Conflicting Sources(来源冲突)
Core Dimensions(核心维度)
Section titled “Core Dimensions(核心维度)”Completeness(完整性)
Section titled “Completeness(完整性)”数据完整吗?
Accuracy(准确性)
Section titled “Accuracy(准确性)”数据正确吗?
Freshness(新鲜度)
Section titled “Freshness(新鲜度)”数据够新吗?
Consistency(一致性)
Section titled “Consistency(一致性)”不同系统中的数据一致吗?
Uniqueness(唯一性)
Section titled “Uniqueness(唯一性)”是否重复?
Example(示例)
Section titled “Example(示例)”CRM(Customer Relationship Management,客户关系管理系统)显示:
Customer Status = Active(客户状态 = 活跃)ERP(Enterprise Resource Planning,企业资源计划系统)显示:
Customer Status = Suspended(客户状态 = 已停用)那么 AI 应该相信谁?
这不是 Prompt Engineering(提示词工程)问题。
而是:
System of Record(权威记录系统)问题。
FDE Principle(FDE 原则)
Section titled “FDE Principle(FDE 原则)”项目开始时应该明确:
Source of Truth(唯一事实来源)Data Owner(数据责任人)Refresh Frequency(刷新频率)Quality Rules(质量规则)