AI Evaluation（AI 评估）

知识库位置：FDE Knowledge Base/03 Engineering/AI Engineering/Evaluation/AI-Evaluation.md

企业 AI 项目不能只通过：

Demo（演示）看起来不错

来判断成功。

必须建立 Evaluation（评估）。

Evaluation 需要回答：

系统到底做得好不好？

Evaluation Levels（评估层级）

Component Evaluation（组件级评估）

例如 RAG（Retrieval-Augmented Generation，检索增强生成）：

• Retrieval Recall（检索召回率）
• Retrieval Precision（检索精确率）

Model Evaluation（模型级评估）

例如：

• Answer Accuracy（回答准确率）
• Relevance（相关性）
• Groundedness（事实有据性）

System Evaluation（系统级评估）

例如：

• End-to-End Success Rate（端到端成功率）
• Latency（延迟）
• Cost（成本）
• Tool Success Rate（工具成功率）

Business Evaluation（业务级评估）

例如：

• Ticket Resolution Time（工单解决时长）
• Agent Productivity（坐席人效，指人类客服/销售人员的人均产出）
• Customer Satisfaction（客户满意度）
• Automation Rate（自动化率）

因此可以形成：

Technical Metric（技术指标）
↓
System Metric（系统指标）
↓
Business Metric（业务指标）

Offline Evaluation（离线评估）

使用测试数据集（Test Dataset，测试数据集）：

Question（问题）
Expected Answer（期望答案）
Expected Source（期望来源）

执行批量测试。

Online Evaluation（在线评估）

真实生产环境中观察：

• User Feedback（用户反馈）
• Task Completion（任务完成）
• Error Rate（错误率）
• Escalation Rate（转人工率）

FDE Principle（FDE 原则）

AI 项目在 Prototype（原型）阶段就应该定义 Evaluation（评估）。

不要到 Production（生产）前才问：

我们应该怎么判断它好不好？

---

Related Topics（关联知识）

• Engineering Knowledge Map（工程知识地图）
• RAG Fundamentals（RAG 基础）
• LLM Fundamentals（大语言模型基础）
• Tool Calling（工具调用）
• Success Metrics（成功指标）
• Observability（可观测性）
• Prototype（原型）
• Glossary（中英文术语表）