AI Cost Is Too High（AI 成本过高）

知识库位置：FDE Knowledge Base/03 Engineering/Troubleshooting/AI-Cost-Is-Too-High.md

Problem（问题）

AI 系统上线后成本远高于预期。

First Step：Build Cost Breakdown（第一步：建立成本拆解）

不要只看：

Monthly Model Bill（月度模型账单）

应该拆成：

Model Cost（模型成本）
Embedding Cost（嵌入成本）
Vector DB（向量数据库）
Compute（计算）
Storage（存储）
Network（网络）
Observability（可观测性）
Human Review（人工审核）

Model Cost Breakdown（模型成本拆解）

例如：

Requests per Day（每日请求数）
×
Average Input Tokens（平均输入 Token 数）
×
Average Output Tokens（平均输出 Token 数）
×
Model Price（模型单价）

进一步应该关注：

Cost per Successful Task（单次成功任务成本）

Common Causes（常见原因）

Large Model Used Everywhere（到处使用大模型）

分类、Routing（路由）、简单 Extraction（抽取）也使用最强模型。

Prompt Too Large（提示词过大）

每个请求附带大量不必要 Context（上下文）。

Excessive Retrieval（过度检索）

Top-K（返回条数）过大。

Agent Loops（智能体循环）

一次任务调用模型几十次。

Unnecessary Reprocessing（不必要的重复处理）

同一文档重复 Embedding（向量化）。

No Caching（没有缓存）

相同问题每次重新计算。

Cost Optimization Sequence（成本优化顺序）

建议按风险从低到高：

1. Remove Waste（消除浪费）

无用 Context（上下文）
重复调用
Agent Loop（智能体循环）
重复 Embedding（向量化）

2. Cache（缓存）

对适合结果进行缓存。

3. Route Models（模型路由）

Simple（简单）
→ Small Model（小模型）

Complex（复杂）
→ Strong Model（强模型）

4. Reduce Context（缩减上下文）

只提供必要信息。

5. Architectural Change（架构调整）

例如：

LLM for everything（一切都用大模型）

改成：

Rules + Search + API + LLM only where needed
（规则 + 检索 + 接口 + 仅在必要处使用大模型）

Important Metric（重要指标）

推荐同时记录：

Cost / Request（单请求成本）
Cost / User（单用户成本）
Cost / Successful Task（单成功任务成本）
Cost / Business Outcome（单业务结果成本）

成本必须结合价值判断。