Decision Guide：Small Model vs Large Model（小模型 vs 大模型）

知识库位置：FDE Knowledge Base/03 Engineering/Decision Guides/Small-vs-Large-Model.md 基础概念见 Model Selection（模型选型）。

模型选择本质是：

Quality（质量）
Latency（延迟）
Cost（成本）
Risk（风险）

之间的权衡。

Large Model 更适合（大模型）

• Complex Reasoning（复杂推理）
• Ambiguous Tasks（模糊任务）
• Long-context Synthesis（长上下文综合）
• Hard Classification（困难分类）
• Planning（规划）

Small Model 更适合（小模型）

• High-volume classification（高频分类）
• Simple extraction（简单抽取）
• Routing（路由）
• Formatting（格式化）
• Repetitive task（重复性任务）

Common Architecture（常见架构）

Request（请求）
↓
Router（路由器）
├─ Simple（简单）→ Small Model（小模型）
└─ Complex（复杂）→ Large Model（大模型）

Evaluate With Real Workload（用真实负载评估）

不要只看公开 Benchmark（基准测试）。

应该测试：

Your Data（你的数据）
+
Your Prompt（你的提示词）
+
Your Latency Requirement（你的延迟要求）
+
Your Cost Constraint（你的成本约束）

Decision Metric（决策指标）

可以计算：

Cost per Successful Task（单次成功任务成本）

而不仅仅是：

Cost per Token（单 Token 成本）

一个便宜模型如果错误率很高，最终可能更贵。

---

Related Topics（关联知识）

• Engineering Knowledge Map（工程知识地图）
• Model Selection（模型选型）
• LLM Fundamentals（大语言模型基础）
• AI Evaluation（AI 评估）
• Glossary（中英文术语表）