跳转到内容

AI Cost Analysis Toolkit(AI 成本分析工具)

知识库位置:FDE Knowledge Base/11 Tools/04-Engineering/05-AI-Cost-Analysis-Toolkit.md

记录:

LLM Input(大语言模型输入)
LLM Output(大语言模型输出)
Embedding(向量化)
Vector Search(向量检索)
Reranking(重排序)
Compute(算力)
Storage(存储)
Network(网络)
Human Review(人工审核)

Cost / Request(单请求成本)
Cost / User(单用户成本)
Cost / Task(单任务成本)
Cost / Successful Task(单成功任务成本)
Cost / Business Outcome(单业务成果成本)

特别记录:

Model Calls per Task(单任务模型调用数)
Tool Calls per Task(单任务工具调用数)
Average Steps(平均步数)
Retry Rate(重试率)
Loop Rate(循环率)

记录:

Query Rewrite(查询改写)
Embedding(向量化)
Search(检索)
Reranker(重排序器)
Context Tokens(上下文 Token 数)
Output Tokens(输出 Token 数)

按照顺序优化:

1. Remove waste(去除浪费)
2. Reduce context(压缩上下文)
3. Cache(缓存)
4. Route model(模型路由)
5. Reduce agent steps(减少智能体步数)
6. Change architecture(调整架构)

避免第一步就:

换最便宜模型。