LLM Fundamentals for FDE(FDE 场景下的大语言模型基础)
知识库位置:
FDE Knowledge Base/03 Engineering/AI Engineering/LLM/LLM-Fundamentals.md
FDE 不一定需要训练基础模型(Foundation Model,基础模型),但必须理解 LLM(Large Language Model,大语言模型)的基本行为和限制。
LLM 的核心角色
Section titled “LLM 的核心角色”可以把 LLM 看作:
一个根据上下文(Context,上下文)生成语言和结构化内容的概率系统(Probabilistic System,概率系统)。
它擅长:
- 理解自然语言(Natural Language,自然语言)
- 总结(Summarization,总结)
- 分类(Classification,分类)
- 信息抽取(Information Extraction,信息抽取)
- 内容生成(Content Generation,内容生成)
- 推理(Reasoning,推理)
- 代码生成(Code Generation,代码生成)
但它并不天然具备:
- 企业最新数据
- 精确数据库状态
- 用户权限
- 可靠事实保证
- 执行真实业务动作的能力
因此企业 AI 通常需要组合:
LLM(大语言模型)+Enterprise Data(企业数据)+Tools(工具)+Workflow(工作流)+Security(安全)+Evaluation(评估)Key Concepts(关键概念)
Section titled “Key Concepts(关键概念)”FDE 应该理解:
- Token(词元)
- Context Window(上下文窗口)
- Prompt(提示词)
- Temperature(温度参数)
- Structured Output(结构化输出)
- Tool Calling(工具调用)
- Embedding(向量化/嵌入)
- Latency(延迟)
- Model Cost(模型成本)
Model Selection(模型选型)
Section titled “Model Selection(模型选型)”不要只问:
哪个模型最强?
应该问:
Accuracy?(准确率够吗)Latency?(延迟可接受吗)Cost?(成本可控吗)Privacy?(隐私合规吗)Context?(上下文窗口够吗)Tool Calling?(支持工具调用吗)Structured Output?(支持结构化输出吗)Deployment Requirement?(满足部署要求吗)不同任务可能使用不同模型。
例如:
Complex Reasoning(复杂推理)→ Strong Model(强模型)
Simple Classification(简单分类)→ Smaller Model(更小模型)
High-volume Extraction(高频大规模抽取)→ Cost-efficient Model(高性价比模型)FDE Principle(FDE 原则)
Section titled “FDE Principle(FDE 原则)”模型只是系统中的一个组件。
不要把:
AI System(AI 系统)等同于:
LLM API Call(大语言模型接口调用)