跳转到内容

LLM Fundamentals for FDE(FDE 场景下的大语言模型基础)

知识库位置:FDE Knowledge Base/03 Engineering/AI Engineering/LLM/LLM-Fundamentals.md

FDE 不一定需要训练基础模型(Foundation Model,基础模型),但必须理解 LLM(Large Language Model,大语言模型)的基本行为和限制。

可以把 LLM 看作:

一个根据上下文(Context,上下文)生成语言和结构化内容的概率系统(Probabilistic System,概率系统)。

它擅长:

  • 理解自然语言(Natural Language,自然语言)
  • 总结(Summarization,总结)
  • 分类(Classification,分类)
  • 信息抽取(Information Extraction,信息抽取)
  • 内容生成(Content Generation,内容生成)
  • 推理(Reasoning,推理)
  • 代码生成(Code Generation,代码生成)

但它并不天然具备:

  • 企业最新数据
  • 精确数据库状态
  • 用户权限
  • 可靠事实保证
  • 执行真实业务动作的能力

因此企业 AI 通常需要组合:

LLM(大语言模型)
+
Enterprise Data(企业数据)
+
Tools(工具)
+
Workflow(工作流)
+
Security(安全)
+
Evaluation(评估)

FDE 应该理解:

  • Token(词元)
  • Context Window(上下文窗口)
  • Prompt(提示词)
  • Temperature(温度参数)
  • Structured Output(结构化输出)
  • Tool Calling(工具调用)
  • Embedding(向量化/嵌入)
  • Latency(延迟)
  • Model Cost(模型成本)

不要只问:

哪个模型最强?

应该问:

Accuracy?(准确率够吗)
Latency?(延迟可接受吗)
Cost?(成本可控吗)
Privacy?(隐私合规吗)
Context?(上下文窗口够吗)
Tool Calling?(支持工具调用吗)
Structured Output?(支持结构化输出吗)
Deployment Requirement?(满足部署要求吗)

不同任务可能使用不同模型。

例如:

Complex Reasoning(复杂推理)→ Strong Model(强模型)
Simple Classification(简单分类)→ Smaller Model(更小模型)
High-volume Extraction(高频大规模抽取)→ Cost-efficient Model(高性价比模型)

模型只是系统中的一个组件。

不要把:

AI System(AI 系统)

等同于:

LLM API Call(大语言模型接口调用)