跳转到内容

AI Guardrails(AI 护栏)

知识库位置:FDE Knowledge Base/03 Engineering/AI Engineering/Guardrails/AI-Guardrails.md

Guardrails(护栏)是限制 AI 系统行为的控制机制。

可以分为:

检查:

  • Malicious Input(恶意输入)
  • Unsupported Request(不支持的请求)
  • Sensitive Data(敏感数据)

检查:

  • Unsafe Content(不安全内容)
  • Sensitive Information(敏感信息)
  • Invalid Format(无效格式)

控制:

  • 哪些工具可用
  • 哪些参数允许
  • 哪些动作需要确认

例如:

Refund > $500(退款超过 500 美元)
→ Human Approval(人工审批)

Guardrails 不应该只依赖 Prompt(提示词)。

不要只写:

Never reveal sensitive data.(永远不要泄露敏感数据)

应该结合:

Prompt(提示词)
+
Permissions(权限)
+
Policy Engine(策略引擎)
+
Data Filtering(数据过滤)
+
Audit(审计)