AI Guardrails(AI 护栏)
知识库位置:
FDE Knowledge Base/03 Engineering/AI Engineering/Guardrails/AI-Guardrails.md
Guardrails(护栏)是限制 AI 系统行为的控制机制。
可以分为:
Input Guardrails(输入护栏)
Section titled “Input Guardrails(输入护栏)”检查:
- Malicious Input(恶意输入)
- Unsupported Request(不支持的请求)
- Sensitive Data(敏感数据)
Output Guardrails(输出护栏)
Section titled “Output Guardrails(输出护栏)”检查:
- Unsafe Content(不安全内容)
- Sensitive Information(敏感信息)
- Invalid Format(无效格式)
Tool Guardrails(工具护栏)
Section titled “Tool Guardrails(工具护栏)”控制:
- 哪些工具可用
- 哪些参数允许
- 哪些动作需要确认
Business Guardrails(业务护栏)
Section titled “Business Guardrails(业务护栏)”例如:
Refund > $500(退款超过 500 美元)→ Human Approval(人工审批)Important Principle(重要原则)
Section titled “Important Principle(重要原则)”Guardrails 不应该只依赖 Prompt(提示词)。
不要只写:
Never reveal sensitive data.(永远不要泄露敏感数据)应该结合:
Prompt(提示词)+Permissions(权限)+Policy Engine(策略引擎)+Data Filtering(数据过滤)+Audit(审计)