跳转到内容

Case Study 02 — AI Customer Support Agent(AI 客服智能体)

知识库位置:FDE Knowledge Base/06 Case Studies/02-AI-Customer-Support-Agent.md

Case ID: CS-002
Industry(行业):
SaaS(软件即服务)
Primary Domain(主要领域):
Customer Support(客户支持)
Case Type(案例类型):
Reference Scenario(参考情景)
Complexity(复杂度):
Medium-High(中高)
Primary Technologies(主要技术):
Workflow(工作流)
RAG(检索增强生成)
Tool Calling(工具调用)
LLM(大语言模型)
Business Function(业务职能):
Customer Service(客户服务)
Delivery Stage(交付阶段):
End-to-End(端到端)
Status: Core
Version: v0.1

本案例为 Reference Scenario(参考情景):用于教学和方法论说明的综合案例,并非某个真实客户项目。参见 Case Studies README(案例域使用说明)。


客户是一家 SaaS(Software as a Service,软件即服务)公司。

客服每天处理大量:

  • 产品问题
  • Billing(计费)
  • Account Access(账户访问)
  • Subscription(订阅管理)
  • Technical Support(技术支持)

客服需要同时使用:

  • CRM(Customer Relationship Management,客户关系管理系统)
  • Ticket System(工单系统)
  • Billing System(计费系统)
  • Product Documentation(产品文档)
  • Internal Knowledge Base(内部知识库)

客户最初提出:

希望 AI 自动回答客户问题。

Discovery(客户调研)后发现真正的问题包括:

  • 客服查资料耗时
  • 多系统切换频繁
  • 重复问题数量高
  • 新客服培训周期长
  • 简单问题占大量工作量

因此目标不是:

替代客服。

而是:

提高客服处理效率,并逐步自动化低风险问题。


分析历史 Ticket(工单)。

发现:

45% Knowledge Questions(知识问题)
25% Account Questions(账户问题)
15% Billing(计费问题)
10% Technical Troubleshooting(技术排查)
5% Other(其他)

同时发现风险差异很大。

例如:

"How do I reset password?"(如何重置密码?)

风险低。

而:

"Refund $5,000"(退款 5000 美元)

风险高。

因此不能把所有任务都自动化。


第一阶段:

In Scope(范围内):
Knowledge Questions(知识问题)
Account Status(账户状态查询)
Ticket Summary(工单摘要)
Suggested Reply(建议回复)
Out of Scope(范围外):
Automatic Refund(自动退款)
Account Deletion(账户删除)
Subscription Cancellation(取消订阅)
Large Financial Actions(大额资金操作)

Customer(客户)
↓
Support Platform(客服平台)
↓
AI Orchestrator(AI 编排器)
├─ Knowledge RAG(知识检索增强生成)
├─ CRM Tool(CRM 工具)
├─ Billing Read Tool(计费只读工具)
└─ Ticket Tool(工单工具)
↓
Policy Layer(策略层)
↓
Human Approval / Automatic Response(人工审批 / 自动回复)

Key Decision(关键决策):Workflow vs Agent(工作流 vs 智能体)

Section titled “Key Decision(关键决策):Workflow vs Agent(工作流 vs 智能体)”

客户最初希望:

Fully autonomous agent(全自主智能体)。

但大部分客服流程其实相对固定。

最终采用:

Workflow(工作流)
↓
AI Classification(AI 分类)
↓
Tool / RAG(工具 / 检索增强生成)
↓
Suggested Resolution(建议解决方案)
↓
Human / Auto Decision(人工 / 自动决策)

只有复杂场景局部使用 Agent(智能体)。

关联:Decision Guide:Workflow vs Agent(工作流 vs 智能体)


6. Engineering Implementation(工程实现)

Section titled “6. Engineering Implementation(工程实现)”

分类:

Knowledge(知识)
Billing(计费)
Account(账户)
Technical(技术)
Escalation(转人工升级)

设计明确工具:

get_customer()(获取客户信息)
get_subscription()(获取订阅信息)
get_invoice()(获取发票)
create_support_note()(创建支持备注)

避免:

manage_customer()(管理客户)

这种宽泛工具。

例如:

Read Customer Data(读取客户数据)
→ Allowed(允许)
Create Support Note(创建支持备注)
→ Allowed(允许)
Refund < $50(退款小于 50 美元)
→ Human confirmation(需人工确认)
Refund > $50(退款大于 50 美元)
→ Human workflow(走人工流程)

具体阈值由客户业务政策决定。


Prototype(原型)使用历史 Ticket Replay(工单回放)。

发现 Agent(智能体)经常混淆:

get_invoice()(获取发票)
get_subscription()(获取订阅)

原因:

Tool Description(工具描述)不清楚。

修复:

  • Tool Naming(工具命名)
  • Tool Description(工具描述)
  • Schema(结构定义)
  • Reduce Available Tools(减少可用工具数量)

关联:Agent Chooses the Wrong Tool(Agent 选错工具)


Pilot(试点)采用:

Agent Assist(坐席辅助)

而不是:

Fully Autonomous Agent(全自主智能体)

客服仍然最终确认回答。

收集:

  • Suggested Reply Acceptance Rate(建议回复接受率)
  • Handle Time(处理时长)
  • Tool Accuracy(工具准确率)
  • Escalation Rate(转人工率)

发现一些客服直接复制 AI 回答,而不认真检查。

因此加入:

  • Source Citation(来源引用)
  • Confidence Indicator(置信度指示)
  • Explicit Review Step(显式复核步骤)
  • High-risk Warning(高风险提示)

这说明:

人在环并不意味着风险自动消失。

Human-in-the-loop(人在环)也需要设计。


Production(生产)增加:

  • Full Audit Trail(完整审计轨迹)
  • Tool Call Logs(工具调用日志)
  • User Identity Propagation(用户身份透传)
  • Rate Limits(限流)
  • Guardrails(护栏)
  • Monitoring(监控)
  • Escalation Workflow(转人工流程)

高风险操作统一走:

Agent Recommendation(智能体建议)
↓
Policy Check(策略检查)
↓
Human Confirmation(人工确认)
↓
Execution(执行)

重点观察:

Average Handle Time(平均处理时长)
First Contact Resolution(首次接触解决率)
Agent Productivity(坐席人效)
Escalation Rate(转人工率)
Customer Satisfaction(客户满意度)

而不是单纯:

LLM Accuracy(大语言模型准确率)

Agent Wrong Tool(智能体选错工具)

Section titled “Agent Wrong Tool(智能体选错工具)”

关联:Agent Chooses the Wrong Tool(Agent 选错工具)

关联:Agent Loops Repeatedly(Agent 反复循环)

关联:API Integration Is Unstable(API 集成不稳定)


Decision(决策) Options(选项) Choice(选择) Why(原因)
总体形态 Fully Autonomous Agent vs Agent Assist Agent Assist(坐席辅助) 不应一开始追求全自主
流程组织 Open-ended Agent vs Workflow Workflow 优先,局部 Agent 客服流程相对固定
工具粒度 宽泛工具 vs 小而明确的工具 小而明确 降低选错工具的概率
高风险动作 自动执行 vs Policy Layer 管控 Policy Layer + 人工确认 风险差异大,需要分级管控

  1. 不要一开始追求 Full Autonomy(完全自主)。
  2. Workflow(工作流)优先,Agent(智能体)用于真正需要动态决策的部分。
  3. Tool(工具)必须小而明确。
  4. 高风险动作需要 Policy Layer(策略层)。
  5. AI Customer Support(AI 客服)的核心指标应该是业务流程效率。
  6. Human-in-the-loop(人在环)本身也需要设计。