#### **一、调优触发条件**
- 用户投诉AI回复不准确或无帮助
- 质检发现话术与业务规则不符
- 知识库更新后需验证是否生效
#### **二、调优操作流程**
##### **阶段1:问题复现与根因分析**
| 步骤 | 操作说明 | 工具 |
| --- | ------------------------------------------------------------------------------------------------------------------------------ | ---------------------------------------- |
| 1.1 | **定位请求**
• 通过用户会话ID、时间戳或关键词在 Langfuse 中检索
• 从日志中检索知识库命中内容(client_id + buildReference + 用户语句) | • Langfuse/火山云日志监控 |
| 1.2 | **分析Prompt与知识命中情况**
• 查看该请求使用的 Prompt 版本及完整内容
• 重点验证:
– 是否包含应命中的知识片段(对照知识库最新版)
– 指定话术是否被正确触发
– 系统提示词是否存在互斥内容 | • Langfuse/火山云日志监控
• 知识库快照(纯文本或Excel) |
##### **阶段2:方案调整**
| 步骤 | 操作说明 |
| --- | ------------------------------------------------------------------------------------------------------------------------------------------------------ |
| 2.1 | **更新知识库(最好使用excel)**
• 支持以下任一格式:
– **纯文本**:按段落或FAQ形式维护
– **Excel**:按列结构化维护(建议包含字段:问题关键词、标准答案、适用场景)
• 补充缺失知识或修正错误内容
• 明确标注知识适用场景与检索关键词 |
| 2.2 | **优化Prompt逻辑**
• 在接待风格中与知识库内容进行联动
• 强化约束条件等 |
#### **三、研发介入**
| 步骤 | 操作说明 | 操作人员 |
| --- | -------------------------------- | -------- |
| 3.1 | 将问题描述和已处理的调整建任务卡 | 运营 /技术支持 |
| 3.2 | 复现问题并尝试通过配置手段解决 | 测试人员 |
| 3.3 | 由测试人员将完整问题包(含日志、预期行为、复现路径)转交研发介入 | 研发 |
#### 备注
火山云日志地址:
https://console.volcengine.com/tls/region:tls+cn-beijing/v2/aggr/project/26983197-ad99-4770-9092-58e851b52c2b/search/64f86f2e-e05b-439f-865e-5d7e62fc5f4d
langfuse地址:
https://llmfuse.meiqia.com/