2.9 KiB
2.9 KiB
一、调优触发条件
- 用户投诉AI回复不准确或无帮助
- 质检发现话术与业务规则不符
- 知识库更新后需验证是否生效
二、调优操作流程
阶段1：问题复现与根因分析
| 步骤 | 操作说明 | 工具 |
|---|---|---|
| 1.1 | 定位请求 • 通过用户会话ID、时间戳或关键词在 Langfuse 中检索 • 从日志中检索知识库命中内容(client_id + buildReference + 用户语句) |
• Langfuse/火山云日志监控 |
| 1.2 | 分析Prompt与知识命中情况 • 查看该请求使用的 Prompt 版本及完整内容 • 重点验证： – 是否包含应命中的知识片段（对照知识库最新版） – 指定话术是否被正确触发 – 系统提示词是否存在互斥内容 |
• Langfuse/火山云日志监控 • 知识库快照（纯文本或Excel） |
阶段2：方案调整
| 步骤 | 操作说明 |
|---|---|
| 2.1 | 更新知识库（最好使用excel） • 支持以下任一格式： – 纯文本：按段落或FAQ形式维护 – Excel：按列结构化维护（建议包含字段：问题关键词、标准答案、适用场景） • 补充缺失知识或修正错误内容 • 明确标注知识适用场景与检索关键词 |
| 2.2 | 优化Prompt逻辑 • 在接待风格中与知识库内容进行联动 • 强化约束条件等 |
三、研发介入
| 步骤 | 操作说明 | 操作人员 |
|---|---|---|
| 3.1 | 将问题描述和已处理的调整建任务卡 | 运营 /技术支持 |
| 3.2 | 复现问题并尝试通过配置手段解决 | 测试人员 |
| 3.3 | 由测试人员将完整问题包（含日志、预期行为、复现路径）转交研发介入 | 研发 |
备注
火山云日志地址： https://console.volcengine.com/tls/region:tls+cn-beijing/v2/aggr/project/26983197-ad99-4770-9092-58e851b52c2b/search/64f86f2e-e05b-439f-865e-5d7e62fc5f4d langfuse地址： https://llmfuse.meiqia.com/