33 lines
2.9 KiB
Markdown
33 lines
2.9 KiB
Markdown
#### **一、调优触发条件**
|
||
- 用户投诉AI回复不准确或无帮助
|
||
- 质检发现话术与业务规则不符
|
||
- 知识库更新后需验证是否生效
|
||
#### **二、调优操作流程**
|
||
##### **阶段1：问题复现与根因分析**
|
||
|
||
| 步骤 | 操作说明 | 工具 |
|
||
| --- | ------------------------------------------------------------------------------------------------------------------------------ | ---------------------------------------- |
|
||
| 1.1 | **定位请求**<br>• 通过用户会话ID、时间戳或关键词在 Langfuse 中检索<br>• 从日志中检索知识库命中内容(client_id + buildReference + 用户语句) | • Langfuse/火山云日志监控 |
|
||
| 1.2 | **分析Prompt与知识命中情况**<br>• 查看该请求使用的 Prompt 版本及完整内容<br>• 重点验证：<br> – 是否包含应命中的知识片段（对照知识库最新版）<br> – 指定话术是否被正确触发<br> – 系统提示词是否存在互斥内容 | • Langfuse/火山云日志监控<br>• 知识库快照（纯文本或Excel） |
|
||
|
||
##### **阶段2：方案调整**
|
||
|
||
| 步骤 | 操作说明 |
|
||
| --- | ------------------------------------------------------------------------------------------------------------------------------------------------------ |
|
||
| 2.1 | **更新知识库（最好使用excel）**<br>• 支持以下任一格式：<br> – **纯文本**：按段落或FAQ形式维护<br> – **Excel**：按列结构化维护（建议包含字段：问题关键词、标准答案、适用场景）<br>• 补充缺失知识或修正错误内容<br>• 明确标注知识适用场景与检索关键词 |
|
||
| 2.2 | **优化Prompt逻辑**<br>• 在接待风格中与知识库内容进行联动<br>• 强化约束条件等 |
|
||
|
||
#### **三、研发介入**
|
||
|
||
| 步骤 | 操作说明 | 操作人员 |
|
||
| --- | -------------------------------- | -------- |
|
||
| 3.1 | 将问题描述和已处理的调整建任务卡 | 运营 /技术支持 |
|
||
| 3.2 | 复现问题并尝试通过配置手段解决 | 测试人员 |
|
||
| 3.3 | 由测试人员将完整问题包（含日志、预期行为、复现路径）转交研发介入 | 研发 |
|
||
|
||
#### 备注
|
||
火山云日志地址：
|
||
https://console.volcengine.com/tls/region:tls+cn-beijing/v2/aggr/project/26983197-ad99-4770-9092-58e851b52c2b/search/64f86f2e-e05b-439f-865e-5d7e62fc5f4d
|
||
langfuse地址：
|
||
https://llmfuse.meiqia.com/
|