intro.md

gistfile1.txt

# 数据准备（for RAG not ft）

## 两组数据

### 1. Agency 话术整理

- 原始文档可能是非标格式化文档，需要处理
- 将"话术全文"根据语义拆分成几个阶段，如：
  - 揣摩用户意图
  - 吸引用户
  - 推荐引导
- 这部分数据会向量化后保存，用于判断当前对话阶段和检索相应话术

### 2. KOL 角色数据

- 可能从数据库提前获取
- 包含多个维度的数据：
  - 基础信息
  - 历史带货
  - 推广品类
  - 行业分类
  - 价格区间
  - 播放属性等
- 数据可能需要简单处理后暂存
- 用于提高 RAG 命中率

### 3. 可选数据（用于未来纠偏和效果提升）

- 历史用户提问
- 关联推荐

## 初步 Filter 流程

1. 用户提出问题
2. 判断意图（业务咨询 vs 无关问题），进行处理和引导
3. 根据用户意图，判断当前对话阶段，从 agency 话术库中找到合适参考
4. 让 LLM 生成下一步话术和方向
5. 重复步骤 3-4，逐步引导用户提供明确信息
6. 使用 KOL 角色数据库辅助过程
7. 在合适时机给出 filter、推荐和理由

## 系统特点

- 类似"由 LLM 和 hybrid query 构成的推荐系统"
- 不使用真正的推荐引擎

## 建议操作

1. 数据库提供详细检索信息并预处理（独立于原数据库）
2. 定期更新数据
3. 使用 workflow 方式和合适模型编排
4. 设置多个角色，用于判断：
   - 当前会话阶段
   - 用户满意度推测
   - 需求明确度等
5. 为对话 bot 提供辅助信息参考

## 技术选择

- 数据库：PostgreSQL + pgvector 
- 本地模型：无需
- 用户问答 LLM API：
  - gpt4o + gpt4omini + claude 3.5 sonnet 组合
  - 使用 openrouter 进行不同轮次的自动判断
- 数据预处理和分析 LLM API：
  - qwen2 7b / gpt4omini（成本低廉，性价比高）
- Workflow 编排：
  - 可使用 dify 工具测试或正式 API
  - 或测试后重新代码层部署
  - 尽量手动构建，不使用 langchain 等框架

## 时间估计

- 基础工作流模拟测试：资源到位一周内可运行测试
- 数据测试和调优：约一周（取决于业务数据）
- Chatbot 界面开发：取决于设计复杂度，通常为前端常规开发量