核心项目
01
跨境电商 RAG 智能客服系统
16 人团队 · 负责数据治理、评测体系与模型效果优化，带领标注团队 · 约 2 个月完成大版本迭代上线
60% → 90%知识命中率
42% → 27%转人工率，释放 5–7 名客服人力
+10pp客户满意度
1,800 条/日自动处理，承接约 60% 咨询量
Dify 工作流BGE-large-zh-v1.5MilvusQwen2.5-72BRerank知识库 2,000+ 条目
系统架构
用户 query → 意图识别路由 → 知识库检索（RAG）→ 受系统提示词约束的 LLM 生成；基座模型由 GPT-4o-mini 平滑迁移至 Qwen2.5-72B-Instruct。
数据治理与知识库
- 抽取并归类近 2,000 条历史对话，识别物流 / 退换货 / 商品规格三类高频意图（约占咨询量 60%）
- 带领标注团队将 100+ 原始文档清洗为 2,000+ 标准化双语知识条目（中日 / 中英）
- 联合一线客服梳理口径冲突盲区，明确知识边界
标注规范与质量管控
- 搭建贴合跨境业务的意图标注体系，明确易混意图判定边界与正反例
- 双标交叉、仲裁裁决、抽检、一致性校验多重质检，沉淀 SOP
- 标注准确率 80%→95%，返工率降低 30%，形成「标注—质检—复盘—培训」闭环
评测体系建设
- 基于线上真实对话构建 300 条评测集，补充边界 / 对抗样例
- 制定分级评分 rubric：意图准确率、应答相关性、多轮连贯性、安全合规等维度
- bad case 归因聚类 → 评测报告 → 驱动 SFT 补充与模型迭代
三轮迭代与归因
- 优化 Chunk 切分长度，解决长答案上下文丢失
- 迭代系统提示词（角色边界 / 多语言适配 / 合规红线 / 转人工兜底）
- 引入 Rerank 重排，真正把召回精度拉上去；并构造 200+ 条 SFT 样本覆盖易混意图