PeerSoft
定义业务问题、指标公式、实验版本、验收证据和最终决策。
MIXPANEL EXPERIMENT SYSTEM
让每次产品改动，都能回答：真的变好了吗？
方案把 PeerSoft 的业务问题、事件、实验、统计和回滚连起来。Mixpanel 看趋势和分组，服务端保存事实，PeerSoft 保存定义和最终决定。
业务问题
→
分组 + 曝光
→
转化指标
→
放量 / 回滚
01 · 先说结论
PeerSoft 管“为什么”和“要不要发布”，Mixpanel 管“发生了什么”。
Mixpanel
做事件分析、漏斗、趋势、留存、分群和 Feature Flag 分流。
业务服务
保存订单、支付、任务结果等事实，防止客户端说成功却没有真正成功。
核心原则：“分到哪组”不等于“真的看到页面”。实验必须同时记录 assignment 和 exposure。
02 · 接入链路
一条实验，至少留下六张“照片”。
每张照片都有自己的用途。缺一张，后面就很难解释结果。
问题
例如：价格卡改版后，支付率会不会提高？
分组
服务端按 account_id 固定分到 control 或 treatment。
曝光
页面真的渲染并可见后，才记录 exposure。
转化
用服务端的 payment_succeeded 作为事实。
判断
按账号汇总，比较提升、置信区间和安全指标。
动作
继续放量、暂停、发布或回滚，并留下 decision_id。
统一事件合同
每个实验事件都带同一组骨架字段。
experiment_idvariantassignment_idexposure_id
account_idrelease_idoccurred_atsource_event_id
03 · 事件设计
四个事件，撑起一条完整实验。
| 事件 | 什么时候发 | 谁负责 | 关键字段 |
|---|---|---|---|
experiment_assignment | 服务端完成分组 | 实验服务 | experiment_id、variant、assignment_id、randomization_unit |
experiment_exposure | 变体真实可见 | 客户端 | exposure_id、rendered_at、visible_ms、release_id |
experiment_conversion | 主指标事实发生 | 业务服务 | source_event_id、account_id、order_id/request_id |
experiment_decision | 人工或规则做出决定 | PeerSoft | decision、reason、sample_size、confidence_interval |
参数分组
身份：account_id、anonymous_id、distinct_id
实验：experiment_id、variant、assignment_version
时间：occurred_at、release_id、environment
关联：request_id、order_id、source_event_id
不能混在一起的概念
- Flag 返回 treatment ≠ 用户看到了 treatment。
- 事件到达 Mixpanel ≠ People 画像写入成功。
- 客户端显示成功 ≠ 订单或任务真的成功。
- 点击次数 ≠ 用户数；默认按实验单位去重。
04 · 三个实验案例
先从最容易产生业务价值的三类实验开始。
A
价格卡实验：提高支付转化
问题：新价格布局会不会让更多账号完成支付？
主指标支付成功账号 / 曝光账号安全指标支付失败率、退款率、页面 P95MixpanelExposure → payment_succeeded 漏斗动作1% → 5% → 25% → 50%，异常立即回滚
B
首次聊天引导：提高激活
问题：有引导的用户，24 小时内是否更容易完成第一次价值闭环？
主指标chat_reply_completed 或 generation_completed安全指标失败率、超时率、P95 延迟Mixpanel按 account_id 建 Cohort，再看 Funnels动作主指标提升且安全指标不变，继续放量
C
角色详情入口：提高有效互动
问题：按钮位置变化，是否带来更多角色选择和后续聊天？
主指标character_selected / character_detail_view安全指标退出率、页面错误率、停留 P75Mixpanel路径：详情 → 选择 → 聊天提交动作低样本组不下结论，先补样本
05 · 统计规则
让“提升了”变成可以检查的数字。
实验单位账号同一账号只进一个组，跨设备也不换组。
主指标转化率完成转化的账号数 ÷ 真实曝光账号数。
报告窗口7 天至少覆盖一个完整周，避免只看半天波动。
安全门槛95% CI区间跨过 0 时，不宣布胜负。
提升率
(treatment_rate - control_rate) / control_rate
实验停止规则：主指标达到样本量 + 安全指标未越线 + 置信区间支持方向。
06 · 接入步骤
研发按四个阶段接入，不需要一次改完所有系统。
建实验
PeerSoft 建立 experiment_id、假设、实验单位、主指标、安全指标和停止规则。
接分流
服务端按 account_id 固定分组，客户端读取 variant。没有 assignment 就不进入实验分母。
接事实
客户端发 exposure，服务端发支付、订单、任务结果。全部带 source_event_id 关联。
做验收
Mixpanel 查漏斗和分组，仓库算复杂统计，PeerSoft 记录决定和回滚原因。
07 · 上线验收
下面 10 项都打勾，实验才算接通。
当前系统边界：已有 146 个规划事件、81 个运行时用例和 40 个规划画像字段；People 真实写入、实验曝光闭环和生产 Mixpanel 到达，需要按这份清单补证据。