Agent项目：营销流量分发原理及A/B实验评估方法

流量为王：营销流量分发原理及A/B实验评估方法​

写在前面​

大多数产品、功能、策略、算法模型上线都需要测试，但是很多测试都存在幸存者偏差​

◦

比如领导说这个功能好，那是不是意味着所有用户or大多数用户都觉得好？​

◦

很多情况下答案是否定的​

在互联网行业，无论是构建搜索推荐系统，还是智能营销等场景，都是围绕用户进行不同的实验，从各项指标上观察用户对不同交互、流程、策略、算法等反馈，进而对产品、营销策略、搜索推荐算法等进行迭代改进​

什么是A/B test?​

A/BTest的概念来源于生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后再来比较这两组病人的表现是否具有显著的差异，从而决定测试用药是否有效？​

​

​

a.

A/BTest强调的是同一时间维度对相似属性分组用户的测试，时间的统一性有效的规避了因为时间、季节等因素带来的影响​

b.

而属性的相似性则使得地域、性别、年龄等等其他因素对效果统计的影响降至最低​

所有A/B测试实验的奠基石是Goolge在KDD2010发表的论文《Overlapping Experiment Infrastructure More, Better, Faster Experimentation》，千禧年Google的工程师第一次将A/B测试用于测试搜索结果页展示多少搜索结果更合适，虽然那次的A/B测试因为搜索结果加载速度的问题失败了，但是这次的A/B测试可以认为是Google的第一次A/B测试​

怎么做A/B test？​

​

​

目前业界应用最多的是：可重叠分层分桶方法​

具体来说，就是将流量分成可重叠的多个层或桶,因为很多类实验从修改的实验参数到观察的产品指标都是不相关的，完全可以将实验分成互相独立的多个层​

例如： ​

•

推荐算法召回层、推荐算法排序层、打散层​

•

或者首页、业务页、详情页等​

50%

​

​

​

​

​

50%

​

​