另外，并行性也代表了 A/B 测试的效率特征——多种方案的并行试验、同时对比。这大大提升了试验结果的反馈效率，也从根本上提升了产品迭代与决策的效率。
3. 科学性
A/B测试是一种科学试验。这个科学性体现在试验设计的方方面面。下面重点阐述两个方面：
（1）A/B测试的采样方法是科学采样方法，而非普通的随机采样方法。相比于普通的随机采样，科学采样可以保证各版本流量具有一致的用户统计特征，避免试验版本全量上线以后的表现和 A/B测试期间的表现不一致。
（2）A/B测试评价结果的计算过程具有科学性。 A/B测试在评价结果的计算过程中，使用统计学里的假设检验原理进行科学的计算，能够给出结果的置信度和置信区间、试验的 p值、试验的统计功效等科学指标，根据这些指标可以定量判断试验是否有效。对于无效的试验也可以给出进一步的试验建议。
2.2.3　A/B 测试的试验类型
1.正交试验
如图 2-11所示有 2层试验，**层是 P试验，第二层是 Q试验。在 P试验中，用户被分成 2组：Pa组及 Pb组。在 Q试验中，用户也被分成 2组：Qa组及 Qb组。
图 2-11　正交的分层试验
所谓的正交试验（也叫分层试验），就是指 Pa组用户在 Q试验中被均匀分入 Qa组和 Qb组，而 Pb组用户，同样在 Q试验中被均匀分入 Qa组和 Qb组。
这样做的结果是，在 Pa试验组且在 Qa试验组的用户比例是 25%，在 Pa试验组且在 Qb试验组的用户比例是 25%。
正交试验是使用*广泛的多层试验关系。它可以使多层试验的每一层都使用同样多的流量去做试验，并且使各层试验之间的结果不会互相干扰。注意，“各层试验之间的结果不会互相干扰”这个结论是有前提的：各层试验的参数之间，对优化指标没有互相增强或者抵消的效果。举例来说，假设 Pa提升了 10%的效果， Qa提升了 10%的效果， Pa+Pb 叠加，提升的效果是 20%，而不是 25%（增强）或者 15%（抵消）。多数多层的试验，都是以这个假设为基础的。
2.互斥试验
如图 2-12所示， P试验使用的流量， Q试验不能使用，而 Q试验使用的流量， P试验也不能使用，这种情况叫作互斥试验。这个试验的好处是不用担心正交试验里面，“各层试验之间的结果不会互相干扰”的前提不成立，而可以独立做试验。坏处在于，一旦把各层试验做成互斥的，就会使每层试验可用的流量减少，可能会使每层试验所需的时间增加、迭代效率变低。
图 2-12　互斥的同层试验
2.2.4　“伪”A/B测试
要深入理解什么是 A/B测试，我们先看看什么不是 A/B测试。
随着数据驱动决策的思想在互联网及传统企业中的普及，很多人开始重视 A/B测试。然而，有些人只是根据字面意义理解 A/B测试，而没有对 A/B测试的根本原理进行深入的思考，因此对 A/B测试存在各种错误的理解。以下列举一些常见的误区，其中重点讲述用户分流的误区。
1. 用户分流不科学
一种典型的“伪 A/B测试”是在不同的应用市场发布不同版本的 App，或者在不同渠道发布不同版本的页面，并进行用户数据对比。实际上，A/B测试强调对照组和试验组这 2个版本的用户分布必须是一致的。不同的应用市场、不同的渠道，其用户的分布会有很明显的区别，因此通过这种方式做出来的试验数据，不具有可信性。正确的做法是，要么在不同的应用市场发布相同版本的 App，要么在相同的应用市场（或者同时在多个应用市场）发布不同版本的 App，保证在同一个时间点，发生变化的只有一个变量。
为什么不止一个变量发生变化的对比测试是伪 A/B测试呢？这就要谈到辛普森悖论了。

A/B测试:创新始于试验 作者简介

王晔（Sando Wang），吆喝科技公司创始人，清华大学电子工程系硕士、耶鲁大学计算机科学博士学位，中国互联网试验创新领域布道师，“中国创新创业大赛”与“千人计划创业大赛”双料冠军获得者。先后就职于NEC、微软、谷歌等国际知名公司，任职期间负责 P2P 流媒体优化、P4P/ALTO、Google Adwords 质量与移动广告新产品等前沿项目的设计、开发及优化工作，积累了大量试验创新的理论和实战经验。历任IEEE移动计算、GLOBECOM互联网协议与车辆技术评论专家、ACM外部审核专家、2009年对等网络国际研讨会、超现代化的通讯和控制系统2010、2011年国际会议TPC成员。　　王晔于2014年回国创立吆喝科技公司，率先将硅谷先进的 A/B 测试理论、方法与技术引入中国，与国内外优秀企业一同探索中国特色的试验创新之路。目前，吆喝科技公司已经帮助数千家企业用户成功运行数万组试验，并荣获2018年人工智能及大数据产业“具投资价值的公司”的称号、2018年盛景创新大奖全球20强等奖项。

 5/5   首页 上一页 3 4 5

教材 高职高专教材

在线阅读