More than code
Thoughts, stories and ideas

不是所有的产品都适合A/B测试

一、什么是A/B测试

随着移动互联网流量红利、人口红利的逐渐衰退,越来越多的产品运营开始关注数据驱动的精细化运营方法,期望通过精细化运营在一片红海中继续获得确定的用户增长,而A/B测试就是一种有效的精细化运营手段。简单来说,A/B测试是一种用于提升App/H5/小程序产品转化率、优化获客成本的数据决策方法。在对产品进行A/B测试时,我们可以为同一个优化目标(例如优化购买转化率)制定两个方案(比如两个页面),让一部分用户使用 A 方案,同时另一部分用户使用 B 方案,统计并对比不同方案的转化率、点击量、留存率等指标,以判断不同方案的优劣并进行决策,从而提升转化率。

看个例子:

2008年奥巴马竞选美国总统的时候,有一个互联网团队专门负责竞选相关活动的线上产品,例如奥巴马的竞选募捐网站。这个网站最核心的目标是:让网站的访客完成注册并募捐竞选资金。这个团队当时做了一个非常成功的实验:通过对6个不同风格的主页进行AB测试,最优的版本将网站注册转化率提升了40.6%,而这40.6%的新增用户直接带来了额外的5700万美金募捐资金!

那么,产品什么时候需要做A/B测试呢?一个App在做版本迭代更新的时候,所有的功能都需要做A/B测试吗?根据其他平台实践统计,一个产品在遇到“影响大,选择难”问题的时候,是最适合做AB测试的。

每年,有数万个这样的测试被许多互联网公司应用于线上优化迭代。但我们所仰仗的A/B测试,也许其结果并不可靠。Web Arts的创始人兼首席执行官Andre Morys甚至断言:“ 这些测试结果90%都是假的。”

诚然,A/B测试本质上是问一个问题:A和B哪个更好?但是,如果你问错了问题呢?假如A和B都不怎么样,用户也只是选出其中不那么讨厌的一个罢了。

二、问对问题,再做A/B测试

如果你是一个数据驱动的人,你很可能不会想到什么就马上去做,而是倾向于先做一个A/B测试,把胜出的版本投入市场。这确实是个好方法。但假如一开始你就选择了错误的测试方向呢?为了避免在产品迭代上浪费金钱和时间,在下一次测试前,不妨先回答一下本文提出的两个问题。

2.1 A/B测试

A/B测试是一个随机试验。在保持其他因素不变的基础上,对单一特性的两个版本进行比较。这个特性可能是一个新按钮,或是不同的字体,又或者是营销信息的改变,等等。客户随机分成两组,每一组看到不同的版本。收集用户的反馈,比较两组对不同版本的看法,最终正式运行那个能达成你的目标的版本。通常版本A是当前版本(对照组),版本B是带有新特性的版本(实验组)。

2.2 一次成功的A /B测试需要具备三个要素:

  1. 一个要实现的目标和相应的指标来衡量变化。
  2. 版本A和版本B的分配是随机的。
  3. 控制其他变量不变,只测量一个特性。

现在我们已经知道了A/B测试的定义,让我们来看看第一个问题。

三、你爬的是正确的山吗

换句话说,A/B测试是实现你目标的正确方法吗?

A/B测试的本质是产品优化。假设你在登山,想要尝试不同的路线,来看哪一条能更快登顶。但是,如果一开始你就选错了山峰呢?你爬的实际上只是一座小山丘。你被困在一个有限的区域中,浪费很多的时间,只能找到一个次优的解决方案。

Marissa Mayer在担任谷歌副总裁时,曾就40种深浅不同的蓝色进行了多次的A/B测试,以找到最适合谷歌链接的颜色。A/B测试非常适用于这类任务,因为蓝色只有这么多种,而且谷歌清楚地知道他们想要的是什么:找到一种能得到最多点击量的颜色。

这种情形无疑是适合A/B测试的。但如果对每个问题都用相同的处理方法,你会发现自己沉迷于成功爬上小山丘所带来的兴奋感,却错过了登山过程中抬头可见的北极星。

举个例子:一个DVD出租网站想要测试不同的登录页面设计。假设他们真的找到了完美的设计,又能带来多少收入增长呢?难道是因为设计不够精美所以缺少客户吗?还是因为比起租DVD,人们更希望在Netflix上观看节目?如果整个行业都在更新换代,而你的商业模式已经过时了,那么A/B测试是无法告诉你失败的真正原因的。

3.1 如何找到正确的山峰呢?

3.1.1 记住你要去的地方。

我们都喜欢挂在较低的枝条上的果实,它们太诱人了,特别是在你迷失方向、需要快速发展业务的时候。但它们是否与你的产品目标一致呢?

轻松的胜利会把你带入多个方向。但10个方向上得到10个简单的胜利会很快耗尽你的资源,你更应该做的是在正确的方向上迈出一小步——专注最重要的目标,进行有方向感的迭代。

3.1.2 与真正的客户交谈。

有时候你需要忘记大数据。

我们被困在大数据的世界里,却忘记了数据不过是顾客声音的浓缩而已。与一些真正的客户交谈未必能帮助你扩大业务规模,但会让你更接近真实的人类需求,它可以帮助你发现那些真正有价值的问题。

你也许会担心:如果在一小群人中得到的答案过于具体,不能推广到更大的客户群中,该怎么办?好消息是,世人在很多方面都很相似,所以一个人的奋斗可以引起世界上很多人的共鸣。在用户研究中,这被视为小数据的力量。

3.1.3 在解决问题之前找到真正的瓶颈。

A/B测试只会给客户有限的选择。如果真正的解决方案既不是A也不是B,那么这两种方案客户一个也不会喜欢,而你最终推出的只是他们不那么讨厌的一种,真正的问题依然得不到解决。

如果你正在利用A/B测试来修复某些东西,请确保你已经找到了造成问题的根本原因。

举个例子,你发现付款页面上的放弃率增加了,希望通过改进页面上的内容来修复这个问题。但是,放弃率的升高可能是因为主页出了问题,或者是太多的弹出窗口分散了客户的注意力,或者是页面本身加载时间太长。它可能不需要进行测试来改进诸如“购买”按钮或付款页面上的消息之类的功能——问题可能在客户看到内容之前就出现了!

四、当你爬山时,风景会改变吗

换句话说,你有没有控制其他因素来减少测试中的干扰项?

让我们把你实验中的所有因素都称为“环境”。当你在测试一个按键的两种版本时,其他的因素就包括浏览器、设备类型、地区、月份、促销活动和竞争对手的活动等。

下图就是一个类比:你想比较路线A和路线B哪条路线可以让你更快登顶,唯一想测试的不同之处在于路径。然而,在你的测试期间,这两条路径都有不同的风力、降雨、空气和植被模式。因为这种环境和气候在测试阶段之外的其他季节都可能会发生变化,这就使得测试结果在一年中的其他时间都是没有意义的。

如果在你控制变量的实验中,其他的因素也发生了改变,那你就相当于是在拿苹果和橘子做比较。

4.1 如何管理不断变化的环境

环境有两种类型:

  • 你可以控制的事情称之为内部环境。比如公司的营销活动、程序代码更改、产品规划等。
  • 你无法控制的事情称之为外部环境。比如季节变化、行业趋势、竞争对手、客户行为等。

聪明的人控制他们所能控制的东西,知道他们所能控制的东西和不能控制的东西之间的区别。

4.2 注意两种常见的内部环境变化

营销活动。人们会受到营销活动的影响,导致你测试的结果失效。改善的信号可能会被夸大,或者在营销推广中丢失。所以,如果公司正进行推广活动,那就把你的实验推迟到活动结束后。

产品的变化。你不能在测试一个新产品图像的效果的同时,又在每个页面的顶部推出一个新的横幅广告。横幅会消耗客户的注意力,你测试的产品图像可能就无法获取足够的流量。当你分析测试的结果时,也无法知道是你的新产品图像还是横幅+产品图像的组合驱动了改变。

4.3 如何控制内部环境

测试特性时,确保其他因素不变。如果你想测试多个特性,请与你的团队进行沟通,依序进行。

与其他团队沟通,以确保他们没有测试竞争特性或更改任何特性。你们应该有一个共享的文档来核对彼此的测试时间表。

当然,当多个因素发生变化时,你可以使用多变量回归来分析测试结果,但可能会有更多的干扰项出现。所以,不要贪心,一次只测试一个特性,除非你是一个专家。请记住,在正确的方向上迈出一小步比漫无目的地大踏步要好。

4.4 外部环境

现在你已经确定你正在测试的功能是网站上唯一不同的东西,让我们看看你无法控制的两种外部环境。

4.4.1 “可以调整”的外部环境:季节性和趋势

季节性: 这是一种不断重复的模式。季节效应包括春夏秋冬、返校、节假日等带来的影响。

趋势:会随着时间的推移而变化,但并不是周期性变化,也不一定是线性的。

季节性和趋势的影响不仅仅是简单的乘数效应;它们对测试的影响可以表现出不同的结果。例如,你的功能可能在4月份没有任何影响,但它在6月份让销售额提高了10%,而在8月份将产生5%的负面影响。

如何把控:

建立时间序列回归模型来调整季节效应和趋势。如果没有足够的数据来构建时间序列模型,则可以收集行业的历史数据或产品过去的性能作为基准。

4.4.2 “无法调整”的外部环境:竞争对手、客户行为和行业变化

竞争对手可能会推出一个新功能,与你正在测试的功能直接竞争;你的客户可能会清除浏览器cookies或更换浏览器;你所在的行业正在经历类似从实体到数字化、从石油天然气到电力、从劳动密集型到自动化的转变,你的测试结果则可能会被这种转变“污染”。

4.5 该怎么做

在这种情况下,你可以用模拟数据来估计外部影响的范围,并尽可能地评估风险,做好准备。

最后请记住,世上可能不会有一座完美的山或一个完美的静态环境,但你应该检查你的选项,并选择最靠近目标的一系列选项。按照本文中的提示执行成功的A/B测试。

五、A/B测试案例剖析

案例1:注册流程改版

让我们先来看一个注册流程的A/B测试。这个产品原始版本的注册流程使用了图片校验码的方式,但是注册转化率偏低。于是产品经理提出一个设想:如果把图片校验码方式改成短信校验码的方式,有可能因为降低了用户输入的难度导致注册转化率的提升。

带着这样的假设,他们设计了如下图所示两个版本的注册流程。通过使用Testin
A/B测试产品,分别为两个版本分配了20%的用户流量,通过一周左右的实验观察,数据显示新版本(短信校验码)的注册转化率提升了接近10%,并且95%置信区间是[8%,12%],说明这个实验版本推广到全量用户之后,95%的概率下至少会有8%到12%的提升。基于这个实验结果,产品经理选择将新版本注册流程推送给全部用户,显著提升了注册转化率。

案例2:App首页大改版

首页大改版对于一个产品来说,无疑满足“影响大,选择难”两个必要条件。在下面这个App首页改版的例子中,新版本的首页布局发生了多处改动:例如改动了4个子栏目、新增了一个banner,更改了类目展示方式。对于一个App来说,首页的改版属于非常重大的产品变动,稍有不慎就可能对现有用户体验造成很大的影响,如果改版失败,会直接导致成交额、用户点击转化率、留存率的下降。正因为影响重大,同时又不确定新版本是否能提升业绩,所以A/B测试在这种场景下是非常必要的。

产品经理进行这样的大改版,核心目的主要是为了提升首页向二级页面的点击转化率,并最终促成更高的成交转化。在这个实验中,因为有多个首页模块发生了变动,我们需要为不同的首页模块分别设置对应的指标,以对比两个版本首页向二级页面的转化率优劣。通过A/B测试平台将两个版本用户流量分别设置为10%,并运行2周实验之后,实验数据显示新版本首页向二级页面的整体点击量提升了12%以上。通过A/B测试,产品经理成功验证了新版本首页达到了预期的优化目标,之后就可以将新版本发布给全部用户了。

六、参考文章

https://www.zhihu.com/question/20045543
https://mp.weixin.qq.com/s?__biz=MzAwODE5NDg3NQ==&mid=2651229442&idx=1&sn=0e1a8742dce41a3ee96e16e43917915c

赞(5) 打赏
转载请注明作者及连接:木子朗 » 不是所有的产品都适合A/B测试

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

React CLI - 快速创建react项目脚手架工具

官 网GitHub

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏