首页  >  首席增长官  >  硅谷增长专家Andrew Chen:AB测试的陷阱

硅谷增长专家Andrew Chen:AB测试的陷阱

A/B 测试是很多公司都在用的方法,但是我们常常发现,当选出来的方案上线之后,实际效果并没有测试出的增长效果好。光涧实验室翻译了硅谷增长专家 Andrew Chen 最近的这篇博客,希望帮助大家解决这个问题。

创业中,总会遇到让人不太开心事情:你通过 A/B 测试,找到了转化漏斗模型里的一个步骤可以提升 10% 的转化率,然后你的收益、app 安装量,或者其他指标,也会刚好增加 10% 吗?

当然不会☹️

通常的结果是,它会上升一点点,或者根本不会上升。

这是为什么呢?我称这种现象为「意图守恒定律」(Conservation of Intent,受能量守恒定律的启发)。

《硅谷增长专家Andrew Chen:AB测试的陷阱》

制图:王子颖

意图守恒定律

高意图用户和低意图用户之间的情况是不同的,而在所有进入你的漏斗模型的用户中,只有一些是高意图用户。仅仅通过简化一些步骤来提升高意图用户的转化率是很困难的——这只会提升低意图用户的转化。

做一些页面设计上的改变,比如改变按钮的位置,优化标题,或者删除表单字段 ,这些都很棒,但这种低意图用户的增加不会直接延续到你漏斗模型的最下面,他们会在后面的流程中离开。

换句话说,转化漏斗模型里每层的总意图是固定的。这就是「意图守恒定律」!

《硅谷增长专家Andrew Chen:AB测试的陷阱》

如果你的公司用 A/B 测试得到了多种方案,你们在脑子里把这些 A/B 测试的结果加起来,然后得到了很好的结果——一切都很美好。将最终实际增长的用户数量与测试结果进行比较,结果却很少能匹配得上。

这一点在靠近漏斗顶部的 test 里看上去会更明显,例如,新用户的登陆页面的点击量大幅增加,或者是用户打开「欢迎回来」邮件的比例大幅增加——你会看到,从模型的顶部开始,用户在转化漏斗模型里并不会均匀流失,相反,每个步骤减少的都是其中的低意图用户。

对用户增长的启示

首先,要真正了解到底是什么正阻止了你的高意图用户。他们是想要穿过漏斗模型每一步的人,但是出于某些原因,最终最终无法实现。对于 Uber 来说,导致这个结果的原因是支付方式、应用程序质量(特别是 Android 的!),找回密码的程序,等等。如果用户不能方便地支付,或者无法找回账户,即使他们现在每天都在使用这个应用,之后一旦出现另一个让他不那么痛苦的,他很可能转向另一个应用了。

此外,你可以集中精力进行实验。在转化漏斗的偏下方,你可以清楚地获得真正的净增量。这时,低意图的人已经离开了,你可以更接近模型底部。看看这里你交易流程中的步骤——对于电子商务网站来说,它可能是查看购物车然后添加送货地址;对于 SaaS 产品来说,可能是申请开发票。想想那些需要高意图才能到达的使用情景,例如,遇到付费失败,或者信用/磁盘空间/资源/等等用完了。所有这些步骤都可以进行优化,这样用户将会迅速抵达模型底部,完成交易。

A/B 测试避免踩雷!

因为「意图守恒定律」的存在,前面模型中某个步骤 A/B 测试的增长用户不一定能坚持到最后,不同步骤 A/B 测试得到的增加更不能简单相加。

《硅谷增长专家Andrew Chen:AB测试的陷阱》

首先,要保证你的转化漏斗反映了真实的产品情况。当谈到你的转化漏斗时,是的,你绝对可以头脑风暴,然后每一步想出不止一个方案,带来一系列 10% 的增长。但你需要在电子表格中添加折扣因子来贴近现实情况,不能只是添加你的所有结果。(越靠近顶部,折扣越大,越靠近底部,折扣越小。)

其次,要注意带来增长的指标。如果你在的是一家大公司,公司里另一个团队发布了测试结果,一定要确认你们在实际针对的的最终指标上已经达成了一致——无论它是收益,深度用户数量还是其他项,并且一定要对其进行反复确认。同样,我们有必要对供应商和第三方提供的案例研究结果保持怀疑。这些研究结果通常会告诉你,通过 X 将会增加你的收益,因为 X 导致广告转化率(或者其他)有增长。这种类型的案例研究,经常会在会议上看到,但是实际上会误导人——因为供应商挑选出的往往是能最支持其结论的案例,还有对其受影响最大的指标!要对他们持怀疑态度,千万不要被愚弄。

你们中的许多人,已经在工作中直接体验过「意图守恒定律」,对你们而言,以后就可以用「意图守恒定律」这个名字来向其他人解释你遇到的情况了。

这一现象实际上反映了,心理学和数据驱动怎样结合起来,共同导致产品增长的。你不能只在电子表格中查看这些内容,然后假设一个地方的增长会自动进入模型的其余部分。

文:光涧/光涧实验室(lightstream0)

首席增长官CGO荐读:

更多精彩,关注:增长黑客(GrowthHK.cn)

增长黑客(Growth Hacker)是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度,梳理整合产品发展的因素,实现低成本甚至零成本带来的有效增长…

点赞

发表评论