1. 增长黑客 Growth Hacker首页
  2. 首席增长官

被低估的A/B测试

今天聊聊A/B测试,关于它的渊源、价值与前沿。

A/B测试可以理解为对照试验,一般针对产品想改进的某个功能或策略,提供两种或多种不同的备选方案,通过测试用户对不同方案的反馈,寻找最优的产品决策。

被低估的A/B测试
奥巴马08年大选时,对4个不同竞选页方案进行了A/B测试,通过数据选出的了右侧优胜版本,这个页面版本为奥巴马队额外获得了300万的支持者,增加了5700万美元的捐款额。

01  源起

20年前,谷歌进行过一次实验,想了解页面展示多少条搜索结果最受读者喜欢。那次实验由于搜索结果加载速度问题没能成功,但却有着划时代意义,它是互联网行业的第一次A/B测试。

在那以后,亚马逊、谷歌、eBay等一众先行者将这种方法应用在产品迭代、内容优化、UI调整、算法检测等各方面,每年有数以万计的实验开启。

国内对A/B测试的应用大概始于10多年前,那时BAT就有支持各自业务的规模性并行A/B测试,但说到把A/B测试根植在基因中的公司,绕不开字节跳动。

2012年成立之初,当还是今日头条的时候,字节跳动就在内部使用A/B测试,之后这个工具逐渐升级、进化,成为大型的测试平台。

字节曾对外透露,每次发布APP,都会起多个名字,放到各大应用市场去做A/B测试,“今日头条”、“抖音”的名字都由此而来。成立9年间,字节总共开了70多万次实验,从增长策略制定,到产品 Feature 迭代,以极高的决策成功率,狂奔到了如今的位置。

2018年字节的A/B测试开始服务少数外部的种子客户,2020年通过火山引擎正式对外商业化。

02  价值

对一家企业而言,拥有A/B测试的能力到底有多重要?

关于字节内部的A/B测试工具,坊间有着它比 Google Analysics 更好用的评价。外界也有很多声音,说增长团队和A/B测试工具是字节的制胜关键。但我更倾向于认为,工具本身只是显性呈现,背后的本质是科学增长的方法论。

A/B测试,可以被应用在产品的每一个拉新、转化、激活、留存的微小细节,也可以被放置于公司的方案、方向、战略、决策的重大抉择。A/B实验的本质,是能以较小的风险对决策进行评估,并且可以排除其他因素的干扰,寻得定量的结果。经过大量的实验铺陈,企业就能用更小的试错风险,寻得更优的决策。

这些年,我见过很多一夜爆红又一夜死亡的产品,拥有健康增长曲线的公司寥寥无几。对前者而言,成功或许归结于运气与风口,而对后者而言,成功却是一种必然,是在上万次的迭代决策中,都选择了那个“更好一点”的方案的必然。

可以说,企业的竞争力与实施A/B测试的能力密切相关。

03 演进方向

这几年,我在持续关注着A/B测试的产品演进。市面上顶尖的A/B测试产品,提供的是让业务变得精确、简易、高效的能力。而智能化能力与简易化能力,是未来产品演进的重要方向。

  • 智能化方向

在剑桥的 <Trustworthy Online Controlled Experiments> 中,将实验平台按成熟度分成了 Crawl, Walk, Run, Fly 四个层次,第四阶的 Fly ,指的是AB测试的自动化乃至智能化阶段。进入这个阶段的实验平台,能够低成本和低人力投入地大量并行A/B测试。

目前少数前沿A/B测试产品具有的动态流量调优能力,是这个方向较有代表性的特性。该能力可以让实验者同时提交多种策略(例如多种推送文案、多个落地页面样式),在实验开启后,由A/B测试工具智能动态扩量优胜版本,无需人工干预,流量自动向“有可能成为最优的策略”倾斜,并根据实时的指标变化,动态更新流量配置。

  • 简易化方向

在新产品层出不穷的今天,内卷竞争弥漫在各行业赛道,倒逼企业转型向精细和高效管理。在精细操作阶段,A/B测试是绕不开的驱动器。曾经需要专业的产品团队、专业的数据分析团队才能完成的A/B测试,会向人人可用、适配全行业的方向发展。

一个比较代表性的产品方向是可视化实验配置能力。这是一个让配置A/B实验趋近零门槛的功能,用户可通过直接拖拽的方式,改变页面布局及各种前端元素,以所见即所得的操作,完成实验对照组和实验组的配置。没有产品基础和数据基础的人同样可以DIY实验,不再需要前后端研发的介入。

另一个我关注的产品能力,是优化的灰度发布和回滚能力。通常产品在新功能发布前,会有“灰度发布 (Feature Flag)”流程,这个流程的目的是采取小流量测试的方式,验证新功能是否稳定。

如果灰度上线后结果不理想,需要协同产研将功能回滚,以做进一步优化。

目前,前沿的A/B测试产品提供了“开关”形式,可直接管理产品内功能的开启/关闭,运营可直接操作,还可以针对目标人群进行定向发布,进行精细化运营。这个功能可以让产品 Feature 迭代高效数倍。

04  结语

近些年围绕增长的概念很多,从战略的第二曲线、品牌的错位竞争,到产品的三级火箭、渠道的裂变营销;另一层面,技术发展也为增长带来了可量化依赖的工具,譬如画像洞察,譬如AB测试

“增长”已不再是互联网专属的摩登词语,而成为了各行业发展的必修课程。而在凭借经验、才智、理论指引决策之外,数据工具的重要性也将到达前所未有的高度。这个方面,我也会保持时刻的观察,间歇和大家交流。

—— 如果觉得文章还OK,请转发 ——

特别提示:关注本专栏,别错过行业干货!

PS:本司承接 小红书 / 淘宝逛逛 / 抖音 / 百度系 / 知乎 / 微博/大众点评 等 全网各平台推广;

咨询微信:139 1053 2512 (同电话)

首席增长官CGO荐读:

更多精彩,关注:增长黑客(GrowthHK.cn)

增长黑客(Growth Hacker)是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度,梳理整合产品发展的因素,实现低成本甚至零成本带来的有效增长…

本文经授权发布,不代表增长黑客 Growth Hacker立场,如若转载,请注明出处:https://www.growthhk.cn/cgo/40104.html

发表评论

登录后才能评论

联系我们

139-1053-2512

在线咨询:点击这里给我发消息

邮件:kuko1028@163.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code