首页  >  首席增长官  >  复盘36氪增长过程,如何用A/B测试进行增长实验

复盘36氪增长过程,如何用A/B测试进行增长实验

一直听人说增长黑客概念很火,网上也流传着很多做用户增长的各种方法论和案例,但貌似很少有对一次增长实验的完整过程描述,今天就把我在36氪做增长的过程给大家做下复盘,分享下如何用A/B测试进行增长实验。

实验名称

为实验命个名。本次实验名称为:新用户首屏内容消费转化测试。也就是说,本次实验对象是“新用户”,目的是让新用户消费36氪App上的内容,而且是在首页的首屏就进行内容点击消费。

实验假设

描述实验假设条件和满足条件后的预估效果。假设这个实验成功,我们预测新用户首次消费内容转化率,能提升10%,因为:

  • 假设新用户首次启动App,发现没什么可看的,找不到自己感兴趣的内容,就会直接退出,不会消费内容。
  • 如果我们让新用户刚来时就给他呈现大家都在看的内容,或者行业热点内容,可能会引起新用户兴趣,预计会提升内容消费点击率。

实验设计

具体描述这个实验设计的过程。出于成本和预期效果考虑,36氪采用了Testin公司提供的A/B测试系统。在本次实验中,会将每天的新增用户(第一次安装并启动App的用户),等分成3组,每组分流33%,第1组看到对照组页面。第2组看到实验组1,第3组看到实验组2。分别比较每个实验组的点击转化数据。

对照组。该组看到的页面,就是36氪App7.4版本的首页首屏,没有任何变化。

实验组1。该组看到的页面,是把36氪App首页首屏增加了一个可点击区域,这个区域为用户呈现36氪上24小时的热门文章,叫“24小时热榜”。如下图所示:

《复盘36氪增长过程,如何用A/B测试进行增长实验》

点击这个区域,跳转到一个24小时热门文章列表页,用户可点击查看文章详情。

实验组2。该组看到的页面,是把36氪App首页首屏增加了一个可点击区域,这个区域为用户呈现36氪编辑精选的热门专题关键词,叫“热点聚焦”。如下图所示:

《复盘36氪增长过程,如何用A/B测试进行增长实验》

点击这个区域,跳转到一个专题聚合列表页,用户可点击查看这些专题的详情。

实验指标

定义实验观察的数据指标。本次实验定义指标为:每组新用户,从启动到消费内容的转化率百分比。

实验时间

本次实验时间为5.28-6.11,共2周。

实验打分

从预期影响、所需资源、成功概率分别给实验打分。预期影响为高,期望这个模块能比普通信息流模块更多提升点击转化率;所需资源为中,实验逻辑很简单,但搭建A/B测试框架还是花了一些技术成本;成功概率为高,预计成功率很高,因为已有虎嗅、极客公园、爱范儿开发过类似模块。总的综合打分为:高。

实验结果数据

本次实验观察数据有2个,1个是消费内容转化率,作为主要指标观察;1个是消费后的用户留存率,作为辅助指标观察。

内容转化率。3组用户的数据表现如下(怕数据敏感,对绝对值做了处理,见谅):

《复盘36氪增长过程,如何用A/B测试进行增长实验》

次日留存率。3组用户的数据表现如下:

实验结论分析

对实验结果数据做出简单分析,得出一定结论。具体如下:

两个实验,都能提升新用户点击转化率,从数据上看基本达到预期,提升了10%以上。

参与两个实验的用户,留存也有一定程度的提升,有进一步正面效果。

相对而言,热门文章比热点专题对新用户消费内容的转化效果好,推测用户更关注的还是36氪上的内容,而不是一些行业热点,也许也是因为这些新用户并不关心在36氪上看互联网热点事件,而是倾向于看36氪上大家都在看的热门内容。

后续计划

说清实验完成后的下一步计划。本次实验完成后,预计:

将实验组1:24小时热榜,应用到App下一版本的产品设计中 。

继续测试验证全量用户对该模块的消费转化提升效果。

以上就是此次实验的实施效果简单汇报总结,出于信息敏感的顾虑,有些数据不便在此分享的那么详细,但总体来说还是比较成功的,更重大的意义在于我们有完整实施过一次增长实验的经验,对后续再进行其他实验打下了基础。

文:申悦@互联网悦读笔记(pmboxs)

首席增长官文章荐读:

首席增长官的北极星指标:新用户激活
知识付费内容de三层模型:体系化,激发思想,实操上手
亚马逊创造1360亿美元销售额的增长黑客策略 | 增长官研究院

更多精彩,关注:增长黑客(GrowthHK.cn)

增长黑客(Growth Hacker)是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度,梳理整合产品发展的因素,实现低成本甚至零成本带来的有效增长…

点赞