1. 增长黑客 Growth Hacker首页
  2. CGO圈子

樱木:AB测试,这么做,靠谱|路人甲的朋友们

大家好,我是「路人甲乙丙」星球的首席服务官樱木。

今天这篇文章来源于我们的付费星球「路人甲乙丙」,这是一篇来自甲哥在星球中的分享,大家尽情享用。

刚好有球友提到,那咱们就来说说:数据量和误差的问题,这也是做数据分析时候经常会遇到的问题。

数据分析得到的结论不一定是靠谱的,具体体现在什么地方呢?

比如我们想知道 A 功能和 B 功能好不好,对用户的留存有没有用,所以我们让两拨用户来使用 A 功能和 B 功能。

如果这两拨用户分别只有 1 个人,使用 A 功能的这个人第二天回来了,使用B功能的这个人第二天没回来,所以一个留存是 100%,一个留存是 0%。

那么如果我们光从数据上看,得到的结论就是:

A 功能的留存是 B 功能的一倍。

跳出数据看,大家肯定能发现,这个是有问题的。

就两个用户,有可能这个用户今天刚好忙没用产品,恰好 A 用户因为某个事情用了,这个随机性太大了。

那么这个时候,如果两拨用户分别是 10 个人,得出的结果是使用了 A 功能的人第二天有 5 个人回来了,使用了 B 功能的人第二天有 8 个人回来了。

这样使用 A 功能的用户的留存率是 50%,使用 B 功能的用户的留存率是 80% 那么这样,我们可以说,使用B功能的留存率提高了 (80% – 50%) / 50% = 50%,这样的结论对吗?

不全对。

这个原因就是用户量还是太小了。

那么,到底多大量级的数据得出来的结论才是靠谱的呢?

这就涉及到一些统计学知识了,这个知识我在这里就不详细说了,我直接告诉大家一个工具,以及怎么用。

现在领导给了我们一个任务,需要我们去提升用户留存率,提升 10% 绝对值,那么目前我们的用户留存率是 50% 左右,也就是我们需要提升到 60%。

我们想出了一些优化的功能点,需要进行一次 AB 测试,那么上面肯定会问了,那你需要多少的用户量来进行测试呢?

我们可以看下面图片的计算结果,我们需要每个组 190 个用户量,这样能够保证我们的结论有 95% 的可信度,在统计学上 95% 的可信度的结论就基本是可靠的了。

也就是说如果我们现在 AB测试的两个组,每个组不少于 190 人,最后经过测试得到的结论一个组是 50%,另一个组是 60%,我们就可以说我们的留存率提升了 10% 绝对值了。

樱木:AB测试,这么做,靠谱|路人甲的朋友们

如果AB测试的时候,人数是少于 190 人的,即使你得到了增长 10% 的结论,这个结论很可能也是不靠谱的。

那么如果,咱们预计留存只能提升1%绝对值,那么我们需要多少量级呢?同样的方法,计算得出需要41000的用户数。

樱木:AB测试,这么做,靠谱|路人甲的朋友们

对应的计算网址放在底部的阅读原文中了。

—— 如果觉得文章还OK,请转发 ——

特别提示:关注本专栏,别错过行业干货!

PS:本司承接 小红书 / 淘宝逛逛 / 抖音 / 百度系 / 知乎 / 微博/大众点评 等 全网各平台推广;

咨询微信:139 1053 2512 (同电话)

首席增长官CGO荐读:

更多精彩,关注:增长黑客(GrowthHK.cn)

增长黑客(Growth Hacker)是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度,梳理整合产品发展的因素,实现低成本甚至零成本带来的有效增长…

本文经授权发布,不代表增长黑客 Growth Hacker立场,如若转载,请注明出处:https://www.growthhk.cn/quan/43673.html

发表评论

登录后才能评论

联系我们

139-1053-2512

在线咨询:点击这里给我发消息

邮件:kuko1028@163.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code