首页  >  产品运营  >  通过A/B测试,如何判断一个需求可以做?

通过A/B测试,如何判断一个需求可以做?

▍如何判断一个需求可以做?

毕竟现在都求要快速出产品,快速迭代,产品定位确定方法。

答:产品方向要依靠过去的A/B测试的经验教训。对一个新需求,如果试验过类似的功能或者改版,试验结果比较积极,那就值得去投入开发和试验。如果过去做过类似的试验,效果不好,那就谨慎投入。

《通过A/B测试,如何判断一个需求可以做?》

比如Facebook曾经做过一款改版,UI变成以图片为中心,结果试验结果显示营收下滑10个多点。所以现在Facebook就不会再盲目的尝试以图片为中心。

如果从来没有做过类似试验的A/B测试,新需求开发当然是根据咱们自己对自己用户的需求强度来排期。

多多积累经验是必不可少的,多做风险可控的试验。

▍A/B测试是万能的吗?

答:A/B测试不是万能的。首先A/B测试是用来判断新想法和现有产品哪个更好的。换句话说,现有产品已经满足了用户的某种需求。然后我们用AB测试的方法,去尝试新的改进或者新的功能。

如果一个全新的产品推出上市,A/B测试就帮不了你。比如说,一个社交产品,要完全改成一个游戏,那么A/B测试就完全用不上。

另外,A/B测试注重的是产品决策的验证和分析,而不是产生决策。比如说如果你想试验一个抽奖的功能,那么这个抽奖的功能,并不是来自A/B测试,而是你自己对用户需求的理解。

《通过A/B测试,如何判断一个需求可以做?》

如果你从来不用A/B测试,那么A/B测试最适合的场景就是你下一次产品改版,或者上新功能的时候。以前产品改版或者增加新功能,不做试验就上线了,可能实际上你让你的用户活跃或者转下降了5%,但你并没有发现。现在你可以在上线之前用AB测试方法试验一下,看一看用户数据会有什么变化,只有那些使你获得增长的变化你才上线,你就可以实现产品的持续优化迭代,不断改进。

尝试这样的思路,就会发现A/B测试能干什么以及不干什么。

▍针对同一用户群推送不同活动,同一活动推送不同人群,哪一种更有意义?

问题是关于A/B test 在H5活动链接的测试,一家活动运营的saas工具,商家一站试创建奖品和活动,在不同渠道推广。

答:H5营销,特别是在微信或者其他渠道分发的h5页面,是活动运营的一个很常用的手段。我们都很重视h5营销页面的转化率。我们会利用很多手段来优化用户转化,比如针对不同用户群推送不同活动。但是我们不确定这些方法是否有效。

最好的方法是,首先确定h5页面的主要内容和主要框架,然后制作页面,可以采用不同的设计版式和设计思路。把页面先推给所有用户,然后对不同的设计用A/B测试的方法对比验证哪个更好,将最好的设计方案推送给所有用户。

 

然后以这一版页面为基础,做进一步的优化,包括给不同人群展示不同的内容和创意。不同人群,比较有效的分类方法是根据用户需求进行分类,比如说,来自于什么搜索词。比如网络金融产品,对于搜索风险低 的用户,和搜索 回报高 的用户,我们可以用定向试验的方法,给他们展示不同的h5页面。

类似的例子还有,对于女性消费者,我们尽量展示折扣。对于男性消费者,我们尽量展示到底多少钱。

当然,这样的个性化展示策略,还是要对比咱们原来那个不个性化的基准页面,A/B测试看哪个更好,然后只有更好的策略才上线。

▍一款app在做灰度发布时,可能会针对性的给一小批种子用户发送下载链接,或者到小的应用市场去发布,但目前对灰度发布的理解并不是很全面,请问具体的灰度发布需要怎么操作及注意哪些问题呢?

答:App在发布之前,可能会针对性的给一小批种子用户发送下载链接,或者到小的应用市场去发布。用小流量发布的方式来检验新版会不会有问题。这个就是灰度发布的思想,只发布给一小部分用户。

灰度发布是非常必要的产品上线流程。如果一个新的改版有bug,不经灰度直接发布给所有用户,那是产品经理的噩梦

然后,如果用A/B测试的方法来做灰度发布,会更加有帮助。

首先,A/B测试选取的小流量是具有全用户代表性的流量,这个很重要。如果你只用chrome浏览器用户做灰度,那么ie里的bug就可能漏掉。

其次,A/B测试不仅可以检查出来功能上产品上的问题,还能发现用户体验问题,比如B版用户的下单率大幅度下降了,就说明B版的产品设计层面有问题。

最后,A/B测试支持流量的实时调整,可以把成功的B版发布流量从1%一键增加到10%,还可以一键发布到全体用户。更重要的是,可以一键关闭有问题的试验版本,不用经过应用商店审核,及时止损。

灰度发布可以对产品有很多很多好处,非常重要。

 ▍产品上线时间紧张,A/B test时段却需要相当长的时间来验证时,在初步优化上应该怎么做?

答:先尝试对转化和留存最重要的产品环节,比如广告着陆页面,新用户注册流程,购买付费流程,核心功能的触点设计,等等。这些地方试验优化一下,用全流量50%做试验,很快就能看到效果。因为试验流量大,试验结果的置信区间收敛很快。

一般试验周期要有7天,覆盖周末和周中的用户行为。确实时间比较长。

不过当你熟练做大流量试验之后,可以同步并行的做一些大胆的小流量试验,比如对1%的用户把字体放大一号,或者2%的试验把背景色换掉,看看会发生什么。

正常情况下,我们需要大流量试验来验证大型新功能,比如新推荐算法,新学习模型,新聊天功能。然后我们可以同时用流量分层的方法做很多很多小试验,比如改UI改文案,看看有什么改变能带来用户转化的提升。同时跑10个以上的试验很正常,这种并行决策实际上大幅度提高了产品优化效率,而不会延缓迭代。

▍论坛帖子类的app,怎么做算法使内容丰富且刷新后重复概率小?

答:这个问题太专业,其实不够资格回答这个问题。

不过我可以说说外行的看法。

要让新帖子更多,就需要多做用户运营和内容运营。

产品上,鼓励用户多生产内容,比如新发帖子有奖励,长回复可以很方便的生成独立帖子,以及打通微博等内容平台,方便用户在其他平台发内容的时候在我们的平台同步发。

《通过A/B测试,如何判断一个需求可以做?》

虎扑论坛

排序算法可以把用户没有看过的帖子排在前面,帖子新鲜度高的排在前面。还有,用户看过的帖子可以用淡颜色展示,让用户关注没有看过的内容。

当然,我说的所有这些方法都是错的,除非你实际用A/B测试跑试验证明了有这些方案的产品能有更好的用户数据。

在这方面美团大众点评很有经验,他们会在你下拉刷新的时候不断给你推新店。

▍怎么定义电商平台的第一核心指标?

答:我个人的感觉,GMV《通过A/B测试,如何判断一个需求可以做?》

新兴租衣电商平台

▍对于创业型公司,怎么说服老板重视A/B测试,如何从0到1完成A/B测试?

答:如果老板本身就是产品的决策者,那就跟他说说人人网的案例。人人网的信息流页面借鉴了Facebook的一个试验版本的设计。不过这个设计在Facebook做的A/B测试里表现不佳,降低了10%以上的营收,降低了用户活跃度。人人网不做试验直接上线的裸奔方法,是在碰运气,不是在做企业。

顶级的PM也只能跑赢一半的A/B测试,现实中超过20%的试验都是对公司业务起反作用的……这个风险不值得冒。

像Uber, Airbnb, Wish这些新一代的企业,都是从第一天开始就做A/B测试来做产品迭代优化的,所以他们才会不断提升高速发展。

如果老板让你全权负责产品,那就先斩后奏,先跑一两个简单的试验,把试验结果给老板看。相信她很快就能明白你为公司的良苦用心。

▍什么情况下需要或者适合做A/B测试?

答:其实当产品到一定规模的时候,任何改版都应该首先经过AB测试小流量验证。

如果从来没有用过AB测试,那可以先尝试从一个小改动开始,熟悉AB测试的实施流程。

然后就像我们前面说的那样,在关键环节的修改上做实验。

特别是后端算法变更,更是必须经过AB测试。我们有个客户通过AB测试迭代后端的商品推荐算法,发现一个经典算法可以提升推荐商品购买率5%。

 

如果没有经过AB测试,可能后端大牛的贡献就被埋没了。

关键环节熟练之后,我们可以并行的去尝试更多的地方的修改。

最终形成一套以AB测试为核心环节的上线流程。

需求评审 – 建立试验方案 – 新功能开发 – 灰度发布 – 小流量A/B测试 – 发布成功的功能,关闭失败的。

▍在本来用户量就不多的情况下,A/B测试时的样本量如何取舍?

答:如果用户量小,就50% 50%对比试验。分层试验可以大幅度增加并行试验数量。

换句话说就是做大流量试验。

特别提一句,如果可以采样的用户数量不到1000,那么基本AB测试结果就没用了,会得到非常”宽“的置信区间。

比如[-500%,+700%]这样的试验结果。

▍平台类的系统,一开始开发时总会有些需求没有考虑到,后续有一些需求需要改变基础架构。涉及基础架构的模块优化,若成本相当,此时优化还是填坑?

答:架构是具有决定性影响的技术决策。如果架构不好用了,那么只能一边修修补补硬撑业务,一边重构等待测试和迁移。

如果架构和需求不对路,基本上就没法长久。比如Yahoo使用人工维护搜索词的索引…

架构的迁移如果可能,也可以利用灰度发布来做,把前端流量分一小部分到新后端系统上,看看数据。如果数据有问题,赶紧回去改。

▍在公司的网站框架已搭好的情况下,网站优化应该基于原有框架还是用户体验?

答:这两者好像并不矛盾,都非常重要啊。

基于已有的框架,小步快跑,迅速迭代,这个很有必要。同时每次迭代的时候,做试验就是为了看能不能提升用户体验。

这个问题可能是说现有的框架有局限性,没法支撑用户的体验需求。那么和上一个问题一样,我的经验是必须迁移到更好的新框架。

我们吆喝科技的AppAdhoc官网以及用户后台已经迁移好几次了。现在的框架已经经过多次迭代。

▍互联网产品应该如何将自己的产品数据 融入到大数据背景下,得到更多有价值的挖掘信息呢?

答:恩,这是一个很深刻的问题,好宏观。

在产品的发展方向上,可以多多的积极的借鉴行业数据报告来指导我们改进的思路。集思广益,多做AB测试实验。

产品产生的数据和其他数据源的数据融合,一般需要一些打通,比如基于用户id等。

(接上个问题)大家应该请教Domo的高手,就知道怎么做数据融合

▍社区服务类的020产品,有没有什么好的功能或内容,让业主们钟爱的?主要是国内外,有没有运营的好的案例?

答:一般来说,高频的内容需求是非常适合O2O产品的额外功能的,比如家庭空气质量、家人居住舒适度、补订牛奶酸补订椰奶

对于低频的需求,很可能主要流量是来自于搜索。

那么更具搜索关键词做一些产品入口的优化,引导消费者留意到产里附加的高频功能,一定很有用。Airbnb就会提醒你工作一周好辛苦,周末天气好,要不要出去玩。这种思路非常不错。放松是高频需求,旅游是低频需求,但是两者可以互相导流的。

▍产品设计上有哪些可以间接引导用户搜索出自己想要的结果?比如电商,有时候用户也不能很清晰的明白自己想买的是什么,推送的数据如何计算?

答:可以放一个”点击此处有惊喜“之类的功能,引导用户去探索自己的需求。

在搜索栏那里给用户推荐一些搜索关键词。

根据经验,在一个类似百度糯米的App结构里面,搜索的销量占到30%以上。几个大圆圈分类占到30%。广告占到30%。还有推荐算法推荐的内容,可以占到1%到10%。

推荐算法好的话,是可以占到10%的,这就需要有巧思。不仅是”和你类似的用户喜欢买什么“,还有“你买的东西别人如果买了还会买什么”,以及考虑“你附近的人都喜欢买什么”,等等。

在时间维度,空间维度,话题维度,等等,都可以找到可以推荐的内容。

▍做众包的产品,人人快递,请问在产品上可以如何优化用户发单的转化?

答:免费促销。

当然,这是在说运营以及市场。

在产品层面,我们可以沿着这个思路去尝试。

比如说定价策略,可以把价格订的高一些,然后着重强调优惠,折扣,等等。

对于特别理性的用户,可以做产品内的“促销”,比如派单有积分,连续派单有奖励。

还有上面提到的从用户的其他高频需求入手:提醒该给女朋友送玫瑰花了。

另外,找一找你的magic number,看看什么特征的用户派单比较多,然后针对这个发力。

知乎发现一个回答了3个以上问题的用户,会比其他用户活跃度高100%以上。

所以知乎会邀请新注册用户回答3个问题。

▍ab测试 切用户和切服务器的依从什么样的需求?

答:尽量从用户端,也就是客户端来做流量分割。这是因为后端流量分割更容易得出不准确的结果。

举例来说,后端做了一个新功能,让某个用户来试验体验这个功能。后端指令发出去了,但是前端版本升级或者操作系统出了问题,可能用户就没有真的进入这个试验。

那样试验结果统计就有问题。特别是某些浏览器或者某些手机型号,真的不太容易保证渲染正确。

适合做后端分流的试验一般是推荐算法,排序算法之类的纯粹逻辑。

UI,用户交互,促销,推送,新功能,都适合在前端做分流测试。

▍当产品日活量在50万的时候这个时候应该是拉新还是留旧?

答:这个当然要听老板的。

如果你就是老板,那么我建议你专注在留存和转化的优化上。

已经被无数个优秀的产品证明过,用户粘性是最重要的。

拉新是可以在留存超过竞品很多之后再做的事情。

▍在产品的运营过程终中,会对某些模块进行一些探索性的运营测试,如果产品框架搭不好,就导致每次测试都需要迭代产品。对于产品框架的搭建,有什么好的建议?

答:推荐使用AppAdhoc的模块化开发方法。

定义和使用试验变量来控制新功能的模块,保证可以用一个变量作为模块的开关,随时在线打开或者关闭某个模块。另外,模块开发过程中,可以用变量来让模块更加容易测试。

随时测试模块里的参数是3好还是4好,按钮位置是左边好还是右边好,文案是“立即升级”好还是”至尊会员“好等等。

具体的在开发方法,在我们官网的文档里有详细的介绍。

这套模块化开发方法,和Google内部几乎一模一样,有非常高的参考价值。

▍A/B 测试中变量如何控制?

比如说样本大小,测试周期等等。

答:试验的周期一般是7天,覆盖周末和周中的用户行为。

对于复杂一些的测试,可以跑2周甚至1个月。

样本大小,有一个很巧妙的办法,就是看试验结果的置信区间的收敛速度,如果置信区间达到[3%,5%]已经可以决策了,就可以停止试验了。

关于试验的设计,实施,和各种经验,我们可以线下详细讨论。

▍前端 A/B 测试与后端 A/B 测试的区别?

答:这个刚才有个问题有涉及。后端测试就是在后端分流

当然,后端测试也可以在前端分流,然后分流之后的用户请求带上试验标签,后端可以根据标签进行不同的响应。

还是那句话,尽量多在前端分流。纯粹后端AB测试就只做纯逻辑改动的大流量试验。

▍如何更高效带产品团队?

答:这个我有一个非常靠谱的建议。

让PM们,特别是年轻的PM们,都脑洞打开的去做各种各样的小流量的AB测试。

让他们发挥自己的创意,小到改改文案改改颜色,大到一个新的小功能。

然后带他们一起开会,会上分享试验经验教训,分享实验报告,总结经验教训,互相提意见。

相信我,3个月后,你会拥有一支产品经理的特种部队

▍产品优化应该从哪里着手呢?

答:产品优化的着手在前面一个问题已经说过了,还是从关键环节入手,特别是流失率比较大的环节。

比如新用户注册,可以试试看大幅度简化,比如不要文案,就给出用户注册的必要填空框。

说不定AB测试能发现这个提高注册率

▍在Boss产品下,怎么提出自己的想法?

答:跟Boss说竞争对手做了新改动

向Boss提议做一个1%流量的试验,肯定比向Boss申请上线一个新功能要容易很多。

▍社交类的AB测试应注意一些什么?

答:有一个特别需要注意的是试验单位。

只有试验单位互相不怎么干扰的时候,实验结果才可信。

所谓”试验单位“之间”没有依赖性“

比如如果你是给男女朋友聊天用的工具,那一对couple就应该划为一个试验单位。

如果男朋友进入了一个试验,那就得保证女朋友也进入同样的试验。

两个人同时体验新功能。

否则,两个人行为互相充分干扰,男朋友看到这个功能,女朋友那里没有这个功能,这个试验就会出问题了。

其他的要注意的和别的行业也都差不多,就不多说了。

▍请问 to B的产品应该如何做 A/B 测试呢?

答:2B 和2C 没有什么不同,但是难点是流量很小,很难得出有统计意义的结论。

但是2B可以针对大客户的行为做针对性优化,比如仔细观察一个改版会怎么影响王思聪的下单率,肯定能产生效果。

▍流量特别少,如何做 A/B 测试,我想问下,多少用户开始做测试是有意义的,得出来的测试区间是比较科学的?

答:需要1000个样本的采样。用户数量不到1000就不行。

推荐日活1000以上就开始做试验。

▍不同语言国家地区的 A/B test都不同往往做7天以上还得不到充足的样本数量,这时候怎么办?推广想办法么?

答:哈哈,主要是中国太大,其他国家太小。所以还是中国企业幸福,可以充分利用AB测试

▍问一个比较细节的问题  app做ab测试呢 比如ios

答:iOS也可以集成我们AppAdhoc的SDK,就可以很方便的做 A/B 测试了

这个工具方面,已经非常完善和强大了。

Growth Hacker(增长黑客):增长黑客是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度,梳理整合产品发展的因素,实现低成本甚至零成本带来的有效增长…

点赞

发表评论