增长黑客：快节奏实验流程｜一丁

增长黑客的其实暗含了一个核心假设，那就是：

寻求试验成功是一个以量取胜的游戏，开展的试验越多，学习到的东西也越多。

快节奏的试验流程，简单来说，就是收集洞察，形成实验想法，排定实验优先级，运行实验，再回到分析阶段审视实验结果并决定下一步行动。

以下对每个环节进行拆解：

第一阶段，分析洞察

分析洞察主要有以下几个来源：

1. 企业内部：目前发展到什么阶段，北极星指标是什么，如何达成目标。
2. 用户：最佳客户有哪些行为、启用APP的原因有哪些，有怎样的核心诉求。
3. 数据分析，比如上一次增长实验的结果。
4. 竞争对手，别人在做什么，是否值得跟进，当然了，不要被竞争对手牵着鼻子走，多观察，但也要有自己的判断。

第二阶段，提出方案

增长负责人应当建立一个项目管理系统，用于想法的提交和管理以及测试结果的跟踪和报告，同时这也是企业知识的储备库。

团队成员提出方案的时候不应该仅仅提出质疑，而是应该清楚地说明具体的改进方案，以及衡量效果的指标。

第三阶段，排定优先级

对收集到的方案进行优先级排定。方案提交到团队讨论之前，必须要给他打分，打分额能够帮助团队在不同的想法之间进行比较，以确定什么时候开展哪一项实验。

增长黑客介绍了ICE评分体系，impact（影响力），confidence（信心）和ease（简易性）

1. 影响力：影响力是指某个想法对于促进团队关注的指标的预期提升程度。
2. 信心：这个标准的衡量是想法提出者对于想法产生的预期影响的信心。
3. 简易性：简易性衡量的是进行一项实验所需投入的时间和精力。

当然，分数只能是一种参考，因为我们对自己想法的预期并不总是很准确。

有时候，也需要靠直觉，而直觉来自于对业务的洞察和长期实验的结果。

第四阶段，测试

测试过程中重点关注以下4个方面

1、投放量

做增长实验，首先需要确定测试人群的规模，也就是投放量。

投放量少了，都会担心观测指标受偶然因素影响，失去统计意义；投放量过多，又会担心测试风险过大，对业务影响过大。

比如，在统计学中，有一种两样本比例假设验证，可以计算最小样本量，限于篇幅，在此不做展开。

2、投放人群

在AB Test中，投放人群=流量，选择投放人群有两种形式：

随机：随机从大盘中抽样，如userid单双尾号抽取、随机种子打乱数据再抽样等。

定向：针对特定用户群体下发策略，例如结合用户标签或自定义规则筛选用户。

以上两种形式均要保证策略AB下两组用户相似，比如为了保证随机性，有时候会先做一个AAtest，确保分组的合理性，才能进行ABtest。

3、配置实验策略

在企业真实环境中，会有很多ABtest实验，不可能说每个流量群体在同一时刻只开展一个实验，如果这么做了，就容易发生流量饥饿，影响实验的节奏。

在确定实验策略之前，先必须判断实验之间的关系。

(1)正交实验：实验之间相互不影响，比如实验一是验证按钮的颜色，而实验二是验证广告的内容，由于颜色不会影响广告算法，所以属于正交实验。

(2)互斥实验：实验之间相互影响，比如实验一是验证广告展示效果，实验二是验证广告内容，这两种实验就是互斥的。

简单来说，正交实验可以通过分层的方式，同一组用户群体同时进行多个正交实验，而互斥实验，则需要通过将流量分出多个buckets，分配给不同的策略进行实验。

4、评估数据结果

最后要评估数据结果，也就是需要验证对照组和测试组是否具有显著差异。这就需要用到假设验证，统计学中常见的假设检验包括T检验、Z检验、F检验、卡方检验等。

测试完成后，就是重新回到第一阶段，进行分析和学习。

注意两个细节

第一， 分析结果应当写进实验总结中，存在知识库中，确保相同类型的实验不会重复做。

第二， 实验无论成功或者失败，都要总结和回顾，当然，实验成功要会宣传，为自己争取资源。

以上是此次分享的关于快节奏实验的全部内容，欢迎探讨。