在前面的章节，总结了如何搭建增长团队，开展增长黑客的前提——如何找到产品的 “啊哈时刻”，以及如何找到增长的杠杆——北极星指标。接下来，我们需要了解如何在增长杠杆上做努力，开启增长之路。在第 4章节中，作者总结了增长的具体实践方法——试验。

      试验是什么？

        在互联网环境下，我们的 APP 服务端每天都在接收并处理大量的用户请求，这些用户请求为我们提供了大量的数据，且这些数据是源源不断的。在这样的模式下，当我们有一个好的 idea，想要验证其正向促进作用，可以通过线上灰度的方式，控制小流量来试验这个 idea。这样做的好处是不会产生全局的影响，减少当这个 idea 并非真的有效，甚至是带来负向效果的时候对我们业务的影响。当下大多数互联网公司都会采用这样的方式来验证自己的新 idea。我们可以做用户维度实验、订单维度实验、时间维度实验、某个地理区域维度的实验等等，实验的目标对象可能是一个页面的改动，可一种新的模式，一种新的算法策略，也可能是一种新的功能。在实验的过程中，我们往往会灰度一部分流量，将这部分流量计算出的统计指标与另一部分没有修改的流量的统计指标做对比。对于前者我们称之为 实验组，对于后者我们称之为 对照组，这种实验方式又叫做 A/B 实验。在对比实验得出结论后，我们再决定新的功能是否需要扩量、全量、或者取消。随后，我们会开启新一轮的实验，去验证一些新的想法，不断迭代完善我们的产品功能。

        一个好的实验需要注意在前期实验设计上去除其他干扰因素，保证实验合理性，在实验后期数据分析时应用假设检验理论，证实实验的结果是否极大概率的具有显著性差异，而不是因为抽样导致的差异显著。因此，需要我们具备统计学相关知识，严谨的判断我们的实验效果，而并非简单看一些基本统计指标就轻易的下结论，减少错误判断的可能。由于本书并不是探讨如何具体分析实验的，所以这里也就不过多扩展 A/B 实验分析的知识了。

        回到这本书，作者总结如何做试验，可概括为两点：节奏上缓慢起步、逐渐提速迭代，步骤上遵循「增长黑客循环」（也就是前面第一章节提到的类似 PDCA 环的四个步骤）。

      增长黑客循环

        1. 分析数据并收集洞察

            这一步需要我们深入分析初期用户数据以发现具有明显特征的用户群体，以及他们的行为和背后的原因，我们可以从以下几个问题入手。

            a）我们的最佳客户有哪些行为
                i. 他们使用了哪些功能？
                ii. 他们访问了App的哪几屏？
                iii.  他们打开App的频率如何？
                iv. 他们购买了哪些商品？
                v. 他们的平均订单金额是多少？
                vi. 他们在一天中的什么时间下单？通常在哪些日子下单？

            b）我们的最佳客户有哪些特征
                i. 他们是从什么渠道转化为我们的客户的？是广告、推广邮件还是其他渠道？
                ii. 他们使用什么设备？
                iii. 他们具有哪些人口学特征，如年龄、收入等？
                iv. 他们居住在哪些地区？
                v. 他们距离最近的本品牌商店或其他商店有多远？
                vi. 他们还使用其他哪些类似的App

            c）导致用户弃用 App 的原因
                i.  哪些屏的退出率最高？
                ii. App存在哪些阻碍用户采取某一行动的程序错误？
                iii. 消费用户的行为中有哪些是弃用用户没有的？
                iv. 他们从开始到弃用App的过程是怎样的？在弃用之前他们在App中花费了多少时间？

        2. 形成试验想法

            这一部分有点类似 “三个臭皮匠，顶个诸葛亮”，或者说 “多多益善”。“点子”是增长的催化剂。我们需要一系列的增长点子以形成稳定的增长动力。形成一个好想法的最佳办法是提出很多想法，能够不加限制地提出想法对于增长黑客过程尤为关键（这并不意味着要不加限制地测试这些想法，测试应当是经过严格的优先级排定的）。

            还记得前面章节提到的「跨职能合作和信息共享是增长黑客法的关键原则」吗？在形成实验想法阶段，我们鼓励不同职业提出不同的想法，例如：用户体验设计师可能会建议对某个屏的显示进行一些修改；营销人员可能会提议测试鼓励用户首次下单的不同方法；工程师则可能会提出优化产品性能和速度的一些想法。当然他们的想法也可以不仅限于自己的领域，这些想法可能成为增长黑客的关键手段。

            增长负责人应当建立一个项目管理系统 —— 想法池，用于协调想法的提交和管理以及测试结果的跟踪和报告。每个提出想法的人都可以录入自己的想法，以及查看大家的想法来学习和催生更多的想法。每个想法需要包含：想法名称、想法描述、假设、待测指标、个人评分这些元素，来标准化想法的内容，保证其质量。

        3. 排定试验优先级

            当我们拥有了一个想法池，想法池中也积累了一些想法，接下来我们要实现所有的想法吗？当然不需要，我们需要挑出价值大的想法优先执行。既然需要明确价值，那么就需要量化打分。作者在书中要求：在一个想法提交到团队讨论之前，必须要给它打分。打分能够帮助团队在不同的想法之间进行比较，以确定在什么时间开展哪一项试验。分数应该由提交想法的人给出，在评分之后这一想法才能进入储备库。当然评分体系并非万无一失，测试结果也经常与预期不符。但是一个评分体系对于选择执行哪个试验来说尤为重要，我们可以在后期不断的优化评分体系，也可以增强 idea 提出者自身的打分能力。

            那么评分体系怎么搭建呢？作者列出了三种评分体系：

            a. ICE 评分体系
                - impact（影响力）是指某个想法对于促进团队关注的指标的预期提升程度；
                - confidence（信心）衡量的是想法提出者对于想法产生预期影响的信心；
                - ease（简易性）性衡量的是进行一项试验所需投入的时间和资源；

            b. TIR 体系
                - time（时间）
                - impact（影响力）
                - resources（资源）

            c. PIE 体系
                - potential（潜力）
                - importance（重要性）
                - ease（简易性）

            整合三种评分体系提到的因素，包含：impact，importance，potential，confidence，ease，resources，time。其中，importance 和 potential 难以评价，往往基于个人的 confidence，time 也是一种 resource，同时资源获得的难易以及用量是简易性的一个关键因素。因此，impact、confidence、easy （也就是 ICE 评分体系）是三个大方向指标，具体到每一项，可以考虑更细的评价因子。

            依赖评分，我们就可以对当下执行哪个实验想法做决策力。

        4. 运行试验

            在选择了我们需要执行的试验后，我们需要执行 A/B 实验，实验评估，以及实验总结来让实验发挥其真正的作用。在实验评估部分，我们会应用到假设检验来确定置信水平，做显著性评估，得到准确性更强的结论。最后，我们需要生成一份好的实验报告，总结这次实验的一切关键内容，明确我们的工作内容、影响结果、成功或失败的原因、优化的方向、以及实验得出的结论。具体包括：试验名称和描述、试验类型、受影响的特征、关键指标、试验时间点、试验假设与结果、潜在干扰因素、结论。

            这里推荐两本书：《数据驱动设计：A/B测试提升用户体验》、《A/B测试：创新始于试验》，后面有时间可以整理一下这两本书的读书笔记。

        至此，「增长黑客」方法部分全部介绍完了，包括前提、方向和行动。那么在工作中我们应该如何应用它呢？在实际工作中，产品周期往往包括很多个阶段。例如用户的 AARRR 模型中，每个阶段都有其自己的关注点。我们需要知道如何将「增长黑客」理论应用在这些阶段。后面将会总结作者如何在获客、激活、留存、变现这几个方面实践「增长黑客理论」。