之前简朴先容过用户增进（UG）焦点事情流：剖析数据→形成假设→实验验证，大致形貌了每一步在做些什么。现在用一个人人可能注重到过的案例，来实验逆推和重现相关的事情场景，争取讲清楚UG实验在做什么。

案例简介：在刷抖音时部门用户可能会留意到，完成2次播放后分享按钮变成了自己的密友头像，而部门用户依然是通例的分享图标。

对了，这就是一个简朴的UG实验。实验涉及到的环节是类似的，我们不妨拿这个例子来做代表，主要讲：

1. 为什么要做这个实验；
2. 实验的设计和下发；
3. 实验剖析；
4. 实验价值提炼。

案例重点讲每一步应该做什么，详细数值是杜撰的且并不主要，如有雷同纯属巧合。

图1实验组和对照组的用户界面

1 为什么要做这个实验

这个案例我只是借用，下面的表述主要从旁观角度去做逆推和重现。

1.1 首先关注计谋目的

抖音为什么要下发这个计谋？不难看出，直接目的是提升用户点击分享按钮的比例（分享率）。用最常分享的「密友头像」替换「分享按钮」是否能提升分享率，需要实验来验证。

1.2 提升分享率的目的是什么

曾经领会过一些履历：用户群的互动率（转评赞的用户占比）与其留存率很好的正相关。

从产物逻辑上很好明白：用户有互动，就会收到反馈，连续互动会发生粘性。设想你的微信密友很少，没有收到信息，你还会经常打开吗？假设你每次发朋友圈，没人点赞谈论，势必会大大削弱发圈的积极性。

以是，抖音这么做，更进一步的目的应该是提升用户留存，而留存和用户规模又高度相关，计谋的最终目的应该照样提升DAU、时长、收入这些规模数据。

这些都是前期剖析数据的要害产出，而「提升分享率能够提升DAU和时长」是一个假设，需要实验验证。

小结

这个实验虽小，然则它背后关联到最焦点的增进目的。实验效果的评估，我们也需要关注到这些「效果指标」，而不仅仅是分享按钮的点击率、分享完成率、分享的回流率等等「历程指标」。

2 实验的设计和下发

2.1 实验的设计

我们通常会使用随机对照实验，市面上人人基本上用AB实验来代指随机对照实验。通过对比实验组和对照组的指标差异，来验证下发差别计谋的两组间，是否发生了显著差异。随机对照实验最焦点的两个要点是「随机分组」和「单一变量」：随机分组，目的是保证实验组和对照组用户组成、特点一致，可以举行对比，确保差异来自计谋差异而非用户群差异；单一变量，目的是利便将实验效果的差异准确地归因到某个计谋差异上。

2.2 实验的下发

若何实现随机分组呢？

通常将用户ID（通常是在用户首次使用app时自动天生的一个字符串）经由一些随机算法（常用hash算法）的处置，理论上保证用户的特征与随机算法处置后的用户ID不存在依赖关系，最后依据处置后ID举行分组。即便如此，分组的充实随机，依然是一个行业难题，以是会通过实验前的空跑期或叫AA实验来确认差别组间在实验前是否无误差。

这个案例只关心到随机分组，假设我们随机从大盘活跃用户中取了一部门人群，再随机分为实验组和对照组，就可以最先实验了。

表1实验组和对照组的流量分配

现实事情中，往往会碰着流量少，而同时需要做的实验多，这就需要引入正交分层。分层的目的在于形成一系列互不滋扰的「平行宇宙」，便于在流量不足时，同时举行许多实验。然则，正交分层有适用条件，我们后面单独开一篇来讲正交分层有哪些要点和坑。

这个案例没这么庞大，只需要将实验组下发「分享按钮替换为朋友圈头像」的指令，而对照组下发「保持原状」的指令（注重：这对照组不是「不下发指令」，由于这样可能会涉及到SRM问题，同样，容我后面单独拿一篇来先容）。现实事情中，还会碰着多个实验变量，若是需要评估每一个变量的影响，就需要确保存在「仅有一个变量差异」的两个实验组。

3 实验剖析

3.1 看哪些指标

回归到实验目的，我们直接关注分享率的提升，进一步关注用户留存率的提升，最后想看到对用户DAU、时长等是否有提升。那我们需要关注的指标就有：

短视频营销的关键：数据赋能+多元化玩法

表2实验组和对照组的考察指标，数值均为杜撰

3.2 实验效果可信吗

判断实验效果是否可信，涉及到一个「显著性」的观点，即实验组和对照组的指标差异是不是能知足统计显著性。统计显著性，意味着我们看到的提升，并不是由于随机颠簸造成，而是计谋影响的。评估显著性，通常用表2中的P-value、统计功效等来说明，完善的实验平台，可以直接输出差异是否显著的结论。若是对显著性感兴趣，建议人人找一本统计学的书详细领会。

参照表2中的数据，基本上可以说明该计谋能够显著提升分享率、次留、DAU和时长。

3.3 选若干样本量合适

直观的熟悉：样本量足够大时，纵然很小的差异也可能是置信的；而样本量太小时，纵然比较大的差异，也可能是不置信的。只要分组充实的随机，样本量大更可能获得置信的效果，然则受限于各方面的成本考量，我们往往需要评估选择若干样本量。

这里就涉及到一个「最小样本量」的问题：通过对实验差异的预估，推算出每一组用最少用若干样本量才气确保实验效果差异是置信的，而不是随机的误差。相关的，还会涉及到一个「实验时长」的问题，简朴来说，实验时长=最小样本量/逐日流量。

3.4 想历久考察这个效果，应该怎么办

UI修改带来的点击提升，通常可能是新颖效应，以是我们的实验只管拉长至两个以上的用户活跃周期。好比某些用户是周末刷短视频，周中很少刷，使用频次的一个完整的活跃周期就是一周。新颖效应通常最多连续一个活跃周期，我们选择考察两个活跃周期，大概率能看到用户回归常态下的最终提升量。固然，若是有需要，我们也可以保持这两个实验组和对照组历久有用，看更恒久的影响。

4 实验价值提炼

实验完成后，我们通常可以收到许多效果，若是不做实时的复盘，这些数据的价值很可能只是冰山一角。这一部门，我跳出本篇的抖音案例来说。

4.1 实时复盘

实时复盘辅助我们尽早的知道计谋是否有用，甚至尽早反推实验是不是设计合理。

假设实验差异置信，这个计谋的整体效果对总体营业有价值吗？

通常用户量足够大时，很小的指标提升也是置信的，但现实上可能对增进目的辅助不大。我们需要横向来对比差别计谋，对统一指标的提升效果，决议哪一个更好。

假设实验差异不置信，增进计谋从下发到生效是一个「链条」，在哪个节点断掉了？为什么？实时复盘能够尽快明确是计谋没乐成下发，照样计谋无效果。

4.2 下钻剖析

许多时刻我们初看数据会获得实验差异不显著，效果提升不明显的效果。然则这不故障我们去做进一步的挖掘：哪些人群更有用、哪些人群没有用果，可通过实验下钻获得开端谜底，再针对有用人群设计新的实验去重复验证，针对无效人群做进一步的剖析，进一步调整计谋。

实验下钻依赖于我们对用户属性有开端的标签，在实验剖析时能够用户举行下钻，或者说筛选。需要强调：下钻后用户量少，不能保证置信度；另一方面这种“后验”的方式会存在分组不均的潜在风险，需要我们针对下钻效果重复去做实验，才气获得可靠的结论。

4.3 可以做哪些新的计谋迭代

通过漏斗剖析，我们可以看到计谋的断点，计谋是在哪一步最先失效的。通过产物优化（页面加载、按钮样式、指导样式、文案等等）、运营优化（调整计谋下发时机、频次；调整参数如金额、展现时长等等）。

这一部门是产物司理最为善于的，UG无非是强调基于准确结论来判断问题的要害，去高优先级推进最要害的迭代。

4.4 有没有哪些通用的价值提炼

一个实验竣事，我们能够获得的应该远超过实验指标提升。上升到对用户价值提升的视角，这些计谋之以是有用，是在哪些地方提升了用户价值，是新体验远超过了旧体验，照样极大降低了用户成本？这些认知是否有可能推广到相关领域、推广到类似场景？

这些我认为是UG更大的课题，也需要产物司理们更多的思索、总结和新的实验，这同时也是数据驱动的价值和兴趣~

总结

这个案例，麻雀虽小五脏俱全，需要关注的要点，最后再做一下梳理。

1. 计谋的目的是什么，需要看到哪些指标，若何评判
2. 实验设计时需要关注哪些地方，随机分组、最小样本量、单一变量这几个最为基础；正交分层、SRM问题等我们后续单独先容
3. 实验效果怎么剖析，若何挖掘价值，发生进一步的假设或迭代

文中难免错漏，辛劳指出！

后续会跟进「实验剖析三部曲」一点点先容种种主观/客观造成的剖析难点：

1. 增进实验中的增量剖析方式
2. 准确量化不容易-基础篇
3. 准确量化不容易-进阶篇