只要是在可拆卸场景中，就有「坑」身影。本文从「辛普森悖论」从业务中的实际表现场景入手，分析业务中可能踩坑的地方，一起来看看。

今天分享一个分析师的老朋友——「辛普森悖论」，只要是在可拆卸场景中，就有「坑」因此，它也成为数据分析面试的常客。本文主要关注其在业务中的实际表现场景，需要分析学生以保持警惕「坑」，小则忽略改进机会，大则结论直接错误。

1.什么是辛普森悖论？

既然叫「悖论」，首先，这一定是不正常的。让我们介绍一个简单的案例：

(案例盲编，如果有相似之处，纯粹是巧合)假设一个产品的用户留存率比去年同期有所提高，安卓和IOS都有所提高。市场的留存率一定会提高吗？

经过多年的应试教育锤炼，我们看到了「一定」两个字会觉得一定有玄机。

是的，你没想错，即使我们穷举各个维度，各个维度趋势一致，也未必能反映市场的特点。

为什么？因为我们只关注「比值」而没关心「绝对值」。

让我们展开数据，看看实际的量级：

这个问题能反映出来吗？

虽然双端保留率有所提高，但整体保留率大幅下降。主要原因是iOS用户大量流失，只留下核心用户；Android下个月保留率较低，但用户数量较大，降低了整体保留率。

这是著名的辛普森悖论，用学术语言解释：

「在计算分项的比例（如各种比率）数据时，A方的每个分项数据都高于B方，但当总结每个分项计算总数时，A方低于B方。这种不符合常规认知的“悖论”现象在数据分析领域并不少见；这种“悖论”现象，在小组研究中，有时在每个小组比较中占主导地位，有时在总体评价中被称为辛普森悖论。」

接下来，我们来看看业务中有哪些可能踩坑的地方。

场景一：只注意比例指标，不注意绝对值的变化

在工作场景中，这样的表达是否似曾相识：

「我们活跃用户的支付率从3%提高到5%，说明支付流程的修订效果很好，大大提高了用户的支付率。」「最近我们APP的内容播放率提高了，亲子播放率提高了30%，历史播放率提高了10%。因此，亲子内容带来了APP内容播放率的提高。」

乍一看，似乎没有问题，但实际上经不起推敲。

面对场景1，也许我们根据重度用户和轻度用户拆卸，我们会发现双方的支付率没有明显变化。这种支付率的提高是由于近期重度用户在日常生活中所占比例的增加。支付率的提高是由于支付过程的修订，这似乎有点不对劲。

在后续的分析过程中，我们的重点需要调整为「为什么重度用户在日常生活中的比例增加？」。也许是因为轻用户转化为重用户，好事，不用太担心。也可能是轻用户逐渐流失，只留下一些重用户，所以我们必须进一步分析「为什么轻度用户逐渐流失？」。

数据分析就是这样剥茧的过程。

对于场景2，也和场景一样。忽略量级直接聊天的比例是流氓。假设有10个亲子内容，现在有13个，历史类1000个，现在有1100个。你还能自信地说，内容播放率的提高是由亲子内容播放率的提高引起的吗？

类似地，当一个渠道今天只有100名新注册用户时，明天1000名新注册用户将增长10倍。一个新注册的渠道有1万人，即使只增加10%，也能带来同样的增量。

场景二:拆解不够，缺乏关键维度

简单来说，如果我们不做拆解或者拆解不够，只关注整体表现，就会忽略「被平均」有些人或忽略了其他关键维度对数据的影响。数据分析的艺术有时是从各个维度分解的艺术，忽略了关键维度，错过了改进的机会，大错误的结论。

例如，当我们发现材料的投资回报率较低时，我们决定直接停止。但现实世界往往非常复杂，也许这种材料在中国不好，在美国，在美国，在南美。在高收入人群中，在低收入人群中可能会再次发挥作用。

这里引用一个头条面试题进一步解释一下:

投放潜在客户时，30岁以上客户1000人，转化率2%，30岁以下3000人，转化率4%，整体转化率3.5%。因此，分析师得出结论，30岁以上客户价值低，不建议再投放。这个结论合理吗？

我们有几个角度来驳斥这个结论。

首先，没有其他重要维度，可能是样本选择不平衡。首先，30岁以下选择3万人，30岁以上选择1万人。30岁以下用户和30岁以上用户的人口特征是否一致？

假设我们30岁以上的人选择低收入人群，30岁以下的人选择高收入人群，这将不可避免地对结论产生影响。因此，除了30岁以下/30岁以上的拆分外，我们还可以根据人群收入进行拆分。

第二，为了衡量交付效果，我们不仅要关注转化率，还要关注用户生命周期的整体LTV。假设大多数30岁以下的人购买9.9批量产品，30岁以上的人购买999利润产品，你还能说30岁以上的用户毫无价值吗？

场景三:AB实验时测试效果很好，实际上是上线后翻车

辛普森悖论也可以为一些商业现象提供一些合理的解释。「AB实验测试效果好，在线效果一般」原因有很多，比如「新奇效应」或者「显著统计并不意味着业务显著」，但是「辛普森悖论」也是导致翻车的种子选手之一。

例如，虽然我们在AB实验中随机转移用户，我也承认转移足够准确，但测试往往遵循版本迭代，可能是第一个进入AB实验，经常更新用户本身是这个更热衷于应用程序，更活跃的用户。最后，我们根据实验结果发布版本，这可能对一些活动不那么高的用户产生负面影响。

即使在极端情况下，实验版的新用户流程也可能存在bug，但由于新用户在市场中所占比例相对较低，如果我们只看市场数据，我们可能不会注意到实验对新用户体验有不良影响。

因此，在分析过程中，我们不仅要关注主要指标，还要关注重要维度拆除的关键指标。例如，我已经知道用户（如新用户和老用户）在一定维度下的指标性能是不同的，很难确保每组用户在实验层面下的比例完全均匀。除了总指标外，还需要进一步拆卸和分析该指标。例如，支付率不仅取决于整体支付率，还取决于新用户支付率和老用户支付率。

此外，进行足够详细的数据分析也可以使我们更好地最大化实验价值。例如，实验表明，虽然整体支付率只有0.1%，但并不明显。然而，对于特定群体来说，明显的改善可以使30岁以上女性的支付率提高30%，因此该实验仍然具有在线价值。

Reference：

奇奇和蒂蒂关于辛普森悖论的深入分析

森谷蘑菇数据分析-工作中遇到的“辛普森悖论”

了解大厂数据分析面试题「辛普森悖论」，有趣的数据分析

谈论AB测试中常见的辛普森悖论，王叶

本文由 @Ver 每个人都是产品经理，未经许可不得转载原件

题图来自 Unsplash，基于 CC0 协议

本文仅代表作者本人，每个人都是产品经理平台，只提供信息存储空间服务。