目标受众分析，访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5636d7d7c749.html
📄
目标受众分析，访客被分配到不同版本时怎样识别样本污染
先给结论：识别样本污染的关键不是看总流量涨跌，而是检查“分流是否真的随机、各版本样本是否可比”。如果两个版本的访客来源、设备、地域或回访比例明显不同，那么版本间任何差异都不能直接归因于版本本身。此时应先修复分流或改用同源对照，再谈受众判断。
假设情境：一次定向改版后的异常差异
假设你运营一个内容站，为验证“新导航是否更适合移动端读者”，把访客随机分到A、B两个版本。上线三天后，B版本的移动端停留时长明显更高。你准备把B版本推广到全站。但在下结论前，你发现B版本中有相当比例的访客来自站内推荐位，而A版本主要来自外部搜索。这个差异就是样本污染的典型信号：两组人本来就不是同一类受众。
此时“推广B版本”和“先修分流再测”是两个都合理的选项，选择取决于污染是否可控。如果污染来自可修复的分配逻辑，先修再测；如果污染来自无法改变的渠道结构，则只能改用分层对照，而不是直接比较整体均值。
先查分流机制，而不是先看结果指标
样本污染最常见的来源是分配环节。你需要确认三件事：分配是否在访客首次进入时完成、同一访客是否始终进入同一版本、分配比例是否与设定一致。常用做法是给每位访客写入一个稳定的分组标识，并在后续请求中读取它。例如，用 cookie 或本地存储保存分组：
group = hash(visitor_id) % 2
如果每次请求都重新随机，同一访客可能在不同页面看到不同版本，样本就被切碎了。动作上，先抽取一批访客标识，检查其分组是否稳定。结果若是同一标识反复横跳，那么后续所有对比都不可信，必须先修正分配逻辑。
再看两组样本的构成是否可比
分流正确不代表样本干净。渠道、设备、地域、登录状态、新老访客比例，任何一项在两组间分布失衡，都会污染结论。你可以按维度拆开看：如果B版本移动端占比高，而移动端本身停留更长，那么整体差异可能只是设备结构造成的。
判断方法是把指标按维度分层后再比较。若分层后版本差异消失，说明污染主要来自结构失衡；若分层后差异仍在，才更可能是版本本身的影响。这一步的动作是列出两到三个关键维度，分别计算各层内的版本差异。结果会直接决定下一步：是调整分流，还是接受分层结论。
用同源对照替代整体均值
当渠道结构无法改变时，整体均值对比没有意义，但同源对照仍然可用。做法是只在同一渠道、同一设备类型内比较两个版本。例如只比较“外部搜索进入的移动端新访客”，这部分人群来源一致，版本差异更容易解释。
代价是样本量会变小，结论的适用范围也变窄。你得到的是“在该渠道该设备下B版本表现更好”，而不是“B版本对全站更好”。这个取舍必须写清楚，否则推广时会高估效果。
证据链要能排除其他解释
第三方估算流量、搜索引擎报告和站内统计口径不同，不能混用后直接相减。要识别污染，应建立可核查的证据链：分流日志、分组标识稳定性、各维度样本分布、分层后的指标对比。缺少其中任何一环，都可能把结构差异误判为版本效果。
如果发现某项统计归零或骤降，也不要立刻认定是版本问题。抓取限制、渠道波动、埋点故障、节假日效应都能产生类似现象。先确认数据采集本身是否正常，再回到分流和样本构成上排查。
决策顺序与适用条件
- 先验证分组是否稳定；不稳定则停止对比，修复分配。
- 分组稳定后，检查渠道、设备、地域、新老访客分布是否失衡。
- 失衡且可修复，修复后重新积累样本；失衡且不可修复，改用同源分层对照。
- 分层后差异消失，说明原差异主要来自样本结构，不应归因于版本。
- 分层后差异仍在，且证据链完整，才可考虑小范围推广并继续观察。
这套顺序的适用条件是：你确实在做版本对比，且能获取访客级分组与来源数据。如果只能看到聚合报表，无法还原样本构成，那么任何版本结论都只能作为线索，不能作为推广依据。先补上可核查的数据，再谈目标受众判断。
