当“显著”是在一条被选中的处理路径上报告的多宇宙分析提醒了什么最近在做 EEG 自动预处理和质量控制的过程中遇到一个很难绕开的问题。我们拿到一份原始脑电数据以后通常会经过滤波、坏导识别、伪迹去除、ICA、重参考和分段等步骤最后再去计算EEG指标。当一套预处理流程顺利跑完我们往往会把最后得到的功率谱、功能连接或微状态参数等指标理解为这份数据本身的特征。但严格来说这些结果并不只由原始数据决定它们同时受到滤波、坏导识别、伪迹处理、参考方式和分段规则等一系列选择的影响。换句话说我们看到的不是数据自动给出的唯一答案而是在一套特定处理路径下得到的答案。这些步骤中的很多选择都没有唯一答案不同做法可能都有相应的文献依据也都可以给出一定的方法学理由。我们应该能注意到当研究结果最终呈现在论文中时前面这些选择通常已经看不见了。读者最后看到的是一个整理好的数据集、一套确定的统计模型和一个明确的 p 值于是很容易把“在这一套处理规则下得到的结果”理解成“这批原始数据唯一能够支持的结果”。但如果换一种同样可以被辩护的分组方式、排除标准或者变量编码方法结论也随之发生变化那么我们面对的就不只是参数设置上的小差别而是一个更根本的问题统计结论究竟在多大程度上反映了研究对象在多大程度上又依赖于研究者选择的数据处理路径顺着这个问题2016 年Sara Steegen、Francis Tuerlinckx、Andrew Gelman 和 Wolf Vanpaemel 在Perspectives on Psychological Science发表了《Increasing Transparency Through a Multiverse Analysis》。这篇论文所讨论的核心问题正是原始数据进入统计分析之前发生的事情。作者指出用于分析的数据通常并不是被动地摆在研究者面前而是在原始观测转化为可分析形式的过程中被主动构建出来的。变量如何分类、数据怎样转换、哪些个案被排除不同选择的组合会形成不同的数据集这些数据集又可能产生不同的统计结果。因此数据处理中的任意性会继续传递到最后的统计结论中。这里所说的“任意”并不一定意味着研究者在随便处理数据。更常见的情况是两种方法看起来都说得通却没有足够强的理论或测量依据证明其中一种明显优于另一种。例如把一个连续变量切分为高组和低组时分界点可以怎样确定面对一个意思不够明确的问卷选项时应该把它归到哪一组排除异常个案时应该采用哪一种阈值。这些都可能是合理的研究决策但只要缺乏决定性的理由不同选择就会形成不同的分析分支。论文最后只报告其中一个分支时其余可能的结果便被隐藏了。一个显著结果是怎样出现的为了说明这个问题Steegen 等人重新分析了 Durante、Rae 和 Griskevicius 在 2013 年发表的两项研究。原研究考察的是女性生育力与宗教性、政治态度之间的关系并进一步分析这种关系是否会受到恋爱关系状态的影响。研究 1 包含 275 名女性研究 2 包含 502 名女性参与者报告了月经周期相关信息、关系状态以及宗教性或政治态度等指标。图 1.研究 1 的 120 个数据集多宇宙和研究 2 的 210 个数据集多宇宙中生育力 × 关系状态交互作用对宗教性的p值直方图面板 A 和 B研究 2 的 210 个数据集多宇宙中该交互作用对财政政治态度和社会政治态度的p值直方图面板 C 和 D以及研究 2 的 210 个数据集多宇宙中该交互作用对投票偏好和捐款偏好的p值直方图面板 E 和 F。虚线表示p .05。原研究需要先把这些原始回答整理成适合统计分析的数据集。例如研究者按照周期日把参与者划分为高生育力组和低生育力组把关系状态划分为单身和处于稳定关系两组再根据既定规则计算宗教性和政治态度得分。按照这套处理方法研究 1 和研究 2 都在宗教性上得到了显著的“生育力 × 关系状态”交互作用研究 2 在社会政治态度、投票偏好和捐款偏好上也报告了显著结果。单独看这些分析结论似乎相当明确。问题在于这套数据处理方法并不是唯一合理的做法。比如原研究把周期日 7—14 天定义为高生育力17—25 天定义为低生育力但相关研究中还使用过另外几种划分范围。下次月经开始日期可以根据前两次月经间隔推算也可以使用参与者报告的典型周期长度研究 2 还可以直接使用参与者对下次月经日期的估计。关系状态中有一个选项是“正在约会或仅与一名伴侣交往”它既可以被理解为单身约会也可以被理解为已经处于一段关系中研究者还可以选择直接排除这一类含义模糊的回答。除此之外是否根据周期长度排除参与者、是否排除对月经日期记忆不确定的参与者也都有不同的合理方案。Steegen 等人把这些选择组合起来在排除逻辑上彼此不兼容的组合后研究 1 得到 120 个数据集研究 2 得到 210 个数据集。这里的每一个数据集都来自同一批原始观测只是数据构建过程中采用的规则不同。作者随后在每个数据集上重复原研究使用的统计分析由此得到的不再是一个 p 值而是一整个统计结果的“多宇宙”。结果差异非常明显。以研究 1 的宗教性结果为例在原研究选定的处理路径下交互作用的 p 值为 0.012达到了传统的显著性标准。但是在 120 条合理处理路径中只有 7 条仍然得到显著交互其余 94% 的 p 值都位于 0.05 到 1.0 之间。研究 2 的财政政治态度也出现了类似情况210 条路径中只有 8% 得到显著结果。对于研究 2 的宗教性、社会政治态度、投票偏好和捐款偏好大约有四成到六成的处理路径显著剩余路径则不显著。这组结果最值得关注的地方不是哪一个 p 值最小也不是显著路径究竟超过了多少比例。它说明的是同一个研究问题、同一批原始数据在采用不同但可以被辩护的数据处理规则后可能得到明显不同的统计结论。对于研究 1 的宗教性如果研究者刚好选择了原论文使用的那条路径就会得到一个显著结果如果选择其他大多数同样合理的路径则不会得到这个结果。原来的显著发现因此很难被理解为一个不依赖处理方法的稳定结论。多宇宙分析究竟在回答什么看到这里很容易把多宇宙分析理解成一种“把所有方法都跑一遍然后统计多少次显著”的技术。但这并不是作者真正想表达的内容。显著路径的比例不是效应存在概率也不能作为一种新的证据强度评分。不同处理路径都来自同一批原始数据彼此之间并不独立而且某些路径可能比其他路径具有更充分的理论依据。因此多宇宙分析并不通过投票来判断一个效应是真是假它所提供的是一张结果敏感性地图结论在哪些选择下保持稳定在哪些选择下发生改变又是哪一个数据处理环节对结果的影响最大。例如在研究 2 的部分结果中关系状态的编码方式对结论影响很大。把那个含义模糊的回答选项归入单身组、关系组或者直接排除会明显改变部分统计结果。生育力的划分方式同样是结果波动的重要来源而周期长度和日期确定性的排除标准在部分分析中的影响相对较小。只有把不同选择和相应结果一一对应起来研究者才可能知道问题究竟出在哪里。论文也因此强调多宇宙分析的两个目标一是展示结果究竟有多稳健或多脆弱二是识别结论最依赖的那些关键选择。如果某一种处理方式确实有明显更强的理论或测量依据那么研究者当然可以优先相信由这条路径得到的结果。但如果几种方案都能被辩护又没有足够的信息判断哪一种更好就不能假装这些分支不存在。此时更诚实的结论可能是现有数据还不足以支持一个稳定判断研究中仍然存在较大的科学不确定性。对于研究 1 的宗教性结果Steegen 等人的态度就相当明确这个效应对数据处理选择过于敏感因此太脆弱不能被严肃对待。多宇宙分析也不是为了从大量路径中找出一条最容易显著的路线。如果研究者运行了 120 条路径最后只挑出其中 7 条显著结果进行报告那么问题反而会更加严重。它也不是针对选择性报告或 p-hacking 的正式检验不能根据多宇宙结果反推出原作者是否故意挑选了分析方法。作者把它定位为一种提高透明度的做法它让读者看到研究结论对数据准备决策的敏感程度但不会自动产生一个可以概括全部证据的最终分数。这件事放到 EEG 研究中会更加直观这篇论文使用的是问卷和生育力研究数据并没有专门讨论脑电预处理。但它提出的数据构建问题在 EEG 研究中同样存在而且可能更加复杂。一份连续记录的 EEG 信号在进入组间统计之前需要经过许多处理环节滤波范围怎样设置坏导使用什么标准识别伪迹片段如何剔除是否采用 ASRICA 成分根据人工判断还是自动分类删除使用哪一种参考方式数据分成多长的片段最终又如何计算 PSD、功能连接或复杂度指标。这些选择有些可以通过明确的研究目标加以限定有些则确实存在多种常见方案。比如静息态 EEG 可以使用 0.5—40 Hz 或 1—45 Hz 的滤波范围ICA 自动分类可以采用不同阈值有效数据长度和分段长度也可能按照不同标准确定。如果这些处理选择改变了最终的功率谱、功能连接或者微状态结果那么论文中报告的组间差异就不能脱离所采用的处理路径来理解。更准确的表达应当是在当前这套预处理和指标计算规则下我们观察到了某种差异至于这个差异能否推广到其他同样合理的流程还需要进一步检验。这也让我重新理解了自动化预处理的意义。把一套 EEG 流程写成程序可以减少人工操作提高批量处理效率也能确保所有被试按照相同规则进行处理但程序并不会自动证明这套规则是唯一正确的。自动化首先解决的是执行的一致性而多宇宙分析关注的是结论对规则变化的敏感性。一个流程能够每次稳定地运行只能说明它在工程上具有可重复性如果稍微改变一个仍然合理的阈值下游结论就完全不同那么它在方法学上的稳定性仍然需要讨论。当然这并不意味着每一项 EEG 研究都要把所有软件、所有参数和所有统计模型全部排列组合。多宇宙中的候选路径必须具有合理依据逻辑上不相容的组合需要排除明显不符合信号特点或研究目标的方法也没有纳入的必要。论文所展示的主要是数据处理层面的多宇宙作者同时指出统计方法、协变量、误差分布和模型设定中的选择还会形成另一个“模型多宇宙”。如果把脑电预处理、特征计算、统计建模和机器学习超参数全部展开组合数量会迅速增加因此实际研究中更需要明确问题边界并优先考察那些最可能影响结论的关键决策。比“多跑几条路径”更重要的事情论文中还有一个很重要、但容易被忽略的观点就是研究者最终应当设法“缩小多宇宙”。多宇宙很大往往说明某个构念的定义、理论依据或测量方法还不够精确。在这篇论文的案例中关系状态之所以产生多个处理分支是因为问卷中的一个选项同时包含“正在约会”和“仅与一名伴侣交往”两种可能含义。如果最初把问题设计得更清楚这个分支就不会出现。生育力的评估方式之所以对结果影响很大也说明仅依靠周期日进行代理性分组存在较强的不确定性需要更准确的测量方式和更完整的理论支持。因此多宇宙分析的价值并不止于把很多结果画在一张图中。它还可以帮助研究者发现哪些不确定性来自数据处理习惯哪些来自测量工具本身哪些又来自理论没有明确说明变量应当怎样定义。下一步真正需要改进的可能不是继续寻找一个更容易得到显著结果的参数而是重新设计测量、提高数据质量或者发展能够排除部分处理方案的理论依据。预注册同样无法单独解决这个问题。预注册可以在研究结果出现之前固定分析方案减少研究者根据结果临时更换方法的空间这一点非常重要。但如果预注册下来的方案本身只是多种合理选项中的一个它仍然不能告诉我们结论在其他合理方案下是否稳定。换句话说预注册处理的是选择在什么时候作出多宇宙分析考察的是其他合理选择会不会改变结果。两者解决的是不同层面的问题。过去我们看到一个显著结果时最常问的问题可能是样本量是否足够、统计方法是否正确、p 值是否小于 0.05。多宇宙分析提醒我们在这些问题之前还应该继续往前追问用于统计分析的这个数据集究竟是怎样形成的在数据构建过程中是否还存在其他合理选择如果换一条同样可以被解释的处理路径效应方向、大小和统计结论是否仍然能够保持同一批原始数据不一定只对应一个可以被分析的数据集一个研究问题也不一定只对应一条合理的分析路线。真正可靠的结论应当能够说明自己依赖哪些条件也应当允许读者看到当这些条件改变时结果会发生什么变化。多宇宙分析最重要的提醒可能就在这里当研究中确实存在多条合理路径时只报告其中一条并不会让其他路径消失只会让它们从读者面前消失。论文信息Steegen, S., Tuerlinckx, F., Gelman, A., Vanpaemel, W. (2016).Increasing Transparency Through a Multiverse Analysis.Perspectives on Psychological Science, 11(5), 702–712. DOI: 10.1177/1745691616658637
当“显著”是在一条被选中的处理路径上报告的多宇宙分析提醒了什么最近在做 EEG 自动预处理和质量控制的过程中遇到一个很难绕开的问题。我们拿到一份原始脑电数据以后通常会经过滤波、坏导识别、伪迹去除、ICA、重参考和分段等步骤最后再去计算EEG指标。当一套预处理流程顺利跑完我们往往会把最后得到的功率谱、功能连接或微状态参数等指标理解为这份数据本身的特征。但严格来说这些结果并不只由原始数据决定它们同时受到滤波、坏导识别、伪迹处理、参考方式和分段规则等一系列选择的影响。换句话说我们看到的不是数据自动给出的唯一答案而是在一套特定处理路径下得到的答案。这些步骤中的很多选择都没有唯一答案不同做法可能都有相应的文献依据也都可以给出一定的方法学理由。我们应该能注意到当研究结果最终呈现在论文中时前面这些选择通常已经看不见了。读者最后看到的是一个整理好的数据集、一套确定的统计模型和一个明确的 p 值于是很容易把“在这一套处理规则下得到的结果”理解成“这批原始数据唯一能够支持的结果”。但如果换一种同样可以被辩护的分组方式、排除标准或者变量编码方法结论也随之发生变化那么我们面对的就不只是参数设置上的小差别而是一个更根本的问题统计结论究竟在多大程度上反映了研究对象在多大程度上又依赖于研究者选择的数据处理路径顺着这个问题2016 年Sara Steegen、Francis Tuerlinckx、Andrew Gelman 和 Wolf Vanpaemel 在Perspectives on Psychological Science发表了《Increasing Transparency Through a Multiverse Analysis》。这篇论文所讨论的核心问题正是原始数据进入统计分析之前发生的事情。作者指出用于分析的数据通常并不是被动地摆在研究者面前而是在原始观测转化为可分析形式的过程中被主动构建出来的。变量如何分类、数据怎样转换、哪些个案被排除不同选择的组合会形成不同的数据集这些数据集又可能产生不同的统计结果。因此数据处理中的任意性会继续传递到最后的统计结论中。这里所说的“任意”并不一定意味着研究者在随便处理数据。更常见的情况是两种方法看起来都说得通却没有足够强的理论或测量依据证明其中一种明显优于另一种。例如把一个连续变量切分为高组和低组时分界点可以怎样确定面对一个意思不够明确的问卷选项时应该把它归到哪一组排除异常个案时应该采用哪一种阈值。这些都可能是合理的研究决策但只要缺乏决定性的理由不同选择就会形成不同的分析分支。论文最后只报告其中一个分支时其余可能的结果便被隐藏了。一个显著结果是怎样出现的为了说明这个问题Steegen 等人重新分析了 Durante、Rae 和 Griskevicius 在 2013 年发表的两项研究。原研究考察的是女性生育力与宗教性、政治态度之间的关系并进一步分析这种关系是否会受到恋爱关系状态的影响。研究 1 包含 275 名女性研究 2 包含 502 名女性参与者报告了月经周期相关信息、关系状态以及宗教性或政治态度等指标。图 1.研究 1 的 120 个数据集多宇宙和研究 2 的 210 个数据集多宇宙中生育力 × 关系状态交互作用对宗教性的p值直方图面板 A 和 B研究 2 的 210 个数据集多宇宙中该交互作用对财政政治态度和社会政治态度的p值直方图面板 C 和 D以及研究 2 的 210 个数据集多宇宙中该交互作用对投票偏好和捐款偏好的p值直方图面板 E 和 F。虚线表示p .05。原研究需要先把这些原始回答整理成适合统计分析的数据集。例如研究者按照周期日把参与者划分为高生育力组和低生育力组把关系状态划分为单身和处于稳定关系两组再根据既定规则计算宗教性和政治态度得分。按照这套处理方法研究 1 和研究 2 都在宗教性上得到了显著的“生育力 × 关系状态”交互作用研究 2 在社会政治态度、投票偏好和捐款偏好上也报告了显著结果。单独看这些分析结论似乎相当明确。问题在于这套数据处理方法并不是唯一合理的做法。比如原研究把周期日 7—14 天定义为高生育力17—25 天定义为低生育力但相关研究中还使用过另外几种划分范围。下次月经开始日期可以根据前两次月经间隔推算也可以使用参与者报告的典型周期长度研究 2 还可以直接使用参与者对下次月经日期的估计。关系状态中有一个选项是“正在约会或仅与一名伴侣交往”它既可以被理解为单身约会也可以被理解为已经处于一段关系中研究者还可以选择直接排除这一类含义模糊的回答。除此之外是否根据周期长度排除参与者、是否排除对月经日期记忆不确定的参与者也都有不同的合理方案。Steegen 等人把这些选择组合起来在排除逻辑上彼此不兼容的组合后研究 1 得到 120 个数据集研究 2 得到 210 个数据集。这里的每一个数据集都来自同一批原始观测只是数据构建过程中采用的规则不同。作者随后在每个数据集上重复原研究使用的统计分析由此得到的不再是一个 p 值而是一整个统计结果的“多宇宙”。结果差异非常明显。以研究 1 的宗教性结果为例在原研究选定的处理路径下交互作用的 p 值为 0.012达到了传统的显著性标准。但是在 120 条合理处理路径中只有 7 条仍然得到显著交互其余 94% 的 p 值都位于 0.05 到 1.0 之间。研究 2 的财政政治态度也出现了类似情况210 条路径中只有 8% 得到显著结果。对于研究 2 的宗教性、社会政治态度、投票偏好和捐款偏好大约有四成到六成的处理路径显著剩余路径则不显著。这组结果最值得关注的地方不是哪一个 p 值最小也不是显著路径究竟超过了多少比例。它说明的是同一个研究问题、同一批原始数据在采用不同但可以被辩护的数据处理规则后可能得到明显不同的统计结论。对于研究 1 的宗教性如果研究者刚好选择了原论文使用的那条路径就会得到一个显著结果如果选择其他大多数同样合理的路径则不会得到这个结果。原来的显著发现因此很难被理解为一个不依赖处理方法的稳定结论。多宇宙分析究竟在回答什么看到这里很容易把多宇宙分析理解成一种“把所有方法都跑一遍然后统计多少次显著”的技术。但这并不是作者真正想表达的内容。显著路径的比例不是效应存在概率也不能作为一种新的证据强度评分。不同处理路径都来自同一批原始数据彼此之间并不独立而且某些路径可能比其他路径具有更充分的理论依据。因此多宇宙分析并不通过投票来判断一个效应是真是假它所提供的是一张结果敏感性地图结论在哪些选择下保持稳定在哪些选择下发生改变又是哪一个数据处理环节对结果的影响最大。例如在研究 2 的部分结果中关系状态的编码方式对结论影响很大。把那个含义模糊的回答选项归入单身组、关系组或者直接排除会明显改变部分统计结果。生育力的划分方式同样是结果波动的重要来源而周期长度和日期确定性的排除标准在部分分析中的影响相对较小。只有把不同选择和相应结果一一对应起来研究者才可能知道问题究竟出在哪里。论文也因此强调多宇宙分析的两个目标一是展示结果究竟有多稳健或多脆弱二是识别结论最依赖的那些关键选择。如果某一种处理方式确实有明显更强的理论或测量依据那么研究者当然可以优先相信由这条路径得到的结果。但如果几种方案都能被辩护又没有足够的信息判断哪一种更好就不能假装这些分支不存在。此时更诚实的结论可能是现有数据还不足以支持一个稳定判断研究中仍然存在较大的科学不确定性。对于研究 1 的宗教性结果Steegen 等人的态度就相当明确这个效应对数据处理选择过于敏感因此太脆弱不能被严肃对待。多宇宙分析也不是为了从大量路径中找出一条最容易显著的路线。如果研究者运行了 120 条路径最后只挑出其中 7 条显著结果进行报告那么问题反而会更加严重。它也不是针对选择性报告或 p-hacking 的正式检验不能根据多宇宙结果反推出原作者是否故意挑选了分析方法。作者把它定位为一种提高透明度的做法它让读者看到研究结论对数据准备决策的敏感程度但不会自动产生一个可以概括全部证据的最终分数。这件事放到 EEG 研究中会更加直观这篇论文使用的是问卷和生育力研究数据并没有专门讨论脑电预处理。但它提出的数据构建问题在 EEG 研究中同样存在而且可能更加复杂。一份连续记录的 EEG 信号在进入组间统计之前需要经过许多处理环节滤波范围怎样设置坏导使用什么标准识别伪迹片段如何剔除是否采用 ASRICA 成分根据人工判断还是自动分类删除使用哪一种参考方式数据分成多长的片段最终又如何计算 PSD、功能连接或复杂度指标。这些选择有些可以通过明确的研究目标加以限定有些则确实存在多种常见方案。比如静息态 EEG 可以使用 0.5—40 Hz 或 1—45 Hz 的滤波范围ICA 自动分类可以采用不同阈值有效数据长度和分段长度也可能按照不同标准确定。如果这些处理选择改变了最终的功率谱、功能连接或者微状态结果那么论文中报告的组间差异就不能脱离所采用的处理路径来理解。更准确的表达应当是在当前这套预处理和指标计算规则下我们观察到了某种差异至于这个差异能否推广到其他同样合理的流程还需要进一步检验。这也让我重新理解了自动化预处理的意义。把一套 EEG 流程写成程序可以减少人工操作提高批量处理效率也能确保所有被试按照相同规则进行处理但程序并不会自动证明这套规则是唯一正确的。自动化首先解决的是执行的一致性而多宇宙分析关注的是结论对规则变化的敏感性。一个流程能够每次稳定地运行只能说明它在工程上具有可重复性如果稍微改变一个仍然合理的阈值下游结论就完全不同那么它在方法学上的稳定性仍然需要讨论。当然这并不意味着每一项 EEG 研究都要把所有软件、所有参数和所有统计模型全部排列组合。多宇宙中的候选路径必须具有合理依据逻辑上不相容的组合需要排除明显不符合信号特点或研究目标的方法也没有纳入的必要。论文所展示的主要是数据处理层面的多宇宙作者同时指出统计方法、协变量、误差分布和模型设定中的选择还会形成另一个“模型多宇宙”。如果把脑电预处理、特征计算、统计建模和机器学习超参数全部展开组合数量会迅速增加因此实际研究中更需要明确问题边界并优先考察那些最可能影响结论的关键决策。比“多跑几条路径”更重要的事情论文中还有一个很重要、但容易被忽略的观点就是研究者最终应当设法“缩小多宇宙”。多宇宙很大往往说明某个构念的定义、理论依据或测量方法还不够精确。在这篇论文的案例中关系状态之所以产生多个处理分支是因为问卷中的一个选项同时包含“正在约会”和“仅与一名伴侣交往”两种可能含义。如果最初把问题设计得更清楚这个分支就不会出现。生育力的评估方式之所以对结果影响很大也说明仅依靠周期日进行代理性分组存在较强的不确定性需要更准确的测量方式和更完整的理论支持。因此多宇宙分析的价值并不止于把很多结果画在一张图中。它还可以帮助研究者发现哪些不确定性来自数据处理习惯哪些来自测量工具本身哪些又来自理论没有明确说明变量应当怎样定义。下一步真正需要改进的可能不是继续寻找一个更容易得到显著结果的参数而是重新设计测量、提高数据质量或者发展能够排除部分处理方案的理论依据。预注册同样无法单独解决这个问题。预注册可以在研究结果出现之前固定分析方案减少研究者根据结果临时更换方法的空间这一点非常重要。但如果预注册下来的方案本身只是多种合理选项中的一个它仍然不能告诉我们结论在其他合理方案下是否稳定。换句话说预注册处理的是选择在什么时候作出多宇宙分析考察的是其他合理选择会不会改变结果。两者解决的是不同层面的问题。过去我们看到一个显著结果时最常问的问题可能是样本量是否足够、统计方法是否正确、p 值是否小于 0.05。多宇宙分析提醒我们在这些问题之前还应该继续往前追问用于统计分析的这个数据集究竟是怎样形成的在数据构建过程中是否还存在其他合理选择如果换一条同样可以被解释的处理路径效应方向、大小和统计结论是否仍然能够保持同一批原始数据不一定只对应一个可以被分析的数据集一个研究问题也不一定只对应一条合理的分析路线。真正可靠的结论应当能够说明自己依赖哪些条件也应当允许读者看到当这些条件改变时结果会发生什么变化。多宇宙分析最重要的提醒可能就在这里当研究中确实存在多条合理路径时只报告其中一条并不会让其他路径消失只会让它们从读者面前消失。论文信息Steegen, S., Tuerlinckx, F., Gelman, A., Vanpaemel, W. (2016).Increasing Transparency Through a Multiverse Analysis.Perspectives on Psychological Science, 11(5), 702–712. DOI: 10.1177/1745691616658637
