什么是可复现研究?

用一个例子理解计算可复现性,并对照区分复现、独立重复验证和稳健性检查。

语言简体中文

从一个结果开始

计算可复现性指的是使用同一份数据和同一套分析步骤,再次得到报告中的结果。比如同事报告安静环境里的平均学习时长是 25 分钟。只要能找到两条记录并按原方法算一遍,就可以核对这个数字。

安静环境的两条记录是 20 和 30 分钟,平均 25 分钟。有背景噪音的两条记录是 15 和 25 分钟,平均 20 分钟。

这些记录是虚构的。5 分钟的差距用来展示计算过程,凭这四条记录无法判断噪音对学习时长的影响。

科研复现和独立重复验证有什么区别?

不同学科对这些术语的用法有所不同。本系列采用下面的约定。

要检查什么怎么检查学习时长示例
可复现性(reproducibility)用同一份数据和同一套分析步骤。重新计算两组的平均值,核对能否得到 25 和 20。
独立重复验证(replicability)用可比较的设计收集新数据。做一项新研究,看新记录是否支持原来的发现。
稳健性(robustness)用同一份数据尝试另一种合理分析。看看采用有依据的数据排除规则或另一种统计量时,解释是否改变。

让同事找得到这张表的来路

换到同事的视角。他需要知道输入文件在哪、每一列是什么意思、该运行什么命令或步骤、用什么软件版本,以及结果应该长什么样。分析涉及随机抽样时,也记下随机种子及其用法。

如果数据受限,写清楚谁可以申请访问、到哪里申请,以及哪些步骤可以用模拟数据练习。敏感记录应当留在有适当访问控制的位置。

拿你的一项结果做练习

从自己的工作里找一张表或一幅图,分别用一句话写出输入文件、分析步骤和预期结果。请同事指出他会打开的那份输入文件。

查看示例答案

输入是 data/sessions.csv。按 condition 分组,计算 minutes 的平均值。预期结果表里有 background-noise,20.0 和 quiet,25.0。

参考资源

本文参考并改编自 The Turing Way Community 以 CC BY 4.0 发布的章节。Miss Formula 重新组织了教学顺序,补充了讲解,并编写了贯穿示例和练习。