什么是可复现研究?
用一个例子理解计算可复现性,并对照区分复现、独立重复验证和稳健性检查。
从一个结果开始
计算可复现性指的是使用同一份数据和同一套分析步骤,再次得到报告中的结果。比如同事报告安静环境里的平均学习时长是 25 分钟。只要能找到两条记录并按原方法算一遍,就可以核对这个数字。
安静环境的两条记录是 20 和 30 分钟,平均 25 分钟。有背景噪音的两条记录是 15 和 25 分钟,平均 20 分钟。
这些记录是虚构的。5 分钟的差距用来展示计算过程,凭这四条记录无法判断噪音对学习时长的影响。
科研复现和独立重复验证有什么区别?
不同学科对这些术语的用法有所不同。本系列采用下面的约定。
| 要检查什么 | 怎么检查 | 学习时长示例 |
|---|---|---|
| 可复现性(reproducibility) | 用同一份数据和同一套分析步骤。 | 重新计算两组的平均值,核对能否得到 25 和 20。 |
| 独立重复验证(replicability) | 用可比较的设计收集新数据。 | 做一项新研究,看新记录是否支持原来的发现。 |
| 稳健性(robustness) | 用同一份数据尝试另一种合理分析。 | 看看采用有依据的数据排除规则或另一种统计量时,解释是否改变。 |
让同事找得到这张表的来路
换到同事的视角。他需要知道输入文件在哪、每一列是什么意思、该运行什么命令或步骤、用什么软件版本,以及结果应该长什么样。分析涉及随机抽样时,也记下随机种子及其用法。
如果数据受限,写清楚谁可以申请访问、到哪里申请,以及哪些步骤可以用模拟数据练习。敏感记录应当留在有适当访问控制的位置。
拿你的一项结果做练习
从自己的工作里找一张表或一幅图,分别用一句话写出输入文件、分析步骤和预期结果。请同事指出他会打开的那份输入文件。
查看示例答案
输入是 data/sessions.csv。按 condition 分组,计算 minutes 的平均值。预期结果表里有 background-noise,20.0 和 quiet,25.0。
参考资源
本文参考并改编自 The Turing Way Community 以 CC BY 4.0 发布的章节。Miss Formula 重新组织了教学顺序,补充了讲解,并编写了贯穿示例和练习。