如何组织研究数据
按示例设置科研项目文件夹结构,下载带填写示例的 README 和数据字典模板。
科研项目文件夹结构示例
把原始数据、分析代码和生成结果分开存放,在项目根目录放 README,数据字典放在数据旁边。几个月后再打开目录,你也能一眼看到哪份是原始记录、哪份可以重新生成。
study-sessions/
├── README.md
├── data/
│ ├── sessions.csv
│ └── data-dictionary.md
├── analysis/
│ └── analyze.py
└── results/
└── means.csv
保留原始输入。清洗或计算得到的文件用能看懂的名字,放到容易辨认的位置,并记下生成它的脚本。这里 sessions.csv 是输入,means.csv 是运行脚本得到的结果。重跑时可以安全地覆盖结果文件。
下载四行示例数据。记录均为模拟数据。
科研数据字典怎么写
看到 minutes,大概能猜到单位是分钟,但它记录的是计划时长还是实际时长?允许哪些值?缺失时怎么表示?这些都适合写在数据字典里。
| 列名 | 含义 | 约定的值 |
|---|---|---|
session_id | 一次学习时段的编号 | 唯一文本,例如 S01 |
condition | 学习时的声音环境 | quiet(安静)或 background-noise(背景噪音) |
minutes | 记录的学习时长 | 非负整数,单位是分钟 |
这个示例要求三列都填。真实研究中可能有缺失数据,要写清楚缺失值的表示方法,并在分析时明确处理。学习了 0 分钟,和没有记录学习时长,是两回事。
科研项目的 README 写什么
先说研究问题和数据从哪来,再给出输入位置、运行方法和结果位置。字段细节可以链接到数据字典。
本示例使用四条模拟记录,比较两种声音环境下的平均学习时长。字段定义见
data/data-dictionary.md。输入是data/sessions.csv。运行python analysis/analyze.py,然后查看results/means.csv。
给真实研究写 README 时,再加上采集时间、访问方式和处理记录。分享前检查文件夹里是否有可识别个人身份的信息或其他受限记录。
可以从科研项目 README 模板和数据字典模板开始。两个文件都用 Markdown 编写,可以复制到自己的项目里修改。想看看它们怎样和代码一起交付,可以读可复现材料打包教程。
用自己的一个文件练一遍
在手头项目里找一个含义不明确的文件名,例如 clean-final2.csv。改成能说明内容的名字,再记下它从哪来、如何生成。如果已有脚本读取这个文件,记得一起更新路径。
检查你的项目说明
把 README 给同事看,请他找出原始数据、指出某一列的单位,并找出可以重新生成的结果。哪里需要靠猜,就把说明补在哪里。
参考资源
本文参考并改编自 The Turing Way Community 以 CC BY 4.0 发布的章节。Miss Formula 重新组织了教学顺序,补充了讲解,并编写了贯穿示例和练习。