再現可能な研究とは?同じデータから結果を確かめる
4 件の架空データで計算をやり直し、再現可能性・追試可能性・頑健性の違いと、結果を引き渡すために必要な記録を学びます。
まず、ひとつの結果を計算し直す
計算の再現可能性とは、元の研究と同じデータと分析手順を使い、報告された結果をもう一度得られることです。まずは論文全体ではなく、表の中のひとつの値から始めましょう。
共同研究者が「静かな部屋での学習時間は平均 25 分だった」と報告したとします。元の記録が 20 分と 30 分なら、平均は (20 + 30) / 2 = 25 分です。背景音のある条件の記録が 15 分と 25 分なら、平均は (15 + 25) / 2 = 20 分になります。
| 条件(データ内の値) | 記録された時間 | 平均 |
|---|---|---|
quiet(静かな部屋) | 20 分、30 分 | 25 分 |
background-noise(背景音あり) | 15 分、25 分 | 20 分 |
この 4 件は説明用の架空データです。5 分の差は計算の確認に使うもので、音が学習に与える影響について結論を出す根拠にはなりません。同じ値を再計算できても、研究設計や解釈が正しいと証明されたわけではありません。
再現可能性・追試可能性・頑健性を区別する
英語の reproducibility と replicability は、分野や文献によって使い方が異なります。このシリーズでは The Turing Way の区別に合わせ、何を同じにして何を変えるかを明示します。
| 確かめたいこと | 使うデータと手順 | 学習時間の例 |
|---|---|---|
| 再現可能性(reproducibility) | 同じデータ、同じ分析 | 平均が再び 25 分と 20 分になるか確かめる。 |
| 追試可能性(replicability) | 比較可能な研究設計で新しいデータを集め、同じ分析を行う | 別の調査でも、元の知見を支持する結果が得られるか確かめる。 |
| 頑健性(robustness) | 同じデータに別の妥当な分析を適用する | 事前に説明した除外基準や別の要約方法で、解釈が変わるか確かめる。 |
結果が変わった場合も、その理由を追えることが大切です。都合のよい結果に合わせて手順を選ぶのではなく、何を試したかと、その理由を記録します。
結果をたどるための記録を残す
共同研究者の立場で、次の 4 点を確認してください。
- 入力ファイルと各列の意味が分かる。
- 実行したコマンド、または手計算の手順が分かる。
- 関連するソフトウェアのバージョンが分かる。
- 照合するための期待結果がある。
乱数を使う場合は、シード値と設定方法も記録します。アクセス制限のあるデータを扱う場合は、利用申請の窓口や条件を記し、架空データで試せる部分を示しましょう。再現可能性のために個人情報を公開する必要はありません。
練習:ひとつの結果を引き渡す
自分の研究の表や図をひとつ選び、入力、分析手順、期待結果をそれぞれ 1 文で書いてください。まだ研究データがなければ、上の学習時間の例を使えます。
回答例を見る
入力は data/sessions.csv。condition ごとに行を分け、minutes の平均を求める。結果表の期待値は background-noise,20.0 と quiet,25.0。
共同研究者がどのファイルを開くか迷わず示せれば、最初の一歩は完了です。次の章では、研究データのフォルダと説明書を整えます。
参考資料とライセンス
本章は The Turing Way Community の著作物(Copyright © The Turing Way Community、CC BY 4.0)を基に構成しています。Miss Formula が英語版を編集基準として日本語で説明を再構成し、計算例と練習問題を追加しました。原典の図やデータは転載していません。