재현 가능한 연구란 무엇인가요?
계산 재현성과 독립적 반복 검증, 강건성의 차이를 작은 연구 예제로 이해합니다.
하나의 연구 결과를 다시 계산해 보기
계산 재현성(computational reproducibility)은 동일한 데이터와 분석 절차를 사용해 보고된 결과를 다시 얻을 수 있는지를 뜻합니다. 예를 들어 동료가 조용한 환경에서의 평균 학습 시간이 25분이라고 보고했다면, 원자료와 계산 방법을 확인해 같은 값을 구할 수 있어야 합니다.
조용한 환경의 두 기록이 20분과 30분이라면 평균은 25분입니다. 배경 소음이 있는 환경의 기록이 15분과 25분이라면 평균은 20분입니다.
이 네 개의 기록은 설명을 위한 가상 데이터입니다. 평균 차이 5분은 계산 과정을 보여 줄 뿐, 소음이 학습 시간에 영향을 준다는 결론을 뒷받침하지 않습니다.
재현성, 반복 검증, 강건성은 어떻게 다른가요?
학문 분야마다 용어의 쓰임이 조금씩 다릅니다. 이 시리즈에서는 아래와 같이 구분합니다.
| 검토할 질문 | 방법 | 학습 시간 예시 |
|---|---|---|
| 재현성 (reproducibility) | 같은 데이터와 분석 절차를 다시 사용합니다. | 두 집단의 평균을 다시 계산해 25와 20이 나오는지 확인합니다. |
| 독립적 반복 검증 (replicability) | 비교할 수 있는 연구 설계로 새로운 데이터를 수집합니다. | 새로운 연구를 실시해 원래 발견이 다시 관찰되는지 확인합니다. |
| 강건성 (robustness) | 같은 데이터에 타당한 다른 분석 방법을 적용합니다. | 근거 있는 제외 기준이나 다른 요약 통계량을 사용해도 해석이 유지되는지 살펴봅니다. |
다른 사람이 결과를 추적할 수 있게 만들기
연구를 넘겨받는 동료의 입장에서 생각해 보세요. 입력 파일의 위치, 각 열의 의미, 실제로 실행한 명령 또는 분석 절차, 소프트웨어 버전, 비교할 수 있는 예상 결과가 필요합니다. 무작위 추출을 사용했다면 난수 시드와 적용 방법도 기록합니다.
접근이 제한된 데이터라면 누가 어떤 절차로 사용 허가를 받을 수 있는지 적고, 공개 가능한 모의 데이터로 연습할 수 있는 부분을 구분하세요. 민감한 기록을 공개 저장소에 올리지 마세요.
내 연구의 결과 하나로 연습하기
자신의 연구에서 표나 그림 하나를 고르세요. 입력 파일, 분석 단계, 예상 결과를 각각 한 문장으로 적어 보세요. 그다음 동료에게 어떤 파일부터 열어야 할지 물어보세요.
예시 답안 보기
입력: data/sessions.csv. 절차: condition별로 묶어 minutes의 평균을 계산합니다. 예상 결과: background-noise,20.0과 quiet,25.0이 결과 표에 나옵니다.
참고 자료
이 글은 The Turing Way Community가 CC BY 4.0로 공개한 내용을 참고·각색했습니다. Miss Formula는 학습 순서를 재구성하고 설명, 예제 및 연습 문제를 추가했습니다.