왜 실패한 실험을 삭제하지 않는가.

연구 중 수집 장애나 시간계약 위반이 발견됐다고 해당 행을 지워버리면 결과는 깨끗해 보일 수 있습니다. 하지만 그 순간 연구자는 무엇을 제외했고 왜 제외했는지 재현하기 어려워집니다.

삭제와 격리는 다르다

MKTRC의 confirmatory cohort에서는 무결성 문제가 확인된 decision을 제외할 수 있습니다. 대신 원본 decision과 return rows는 그대로 보존하고, incident reason과 시간구간을 별도 quarantine record로 남깁니다.

왜 provenance가 중요한가

나중에 같은 문제가 재발했을 때 과거 incident와 비교할 수 있고, 수정된 코드가 실제로 문제를 해결했는지도 검증할 수 있습니다. 반대로 원본을 지우면 실패를 재현할 증거도 함께 사라집니다.

현재 연구에서의 적용

V3R2는 최신 public snapshot에서 4개 decision을 quarantine한 상태로 maturity를 계산합니다. 이 숫자는 숨길 결함이 아니라 연구 상태의 일부입니다.