METHODS

Make the test harder to fool.

연구가 성공하기 쉬운 방향이 아니라, 잘못된 결론을 내리기 어려운 방향으로 설계합니다.

Point-in-Time

결정 시점 이전에 실제로 관측 가능했던 정보만 feature로 인정합니다.

과거 결과를 본 뒤 규칙을 맞추는 대신 새 prospective start 이후 표본을 분리합니다.

가설을 지지하는 결과뿐 아니라 깨뜨릴 수 있는 placebo, reverse direction, timing tests를 설계합니다.

데이터 무결성 incident는 원본을 삭제하지 않고 명시적으로 격리해 provenance를 유지합니다.

표본이 성숙하기 전 효과값을 열어 사후 선택을 유도하지 않도록 gate를 둡니다.

연구 결과가 좋아 보여도 자동으로 execution 설정을 변경하지 않습니다.

event timestamp만 과거라고 해서 usable feature가 되는 것은 아닙니다. 실제 consumer가 볼 수 있었던 first-seen availability를 분리합니다.

가능한 범위에서 decision, reference, feature, endpoint identity를 연결하고 복원할 수 없는 upstream lineage는 UNKNOWN으로 남깁니다.

백업 파일이 존재하는 것만으로 충분하지 않습니다. 별도 namespace에서 restore를 실제로 수행하고 row counts와 schema를 확인합니다.

가설, 실패, 수정 이유와 evidence location을 별도 Journal로 남기고 off-host checksummed backup으로 보존합니다.

CORE RULE

Unknown은 PASS가 아닙니다. 확인할 수 없는 것은 확인할 수 없는 상태로 남기며, historical invalid/pilot arms를 새 confirmatory arm에 합치지 않습니다.