Failures are data too.
좋아 보이는 결과보다, 결과를 잘못 믿게 만드는 구조를 기록합니다. 아래 글은 실제 연구·감사·운영 과정에서 확인된 문제와 설계 원칙을 바탕으로 작성됩니다.
01POINT-IN-TIME
같은 초라도 미래일 수 있다.
second_ts, event_ts, created_at이 섞이면 과거 feature에 미래 이벤트가 들어갈 수 있다.
02STATISTICS
왜 300개가 결론이 아닌가.
같은 시각의 여러 코인, 겹치는 horizon, 공통 시장 shock은 nominal n을 부풀린다.
03METHOD
UNKNOWN은 PASS가 아니다.
증거가 없는 영역을 통과로 처리하지 않는 감사 원칙과 그 이유.
04PROVENANCE
왜 실패한 실험을 삭제하지 않는가.
Quarantine은 불편한 데이터를 없애는 기능이 아니라 원본과 사건 이력을 보존하는 장치다.
05OOS
왜 300개 전에 효과값을 보지 않는가.
결과를 먼저 보는 순간 threshold와 cohort를 유리하게 바꿀 선택 자유도도 생긴다.
06REPRODUCIBILITY
연구 기록을 왜 따로 보관하는가.
가설·실패·수정 이유와 evidence location을 실행 서버 밖에도 남기는 이유.