왜 300개 전에 효과값을 보지 않는가.

효과값을 한 번 보면 연구자는 그 결과를 잊을 수 없습니다. 이후 threshold, tolerance, horizon, cohort definition을 조정할 때 무의식적으로 더 좋아 보이는 방향을 선택할 가능성이 생깁니다.

300은 마법의 숫자가 아니다

현재 V3R2에서 300 fully matched non-quarantined는 효과값을 자동 공개하는 기준이 아닙니다. 그 숫자에 도달하면 수동 review를 시작할 수 있는 필요조건일 뿐입니다.

왜 manual review가 따로 필요한가

nominal sample count가 충분해도 같은 timestamp의 여러 symbol, overlapping horizon, 공통 시장 shock 때문에 독립 표본 수는 더 작을 수 있습니다. 그래서 maturity 이후에도 dependence, missingness, lineage와 quarantine consistency를 확인해야 합니다.

규칙을 바꾸고 싶다면

결과를 본 뒤 현재 arm의 threshold를 소급 변경하는 대신, 새 version과 새 prospective start를 정의합니다. 더 좋은 아이디어를 금지하는 것이 아니라 현재 실험의 과거를 바꾸지 않는 것입니다.