백테스트를 계속 고치다 보면 왜 결국 과최적화되는가.

전략을 한 번 고치는 것은 개선일 수 있습니다. 하지만 결과를 본 뒤 손절폭, 진입조건, 시간대, 종목을 계속 바꾸면 어느 순간 시장 구조를 찾는 것이 아니라 과거 데이터의 우연을 외우게 됩니다.

자유도가 많을수록 “좋은 조합”은 쉽게 나옵니다

진입 조건 5개, 청산 조건 5개, 여러 기간과 종목을 조합하면 수많은 후보가 만들어집니다. 그중 가장 높은 수익률만 고르면 우연히 잘 맞은 조합이 선택될 가능성도 커집니다.

인샘플 성능이 좋아질수록 안심하면 안 됩니다

같은 구간을 보면서 수정할수록 그 데이터는 더 이상 독립된 시험지가 아닙니다. 그래서 규칙을 동결한 뒤 아직 보지 않은 OOS 구간에서 성능이 유지되는지 확인해야 합니다.

복잡한 규칙은 이유를 설명할 수 있어야 합니다

조건 하나를 추가할 때마다 “왜 이 조건이 시장 구조와 연결되는가”를 설명할 수 있어야 합니다. 설명 없이 성능만 올리는 조건이 늘어난다면 단순한 모델과 비교하는 것이 도움이 됩니다.

우리는 수정 횟수도 연구 기록으로 봅니다

전략 버전, 변경 이유, 변경 전 결과, 변경 후 새 검증 구간을 남기면 사후 조정과 실제 개선을 구분하기 쉬워집니다.