인샘플과 아웃오브샘플을 왜 분리하는가.

전략 규칙을 만들 때 이미 본 데이터는 아이디어와 파라미터 선택에 영향을 줍니다. 그 데이터를 다시 시험 점수로 쓰면 사실상 문제지를 보면서 답을 고른 뒤 같은 문제로 채점하는 셈이 됩니다.

인샘플은 만드는 구간, OOS는 시험하는 구간입니다

인샘플 데이터에서는 아이디어를 탐색하고 구조를 정할 수 있습니다. 하지만 최종 성능 평가는 전략이 아직 보지 못한 아웃오브샘플 구간에서 따로 확인해야 합니다. 그래야 우연한 패턴을 외운 것인지, 새로운 구간에서도 어느 정도 유지되는지 구분할 수 있습니다.

OOS가 나빠졌다고 실패를 숨기면 안 됩니다

인샘플은 좋고 OOS가 약해지는 것은 흔한 결과입니다. 이때 OOS를 제외하거나 규칙을 소급해서 바꾸면 검증 구간이 다시 학습 구간으로 변합니다. 수정이 필요하면 새 버전과 새 시험 구간을 정의하는 편이 기록상 더 정직합니다.

시간 순서를 지키는 것이 핵심입니다

랜덤 분할이 항상 나쁜 것은 아니지만 시계열 전략에서는 미래 정보가 과거 학습 과정에 섞이지 않도록 시간 경계를 특히 조심해야 합니다. 시장 체제 변화와 데이터 구조 변화도 함께 기록해야 합니다.