AI가 찾은 전략, 왜 좋아 보여도 바로 버릴 수 있는가.

AI가 찾아낸 규칙이 멋진 숫자를 보여주는 것과, 그 규칙을 실제 의사결정 시점에 사용할 수 있다는 것은 전혀 다른 문제입니다. 수익률이 높아도 미래 정보가 섞였거나 데이터 계약이 재현되지 않으면 그 결과는 전략 후보가 아니라 폐기 대상입니다.

첫 질문은 “얼마 벌었나”가 아닙니다

먼저 확인할 것은 각 feature가 의사결정 시점 이전에 실제로 관측 가능했는지입니다. timestamp가 거칠거나, 후처리된 라벨이 feature 쪽으로 흘러들어가거나, 나중에 정정된 데이터를 과거 시점의 값처럼 사용하면 성과는 쉽게 좋아 보일 수 있습니다.

AI는 규칙을 빨리 찾지만 검증 책임까지 대신하지 않습니다

탐색 공간이 넓을수록 우연히 과거에 잘 맞는 조합도 더 많이 생깁니다. 그래서 후보 생성과 검증을 분리하고, OOS·walk-forward·비용 반영·point-in-time 조건을 통과하기 전에는 “AI가 돈 되는 전략을 찾았다”고 말하지 않습니다.

좋아 보여도 폐기하는 기준이 필요합니다

미래 데이터 누수, 비현실적 체결, 비용 민감도, 재현 불가능한 원본 lineage, 사전에 정하지 않은 규칙 변경이 확인되면 성과 수치와 무관하게 후보를 내립니다. 실패 원인은 지우지 않고 다음 실험의 금지 조건으로 남깁니다.