[정직판 차트 강좌 15강] 백테스트와 과최적화 — 정직판이 존재하는 이유

"이 전략, 과거에 돌려보니 3년간 +4,000%였습니다." — 이 한 줄에 지갑을 여는 순간, 당신은 세상에서 가장 오래된 마술에 속은 겁니다. 오늘은 그 마술의 트릭을 분해합니다. 그리고 우리가 왜 'AI 신뢰도 87% LONG'을 팔지 않고 굳이 정직판이라 부르는지, 그 이유의 전부를 꺼냅니다.

'두식이 아빠의 차트 교실'에 오신 걸 환영합니다. 오늘은 정직판 차트 강좌의 마지막 15강입니다. 지난 강 "흔한 함정 — 계좌를 녹이는 4가지 습관"에서 우리는 감정이 계좌를 녹인다는 걸 배웠습니다. 오늘은 그보다 더 교묘한 적을 다룹니다. 숫자의 얼굴을 하고 다가오는 착시 — 백테스트와 과최적화입니다.

이 강의는 특별합니다. 1강 "예측을 버려라 — 다음 방향은 왜 동전 던지기인가"에서 시작한 여정이 여기서 한 바퀴를 돕니다. 1강이 "예측을 버려라"였다면, 15강은 "그럼 무엇을 믿을 것인가"에 답합니다. 그리고 그 답이 곧 이 강좌 전체의 존재 이유입니다.

화려한 백테스트는 증명이 아니다. 대부분은 과거에 맞춰 깎은 착시다.

① 왜 이 개념이 필요한가 — 필승법에 속지 않는 면역력

인터넷을 켜면 필승법이 넘칩니다. "승률 92% 자동매매봇", "AI가 잡아주는 매수 타점", "8개월 백테 +3,543%". 스크린샷 속 자산곡선은 왼쪽 아래에서 오른쪽 위로 아름답게 솟아 있습니다. 보는 순간 심장이 뜁니다. "이거다."

여기서 대부분의 사람들이 계좌를 겁니다. 그리고 몇 주 뒤, 그 아름답던 곡선이 실전에서는 정반대로 흘러내리는 걸 목격합니다.

이게 우연일까요? 아닙니다. 구조적으로 그렇게 되게 되어 있습니다. 그리고 오늘 강의를 끝까지 들으면, 당신은 그 스크린샷을 보자마자 세 가지를 물어서 90%의 사기를 걸러낼 수 있게 됩니다.

백신을 생각해봅시다. 백신은 병 자체가 아니라 병의 약한 조각을 미리 보여줘서, 진짜 병이 왔을 때 몸이 알아채게 만듭니다. 오늘 강의가 바로 그 백신입니다. 실제로 계좌를 잃기 전에, 착시의 '약한 조각'을 미리 보여드립니다. 다음에 화려한 백테를 만나면, 당신 몸이 먼저 반응할 겁니다.

② 대부분 사람들이 잘못 알고 있는 이유 — "과거에 됐으면 미래에도 되겠지"

백테스트(backtest)는 전략을 과거 데이터에 적용해 '얼마 벌었나'를 보는 겁니다. 이 자체는 아주 유용한 도구입니다. 문제는 사람들이 이걸 증명서로 착각한다는 데 있습니다.

왜 착각할까요? 세 가지 이유가 있습니다.

첫째, 자산곡선은 너무 설득력 있게 생겼습니다. 우상향하는 초록색 곡선은 뇌에 "이건 진짜다"라는 신호를 줍니다. 하지만 곡선이 예쁜 것과 규칙이 진짜인 것은 완전히 다른 문제입니다. 예쁜 곡선은 결과고, 진짜 검증은 과정입니다. 대부분은 결과만 보고 과정을 안 봅니다.

둘째, 만드는 사람도 자기가 속는 줄 모릅니다. 이게 핵심입니다. 사기꾼이 일부러 속이는 게 아닙니다. 성실한 사람이 파라미터를 이리저리 바꾸다 "오, 이 값에서 수익이 폭발하네!" 하고 진심으로 감동합니다. 자기 자신이 첫 번째 희생자입니다. 그래서 그 사람의 확신이 진짜라서 더 설득력 있고, 더 위험합니다.

셋째, "과거에 됐으면 미래에도 된다"는 게 상식처럼 느껴집니다. 하지만 이건 상식이 아닙니다. 시장은 매 순간 상태가 바뀝니다. 3강 "추세와 레짐 — 지금이 어떤 장인가"에서 배운 그 레짐이 바뀌면, 과거에 통하던 규칙은 그냥 다른 세계의 유물이 됩니다.

시험 공부에 비유하면 이렇습니다. 작년 기출문제의 답을 통째로 외운 학생이 있습니다. 작년 시험지를 다시 풀면 100점입니다. 완벽합니다. 그런데 올해 새 문제가 나오면? 무너집니다. 왜냐하면 그 학생은 '푸는 법'을 배운 게 아니라 '이 문제의 답'을 외웠을 뿐이니까요. 백테스트에 완벽하게 맞춘 전략이 정확히 이 학생입니다.

③ 핵심 원리 — 마우스를 충분히 돌리면 '완벽한 과거'는 반드시 나온다

이제 오늘의 핵심입니다. 과최적화(overfitting)가 왜 필연적으로 발생하는지를 이해하면, 절반은 끝난 겁니다.

원리는 이렇습니다. 과거 데이터에는 진짜 신호(반복되는 구조)와 노이즈(그냥 그때 우연히 그랬던 것)가 섞여 있습니다. 전략의 파라미터를 계속 바꾸다 보면, 어느 순간 그 규칙이 노이즈까지 통째로 외워버립니다. 그러면 과거에 대해서는 거의 완벽해집니다. 하지만 노이즈는 정의상 반복되지 않습니다. 그래서 미래에서는 무너집니다.

"RSI 28에서 사고 3봉 뒤에 판다"가 지난 2년에 완벽했다고 칩시다. 그런데 왜 하필 27도 29도 아닌 28일까요? 이유가 없습니다. 그 구간의 우연에 딱 맞는 값이 28이었을 뿐입니다. 1강에서 이 이야기를 이미 했었죠. 오늘은 그걸 검증의 관점에서 다시 봅니다.

여기서 대부분의 사람들이 놓치는 게 있습니다. 파라미터가 많을수록 과최적화는 쉬워집니다. 조절 손잡이가 하나면 과거에 맞추기 어렵습니다. 그런데 손잡이가 열 개면? 열 개를 다 돌리면 과거의 어떤 모양이든 만들어낼 수 있습니다. 그래서 "지표를 잔뜩 겹친 복잡한 전략"일수록 백테는 화려하고, 실전은 처참합니다.

④ 시장에서 실제로 어떻게 나타나는가 — 레짐이라는 함정

과최적화의 가장 흔하고 가장 잔인한 형태는 레짐 착시입니다. 이건 반드시 알아야 합니다.

시장은 크게 상승장·하락장·횡보장으로 나뉩니다. 각 장세는 성격이 완전히 다른 나라입니다. 상승장에서 통하는 규칙과 하락장에서 통하는 규칙은 정반대인 경우가 많습니다. 5강 "평균회귀 — 눌림과 되돌림"에서 배운 걸 떠올려보세요. 상승장에서는 눌림에 사는 게 맞지만, 하락장에서는 그 '떨어지는 칼날'을 잡다가 손목이 잘립니다. 같은 행동, 정반대 결과.

이제 함정이 보입니까? 만약 누군가 2023~2024년 상승장 데이터로만 백테를 돌렸다면, 그 결과는 "이 전략이 좋다"가 아니라 "그 시기가 상승장이었다"를 증명한 것뿐입니다. 전략의 실력이 아니라 시장의 순풍(베타)을 자기 실력으로 착각한 겁니다.

BTC로 구체적으로 봅시다. 2025년 10월을 기준으로 비트코인의 성격이 완전히 바뀐 구간이 있습니다. 그 전에는 완만한 횡보였고, 그 후에는 하락과 고변동이 지배했습니다. 상승장·횡보장 데이터를 잔뜩 넣고 만든 '롱 위주 전략'은 백테에서 눈부십니다. 그런데 그걸 하락장에 들이대면 그대로 녹습니다. 반대로 하락장에서 다듬은 숏 전략을 상승장에 넣으면 계좌가 터집니다.

여름에 맞춰 재단한 반팔 셔츠를 겨울에 입고 "왜 이렇게 춥지?"라고 묻는 격입니다. 옷이 나쁜 게 아닙니다. 계절이 바뀐 걸 검증에 넣지 않은 것이 문제입니다. 좋은 전략 검증은 반드시 여름옷을 겨울에도 입혀봅니다.

⑤ 차트에서는 어디를 보는가 — 속지 않는 3가지 질문

"그래서 화려한 백테를 만나면 뭘 어떻게 하라는 거냐?" — 지금 이 생각이 들었다면 정확합니다. 답은 세 가지 질문입니다. 이 세 개만 물어도 세상 필승법의 90%가 걸러집니다. 외우세요.

세 질문을 하나씩 뜯어봅니다.

첫째, 다른 레짐. 상승장 백테는 상승장에서만 검증된 겁니다. 진짜 검증은 성격이 다른 시기에서도 부호(플러스/마이너스)가 유지되는지를 봅니다. 하나의 장세에서 아무리 화려해도, 그건 "그 계절엔 통했다"는 말일 뿐입니다.

둘째, 파라미터 견고성. RSI 28에서만 되고 27·29에서는 무너진다면, 그건 규칙이 아니라 한 점에 걸린 우연입니다. 진짜 엣지는 손잡이를 조금 돌려도 곡선이 완만하게 변합니다. 절벽처럼 뚝 떨어지면 과최적화입니다.

다리를 생각해보세요. 딱 10.00톤까지만 버티고 10.01톤에서 무너지는 다리는 다리가 아니라 함정입니다. 진짜 튼튼한 다리는 9톤이든 11톤이든 안정적으로 버팁니다. 파라미터 견고성이 정확히 이겁니다.

셋째, 룩어헤드. 이게 제일 교묘합니다. 백테를 짜다가 실수로 아직 마감하지 않은 캔들의 값을 참조하면, 컴퓨터가 미래를 살짝 엿본 셈이 됩니다. 결과는 마법 같은 승률로 나옵니다. 하지만 실전에서는 그 미래를 볼 수 없으니 그대로 무너집니다.

경마 결과를 보고 나서 베팅하면 백전백승입니다. 룩어헤드가 정확히 이겁니다. 백테라는 컴퓨터 안에서는 '오른쪽 데이터'가 이미 존재하니까, 코드가 실수로 그걸 훔쳐보기 쉽습니다. "승률이 비현실적으로 높다" 싶으면 90%는 룩어헤드입니다.

⑥ 실전 예시 — 정직판이 데이터로 직접 겪은 것

이건 이론이 아닙니다. 우리는 실제로 수백 개의 신호와 전략을 검증했습니다. 그리고 같은 결론이 지겹도록 반복됐습니다.

인샘플(같은 기간)에서 그렇게 좋아 보이던 신호가, 독립된 다른 기간(진짜 아웃오브샘플)에 가면 부호가 뒤집혔습니다 — 열일곱 번 넘게. 플러스였던 게 마이너스가 되고, "차단해야 할 자리"가 알고 보니 "가장 돈이 되는 자리"였습니다. 한두 번이면 실수라고 하겠지만, 열일곱 번이 넘으면 그건 법칙입니다.

이걸 뒤집어 말하면 이겁니다. 우리가 처음에 "발견했다!"고 흥분했던 엣지의 대부분은, 안 본 데이터 앞에서 신기루처럼 사라졌습니다. 만약 우리가 검증을 게을리하고 그 신기루를 'AI 87% LONG'으로 포장해 팔았다면, 그건 성실한 사기가 됐을 겁니다. 우리 스스로가 첫 번째 희생자였을 테니까요.

이 마지막 문장이 정말 중요합니다. 흔히 '워크포워드(walk-forward)'라고 부르며 "미래 기간에서 검증했다"고 주장하지만, 그 미래가 같은 장세를 시간만 쪼갠 거라면 진짜 검증이 아닙니다. 상승장을 앞뒤로 나눠봐야 둘 다 상승장입니다. 이게 정직판이 겪은 가장 흔한 함정, 레짐 착시입니다.

⑦ 실패 사례 — 세 가지 전형적인 붕괴

실패 1: 화려함에 홀린 사람. 승률 90%, 수익률 500% 백테를 보고 전 재산을 넣습니다. 그 90%는 파라미터를 수백 번 돌려 고른 '텍사스 명사수'의 결과였습니다. 안 본 기간에서는 55%로 주저앉고, 수수료와 슬리피지를 빼면 마이너스입니다.

실패 2: 워크포워드라 안심한 사람. "나는 미래 기간에서 검증했다"고 자신합니다. 하지만 앞 8개월도 상승장, 뒤 4개월도 상승장이었습니다. 하락장이 오는 순간, 한 번도 검증된 적 없는 영역에 들어선 것이고, 전략은 그대로 무너집니다.

실패 3: 룩어헤드를 못 잡은 사람. 백테 승률이 82%라 흥분합니다. 알고 보니 진입 신호가 '아직 안 닫힌 5분봉'의 값을 참조하고 있었습니다. 마감된 봉만 쓰도록 코드 한 줄을 고치자 승률이 54%로 떨어집니다. 82%는 컴퓨터가 미래를 엿본 대가였습니다.

⑧ 성공 사례 — 그래서 무엇이 살아남았나

이쯤 되면 허무할 수 있습니다. "그럼 다 소용없다는 거냐?" 아닙니다. 오히려 반대입니다. 세 질문의 지옥을 통과한 소수가 있고, 그게 이 강좌의 전부입니다.

수백 번의 검증에서 살아남은 건 딱 세 종류였습니다. 놀랍게도, 셋 다 방향을 예측하지 않습니다.

이 셋의 공통점이 보입니까? 전부 '상태'를 다루지 방향을 예측하지 않습니다. 그래서 레짐이 바뀌어도 부호가 뒤집히지 않고, 파라미터를 조금 바꿔도 완만하며, 미래를 엿볼 필요가 없습니다. 세 질문을 원래부터 통과하도록 설계된 것들입니다.

카지노를 다시 떠올려봅시다. 카지노는 다음 숫자를 예측하지 않습니다. 아주 살짝 유리한 확률(하우스 엣지)로 게임을 수천 번 반복할 뿐입니다. 우리가 살려낸 세 가지가 바로 그 하우스 엣지입니다. 방향은 1강에서 배운 대로 동전에 맡기고, 우리는 자리·손절·반복만 관리합니다.

이게 우리가 'AI 신뢰도 87% LONG' 같은 걸 팔지 않는 이유입니다. 그 87%는 십중팔구 텍사스 명사수의 과녁이고, 안 본 기간에서 51%로 사라질 숫자입니다. 대신 우리는 예측할 수 없는 방향은 정직하게 "모른다"고 말하고, 관측할 수 있는 상태만 보여줍니다. 그게 정직판입니다. 12강 "정직판 종합 — 예측이 아니라 자리·상태·확률"에서 정리했던 그 철학의, 데이터로 증명된 뿌리가 바로 오늘입니다.

⑨ 체크리스트 — 백테를 만났을 때

화려한 백테나 필승법을 만나면, 이걸 순서대로 물으세요. 하나라도 '아니오'면 지갑을 닫으세요.

• ☐ 이 백테는 상승·하락·횡보 모두에서 부호가 유지되는가? (한 장세만이면 베타 착시)
• ☐ 파라미터를 조금 바꿔도 결과가 완만하게 유지되는가? (한 점에서만이면 과최적화)
• ☐ 룩어헤드는 없는가 — 마감된 캔들 값만 썼는가? (승률이 비현실적이면 의심)
• ☐ 앞뒤로 나눈 검증이 같은 장세를 쪼갠 것은 아닌가? (워크포워드 착시)
• ☐ 수수료·슬리피지를 뺀 뒤에도 남는가? (특히 짧은 시간프레임)
• ☐ 이 전략은 방향을 예측하는가, 아니면 상태에 대응하는가? (예측이면 대부분 동전)
• ☐ 만든 사람이 "안 본 데이터"에서의 결과를 먼저 보여주는가? (안 보여주면 안 본 것)

⑩ 한 줄 요약

과거에 완벽한 규칙은 마우스만 돌리면 반드시 나온다. 진짜 검증은 '다른 레짐 + 파라미터 견고성 + 룩어헤드 없음' 세 관문을 통과하는 것이고, 그걸 통과한 건 리스크 관리·레짐 순응·평균회귀뿐이었다. 그래서 우리는 예측을 팔지 않고 상태를 보여준다 — 그게 정직판이다.

■ 실전 적용법
누군가 "과거에 이렇게 하니 떼돈 벌었다"고 하면, 반박하지 말고 세 개만 물으세요. "다른 장세에서도 됐나요?", "파라미터를 조금 바꿔도 유지되나요?", "혹시 마감 전 캔들 값을 쓴 건 아닌가요?" 이 셋에 명확히 답 못 하면 그건 검증이 아니라 광고입니다. 그리고 당신 자신의 전략에도 똑같이 물으세요 — 남에게 엄격한 잣대를, 자기에게 먼저 대는 사람만 살아남습니다. 실전은 반드시 소액과 페이퍼부터, 규율을 지켜서.

■ 흔한 실수
① 예쁜 자산곡선을 보고 검증 스위치를 끔 → 화려할수록 의심하라.
② 워크포워드라며 안심 → 앞뒤가 같은 장세면 검증이 아니다.
③ 비현실적으로 높은 승률에 흥분 → 90%는 룩어헤드다.

■ 복습 문제

1. 어떤 봇이 "8개월 백테 +3,543%, 승률 82%"라고 광고한다. 당신이 던질 세 가지 질문은?
2. RSI 28에서만 수익이 폭발하고 27·29에서는 무너진다면, 이건 엣지인가 착시인가? 왜?
3. 수백 개 신호를 검증했더니 "17번 넘게 부호가 뒤집혔다"는 건 무엇을 의미하는가? 그래서 무엇이 살아남았는가?

■ 다음 강 예고 — 그리고 교실의 여정은 계속됩니다
축하합니다. 이걸로 정직판 차트 강좌 기초 15강을 모두 마쳤습니다. 1강에서 "예측을 버려라"로 출발해, 오늘 15강에서 "그래서 상태에 대응하라"로 한 바퀴를 완성했습니다. 이제 당신은 세상의 수많은 필승법 앞에서 흔들리지 않을 면역력을 갖췄습니다.

하지만 여정은 여기서 끝이 아닙니다. '두식이 아빠의 차트 교실'에는 앞으로 캔들 패턴, 빗각·추세선, 거래량·오더플로우, 선물·파생, 차트 패턴, 리스크·심리 심화, 그리고 40여 개 전략을 파헤치는 전략 대백과가 기다립니다. 오늘 배운 이 세 가지 질문을 손에 쥐고 그 트랙들로 들어가세요. 어떤 지표를 배우든, 어떤 전략을 만나든, 당신은 이제 "이게 정직한가?"를 스스로 물을 수 있습니다.

예측을 파는 사람을 의심하고, 자리·상태·확률·리스크로 대응하십시오. 그게 정직판이고, 이 강좌의 전부입니다. 이제 대시보드를 열고, 실전에서 만납시다. — WOOSUB