"AI 적중률 97%!" 이런 광고를 보면 혹하죠. 저도 그랬어요. 그런데 데이터를 공부하고 나니, 이제는 높은 정확도 숫자를 보면 오히려 의심부터 하게 됐어요.
왜냐하면 '잘 맞히는 것'과 '실제로 버는 것'은 전혀 다른 얘기거든요.
시리즈 「AI는 경마를 어떻게 볼까」 4화. 오늘은 "정확도"라는 숫자에 숨은 함정들을 파헤쳐요.
함정 1 — 인기마 착시 (베이스레이트)
가장 흔한 함정이에요. 인기마는 원래 자주 이겨요. 그러니 매번 "제일 인기 있는 말이요"라고만 찍어도 정확도는 저절로 높게 나와요.
문제는? 인기마는 배당이 낮아서, 맞혀봐야 손에 쥐는 게 거의 없어요. 정확도는 높은데 지갑은 안 불어나는 거죠.
함정 2 — 정확도 ≠ 수익 (이게 핵심)
한 연구가 이걸 아주 선명하게 보여줬어요. '정확도'를 최대로 끌어올린 시스템은 오히려 크게 손해(수익률 −75.9%) 였고, 반대로 '확률을 정직하게 보정'하는 데 집중한 시스템은 이익(+36.9%) 이었어요.
정확도를 좇을수록 파산에 가까워지고, "확률을 솔직하게 맞히는 것"이 돈을 만든 거예요. 그러니까 진짜 중요한 건 "얼마나 자주 맞히나"가 아니라 "확률을 얼마나 정직하게 읽나" 예요.
함정 3 — 과적합과 데이터 누수
- 과적합: 과거 데이터에 너무 딱 맞춰 만든 모델은, 정작 새로운 경주에선 헛발질을 해요. 지난 시험지를 통째로 외운 학생이 새 문제엔 약한 것처럼요.
- 데이터 누수: 정작 베팅하는 시점엔 알 수 없었을 정보(예: "그 시즌 최종 성적")가 몰래 모델에 새어들면, 백테스트 성적이 뻥튀기돼요.
그래서 "적중률 70%, 90%" 같은 주장은 대개 이 둘 중 하나를 의심해봐야 해요.
그 "97.6%"의 정체
실제로 정확도 97.6%를 보고한 연구가 있었는데, 알고 보면 데이터를 인위적으로 보정(SMOTE)한 뒤의 값이었어요. 실전 베팅 수익과는 거리가 먼 숫자였죠. 숫자 하나만 크게 떼어 보면 이렇게 오해하기 쉬워요.
그러니 이렇게 물어보세요
"적중률 몇 %"를 만나면, 숫자에 압도되지 말고 되물어보세요.
- 무슨 기준이에요? (1착만? 3착 안? 5착 안?)
- 배당을 고려했어요? (인기마만 찍은 착시 아니에요?)
- 제대로 검증했어요? (미래 정보가 안 새어들었나요?)
오해는 마세요 — 분석이 헛되단 게 아니에요
이것도 균형을 잡을게요. "그럼 다 못 믿겠네"가 아니에요. 3화의 벤터가 보여줬듯 진짜 우위는 분명히 존재해요. 다만 그 우위는 "정확도 자랑"이 아니라 "정직한 확률 읽기" 에서 나온다는 거예요. 그게 진짜 실력이고요.
마장지지에서는
그래서 마장지지는 "적중률 X%" 같은 걸 내세우지 않아요. 그건 대개 착시거든요. 대신 데이터를 정직하게, 읽기 쉽게 보여주는 쪽을 택했어요. 판단의 재료는 드리되, 없는 확신을 파는 일은 안 하려고요.
한 가지만 기억하면: 정확도가 높다고 돈이 되는 게 아니에요. "적중률 90%" 광고 뒤엔 인기마 착시·과적합이 숨어 있을 때가 많아요. 진짜는 정직한 확률 읽기예요.
숫자가 화려할수록 한 번 더 의심하기 — 그게 데이터를 건강하게 대하는 법이에요. 판단은 언제나 여러분 몫이고요. 🐎