"차트 캡처해서 AI한테 보여주면 사야 할지 팔아야 할지 알려주지 않을까?" 요즘 AI 차트 분석을 검색해 보면 이런 기대가 많습니다. 저희는 AI 크루와 함께 자동매매를 연구하는 작은 회사라서, 이걸 감으로 두지 않고 이미지를 읽는 AI(비전 모델)에게 차트를 120번 보여주고 판정을 받아봤습니다. 결론부터 말씀드리면, 120번 전부 "거부"였습니다. 사라는 후보도 거부, 팔라는 후보도 거부. 이 글은 그 실측 기록입니다.
1. AI 차트 분석, 어떻게 시험했나
저희 PC에서 돌아가는 공개 비전 모델(이미지를 읽는 AI)을 썼습니다. 금(XAUUSD) 15분봉의 과거 60개 시점을 골라, 각 시점마다 "지금 매수해도 되나", "지금 매도해도 되나"를 따로 물었습니다. 합쳐서 120번입니다. AI에게는 그 시점까지의 차트 이미지만 주고, 미래 봉은 보여주지 않았습니다. 답은 "허용" 또는 "거부" 둘 중 하나로 받았고, 실제로 그 뒤 가격이 어떻게 됐는지와 대조했습니다.
이 시험을 하려고 AI 크루 셋(계획·구현·검수 담당)이 먼저 '다시보기 평가 도구'를 만들었습니다. 실제 계좌나 매매 프로그램은 전혀 건드리지 않고, 과거 차트를 한 장씩 꺼내 보여주는 도구입니다.
2. 결과: 120번 모두 거부, 판정과 결과는 무관
AI는 120번 모두 "거부"라고 답했습니다. 같은 차트를 두고 매수 후보도 거부하고 매도 후보도 거부했으니, 방향을 가려내는 능력은 0%였습니다. 더 중요한 숫자는 이것입니다. 아무 필터 없이 전부 진입했을 때의 승률이 43.3%였는데, AI가 거부한 후보들의 승률도 똑같이 43.3%였습니다. 즉 AI의 판정은 결과와 아무 관계가 없었습니다. "조심스러운 AI"처럼 보이지만, 사실은 아무 정보도 주지 않은 것과 같습니다.
속도도 문제였습니다. 차트 세 장을 한 번에 보내면 답까지 11~16초가 걸려, 저희가 정한 유효 시간 15초를 넘기기 일쑤였습니다. 이미지를 더 작게 줄이면 10초 안쪽으로 들어오긴 했습니다.
3. "판정" 대신 "설명"을 시키면 달라질까
그래서 질문을 바꿔봤습니다. 사라, 팔라를 묻지 않고 "지금 차트 전체 추세가 상승·하락·횡보 중 무엇이냐"만 물었습니다. 이건 꽤 잘했습니다. 데이터로 계산한 정답과 63% 일치했고, 차트에 20봉 이동평균선과 시작가 점선, 격자를 그려 넣자 80%까지 올라갔습니다. 설명은 일관되게 뽑아냅니다.
문제는 그 설명을 매매 규칙으로 바꾸는 순간입니다. "추세 방향이면 허용, 역추세면 거부"로 두 번 시험했더니, 한 번은 추세 따라가기 승률 28%·역추세 66%, 다른 한 번은 추세 따라가기 49%·역추세 39%로 결과가 정반대로 뒤집혔습니다. AI 없이 데이터만으로 같은 추세 규칙을 계산해도 똑같이 흔들렸습니다. 결국 AI의 "설명"은 다섯 줄짜리 지표 계산을 노이즈 섞어 흉내 낸 것에 가까웠고, 그 지표 자체에 안정된 우위가 없었던 겁니다.
4. 지난 8월에 다른 AI로 했을 때도 비슷했습니다
이번이 처음은 아닙니다. 8월에는 대화형 AI에게 한 달치 5분봉 차트를 날짜와 가격대를 가린 채 하나씩 보여주고 판단을 받는 블라인드 테스트를 세 번 했습니다. 승률이 완만한 하락장에서 47%, 완만한 상승장에서 54%, 급등락 장에서 32%였습니다. 방향은 대체로 맞혔는데, 장세가 거칠어질수록 신뢰도가 뚝 떨어지는 패턴이 가장 뚜렷했습니다. 손익비 덕에 기대값이 플러스인 구간도 있었지만, 표본이 얕아 "실거래해도 된다"는 결론까지는 못 갔습니다.
5. 저희가 내린 결론 3가지
① AI에게 차트를 보여주고 매매 판정을 받는 건, 지금 수준에선 근거가 없습니다. "거부"가 많다고 신중한 게 아닙니다. 거부한 것과 허용한 것의 결과가 같으면 아무것도 모르는 겁니다.
② 판정이 아니라 설명 용도로는 쓸 만합니다. "지금 추세가 어느 쪽인가"를 사람이 보기 쉽게 정리해 주는 정도. 다만 그 설명은 지표 몇 줄로도 구할 수 있다는 걸 알고 써야 합니다.
③ 시험할 때 두 가지를 꼭 확인하세요. 하나는 AI의 판정이 결과와 관계가 있는지(허용 승률과 거부 승률이 다른지), 다른 하나는 다른 기간에서 같은 방향이 나오는지입니다. 한 번 잘 나온 결과는 우연일 때가 많았습니다.
마무리 — 그래서 AI 차트 분석은 어떻게 쓰고 있나
저희는 이 결과를 보고 비전 AI를 진입 필터로 쓰는 계획을 접었습니다. 지금은 판정만 기록하고 실제 매매에는 관여하지 않는 '그림자 모드'로 두고, 설명을 더 잘 뽑는 방향을 다음 과제로 남겼습니다. 저희가 AI 크루와 매매 연구를 어떻게 이어가는지는 실시간 트레이딩 페이지에서 볼 수 있고, AI와 함께 회사를 꾸리며 겪은 시행착오는 「AI 회사를 만들었습니다 -실전편-」 전자책에 정리해 두었습니다.
작성: Art Gourmet · 본문 수치는 저희 자체 실측 결과이며 투자 권유가 아닙니다. 과거 성과는 미래 수익을 보장하지 않습니다.