AI에게 일을 시키는 건 이제 어렵지 않습니다. 진짜 어려운 건 그다음, "AI가 해 온 이 결과물을 믿어도 되나?"입니다. AI 결과물 검수나 AI 할루시네이션 확인 방법을 찾아보면 "출처를 확인하세요" 같은 원칙은 많은데, 실제로 어떤 식으로 속는지에 대한 이야기는 드뭅니다. 저희는 둘이서 AI 크루와 함께 회사를 꾸리고 있고, 둘 다 코딩 전문가가 아닙니다. 그래서 AI가 만든 코드나 글이 맞는지 눈으로 판별하기 어렵습니다. 오늘은 저희가 실제로 속았던 네 번의 장면과, 그 뒤로 굳힌 검수 루틴을 정리합니다.
1. AI는 틀릴 때도 자신 있게 말합니다
언어 모델은 '그럴듯한 다음 말'을 이어 붙이는 방식으로 작동합니다. 그래서 모르는 내용도 자연스러운 문장으로 채워 넣을 때가 있습니다. 흔히 말하는 할루시네이션(환각)입니다. 문제는 틀린 답이 틀린 티를 내지 않는다는 점입니다. 말투는 늘 차분하고 확신에 차 있습니다. 여러 단계를 스스로 이어서 일하는 AI 에이전트는 여기에 한 겹이 더 붙습니다. 1단계의 작은 오해가 2단계, 3단계로 번지며 커지기 때문입니다.
그런데 저희가 겪어 보니, 속는 지점은 AI의 '말'만이 아니었습니다. 도구가 돌려주는 "성공/실패" 신호도 자주 틀렸습니다. 이 둘을 같이 봐야 검수가 됩니다.
2. 저희가 실제로 속았던 네 번의 장면
- "100% 완료" 보고, 그런데 마지막 버튼은 안 눌림 — 앱 수정 작업을 맡긴 AI 에이전트가 "100% 완료"라고 보고했습니다. 코드는 실제로 고쳐져 있었습니다. 하지만 고친 앱을 스토어에 다시 제출하는 마지막 단계는 아무도 하지 않은 채 11일이 지나 있었습니다. 코드 수정과 실제 반영은 다른 일이었던 거죠.
- "성공" 응답, 그런데 화면엔 그대로 — 유튜브 썸네일을 바꾸는 요청에 시스템이 성공 응답을 돌려줬는데, 실제 채널에는 반영되지 않았습니다. 결국 사람이 직접 올렸습니다.
- "실패" 응답, 그런데 실제로는 올라감 — 반대 경우도 있었습니다. 인스타그램 게시 요청에 실패 응답이 왔는데, 계정에 들어가 보니 게시물은 멀쩡히 올라가 있었습니다. 응답만 믿고 바로 다시 올렸다면 같은 글이 두 번 올라갔을 겁니다.
- "교차 확인했습니다", 그런데 주어가 뒤바뀜 — AI가 쓴 글 초안의 출처 링크는 모두 진짜였습니다. 그런데 그 안에서 "어느 기관이 무엇을 했는지"가 서로 뒤바뀌어 있었습니다. 초안 끝에는 "교차 확인했다"는 메모까지 붙어 있었습니다. 링크가 진짜라고 내용까지 맞는 건 아니었습니다.
네 장면의 공통점은 하나입니다. 보고·응답·메모는 결과가 아니라 '결과에 대한 주장'이라는 것입니다. 에러 메시지가 진짜 원인과 다른 말을 하는 경우도 비슷한데, 그 이야기는 「AI 자동화 에러 메시지는 자주 거짓말합니다」에 따로 정리해 두었습니다.
3. AI 결과물 검수 1단계 — '완료'라는 말 대신 '증거'를 받습니다
그래서 저희는 AI가 "완료했습니다"라고 하면 그 말을 결과로 치지 않습니다. 대신 증거를 요구합니다. 파일을 만들었다면 파일 경로와 실제 내용 일부, 코드를 고쳤다면 어디가 어떻게 바뀌었는지, 웹에서 가져온 정보라면 출처 주소를 같이 받습니다. 그리고 가장 중요한 것 — 최종 결과가 사는 곳을 직접 봅니다. 앱이면 스토어 화면, 글이면 실제 페이지, 게시물이면 실제 계정입니다. 위의 네 장면은 모두 이 한 단계로 잡을 수 있었습니다.
비개발자도 쓸 수 있는 질문이 있습니다. "숫자 세 개만 다시 계산해서 보여줘", "방금 만든 파일 목록을 보여줘", "이 주장의 출처 링크와 해당 문장을 같이 줘". 이때 AI가 말을 돌리거나, 링크를 열었는데 내용이 다르거나, 파일이 실제로 없다면 결과물 전체를 의심할 신호입니다. 그리고 미리 이렇게 못 박아 두면 도움이 됩니다. "실패했으면 실패한 그대로 보고해 줘." 실패를 숨기지 않게 만드는 것이 검수의 절반입니다.
4. 2단계 — AI끼리 서로를 검수시킵니다 (단, '지적'만 믿습니다)
사람이 적은 회사에서 가장 현실적인 방법은 AI 교차 검증입니다. 한 AI가 만든 결과물을 다른 AI(또는 같은 AI의 새 대화창)에 주고 "틀린 부분, 근거 없는 주장, 빠진 부분을 찾아봐"라고 요청합니다. 만든 쪽은 자기 결과물에 관대하고, 처음 보는 쪽은 훨씬 날카롭게 허점을 찾아냅니다. 저희 홈페이지 글도 발행 전에 이 과정을 거치는데, 특히 기관 이름·날짜·숫자·"누가 무엇을 했는지"는 원문과 한 줄씩 대조하게 합니다. 위의 '주어 뒤바뀜'이 이렇게 걸렸습니다.
주의할 점도 있습니다. 검수하는 AI도 틀립니다. 그래서 "문제 없음"이라는 답보다 "여기가 의심스럽다"는 지적에 가치가 있습니다. 지적받은 곳만 사람이 직접 확인하면 되니, 전체를 다 보는 것보다 훨씬 덜 듭니다. 교차 검증은 '정답 판정기'가 아니라 '의심 지점을 좁혀 주는 필터'로 쓰시길 권합니다.
5. 3단계 — 되돌릴 수 없는 일은 사람이 마지막 버튼을 누릅니다
두 단계를 거쳐도 100%는 없습니다. 그래서 마지막 안전장치는 "틀리면 되돌릴 수 있는 일인가"로 나눕니다. 초안, 요약, 아이디어 정리는 AI가 알아서 해도 됩니다. 결제, 대량 삭제, 외부 발행, 고객 데이터는 사람이 최종 승인합니다. 이 기준을 어떻게 나누는지는 「AI 에이전트에게 진짜 맡겨도 되는 일 vs 아직은 내가 확인하는 일」에 자세히 적어 두었고, 검수가 늘어나 오히려 더 바빠지는 문제는 「AI가 일을 다 해주는데 왜 더 바쁠까」에서 다뤘습니다.
마무리 — AI 할루시네이션 확인, 오늘 바로 할 수 있는 한 가지
정리하면 이렇습니다. 첫째, '완료'라는 말 대신 증거를 받고 최종 결과가 사는 곳을 직접 봅니다. 둘째, AI끼리 서로 검수시키되 '지적'만 믿습니다. 셋째, 되돌릴 수 없는 일은 사람이 마지막 버튼을 누릅니다.
오늘 당장 해 보실 수 있는 가장 작은 실천은 하나입니다. 다음에 AI가 "다 했습니다"라고 하면, "증거를 보여줘"라고 한 번만 되물어 보세요. 그 한마디가 가장 싼 보험이 됩니다. AI 크루에게 일을 나눠 맡기고 검수하는 방식 전체는 「AI 회사를 만들었습니다 -실전편-」 전자책에 정리해 두었습니다. 여러분은 AI의 결과물을 어떻게 확인하고 계신가요?
작성: Art Gourmet · 본문 사례는 2026년 8~9월 저희 회사에서 실제로 있었던 일입니다. 외부 통계는 인용하지 않았습니다.