요즘 "에이전트한테 다 맡기면 되는 거 아니야?"라는 질문을 정말 자주 받는다. 나도 처음엔 그렇게 생각했다. AI에게 업무를 하나씩 떼어주면서 회사를 굴리다 보니, 실제로는 "다 맡긴다"가 아니라 "뭘 맡기고 뭘 안 맡길지"를 매일 판단하는 게 진짜 일이라는 걸 깨달았다. 그리고 이 판단 기준이 생각보다 명확하게 정리된다는 것도.
최근 나온 업계 조사 하나가 이 감각을 숫자로 확인시켜줬다. FifthRow 조사에 따르면 에이전트 자동화를 파일럿(시범 운영)으로 시작한 기업 중 실제 프로덕션(본 운영) 단계까지 넘어간 비율은 11~14%에 불과했다. 열에 아홉은 "해보니까 괜찮던데?"에서 멈추고 실전 투입까지는 못 간다는 뜻이다. 나는 매일 에이전트를 회사 안에서 굴리는 입장이라, 왜 이런 결과가 나오는지 몸으로 이해가 된다.
왜 파일럿은 성공하고 실전은 실패할까
실패 원인으로 꼽히는 건 대체로 비슷하다. 에이전트에게 무제한에 가까운 자율성을 준 경우, 업무 범위가 애매하게 정의된 경우, 사람이 중간에 개입할 지점이 없는 경우, 그리고 결정적으로 "잘못됐을 때 되돌릴 방법(롤백 경로)"이 없는 경우다. 데모에서는 문제없이 돌아가던 워크플로우가, 실제 매일 반복되는 업무 안에 들어오면 이런 빈틈에서 터진다. 의도를 잘못 읽고 원치 않는 메일을 보내거나, 예상 밖의 결제를 진행하거나, 중요한 파일을 지워버리는 사례가 실제로 보고된다.
이 회사를 혼자 운영하면서 내가 세운 원칙도 결국 이 실패 원인들을 거꾸로 뒤집은 것에 가깝다. "범위가 명확한가, 되돌릴 수 있는가, 사람이 검수할 지점이 있는가" — 이 세 가지를 통과하는 업무만 에이전트에게 완전히 넘긴다.
내가 완전히 맡기는 일들
매일 아침 뉴스 후보를 리서치하고 정리하는 작업, 블로그 초안을 쓰는 작업, SNS 카드뉴스와 캡션 초안을 만드는 작업은 이제 손을 거의 대지 않는다. 이유는 단순하다. 결과물이 잘못돼도 되돌릴 수 있고(초안일 뿐, 아직 아무것도 발행되지 않았다), 업무 범위가 "이 형식으로, 이 분량으로, 이 톤으로"라고 명확하게 정의돼 있고, 최종 발행 전에 내가 한 번은 반드시 훑어보는 검수 지점이 있기 때문이다. 이런 조건이 갖춰지면 에이전트는 신입 직원치고는 놀랍도록 꾸준하고 빠르다.
아직은 내가 직접 누르는 버튼들
반대로 실제 발행·게시 버튼, 결제나 환불 같은 금전이 오가는 작업, 외부 파트너에게 나가는 최종 커뮤니케이션은 지금도 내가 직접 확인하고 누른다. 이 작업들의 공통점은 하나다. 잘못되면 되돌릴 수 없거나, 되돌리는 비용이 너무 크다는 것. "능력 있고 실행도 빠르지만 가끔 실수하는 신입 사원처럼 관리하라"는 말이 요즘 업계에서 자주 나오는데, 나는 이 표현이 꽤 정확하다고 느낀다. 신입 사원에게 초안 작성은 믿고 맡겨도, 회사 도장을 맡기진 않는 것과 같은 이치다.
판단 기준을 도구가 아니라 업무에 적용하기
여기서 중요한 건 "이 툴은 믿을 만하다/아니다"가 아니라 "이 업무가 자동화에 적합한 구조인가"를 먼저 보는 것이다. 같은 에이전트라도 초안 작성에 쓰면 안전하고, 최종 발행 버튼을 누르는 데 쓰면 위험할 수 있다. 그래서 나는 새 업무를 에이전트에게 넘길 때마다 세 가지를 먼저 확인한다. 되돌릴 수 있는 결과물인가, 범위가 구체적으로 정의됐는가, 사람이 개입할 검수 지점을 넣을 수 있는가. 이 세 가지 중 하나라도 애매하면 아직은 넘기지 않는다.
솔로 창업가에게 AI 에이전트 스택의 매력은 분명하다. 월 몇백 달러로 예전이라면 팀 전체가 해야 했던 일을 처리할 수 있다는 것. 하지만 그 매력에 취해서 "일단 다 맡기고 보자"로 가면 앞서 본 11~14%의 실패 통계에 나도 포함될 수 있다. 결국 관건은 얼마나 많은 걸 자동화하느냐가 아니라, 어떤 업무를 어떤 안전장치와 함께 자동화하느냐다. 나는 오늘도 이 세 가지 질문을 던지며 하나씩 넘기고 있다. 이런 시행착오를 처음부터 끝까지 기록한 게 「AI 회사를 만들었습니다 -실전편-」입니다.
작성: Art Gourmet