결론부터 말씀드리면, 로컬 AI는 내 PC 안에서만 답을 만들지만, 설정 한 줄이나 설치 명령 하나로 같은 네트워크나 인터넷 쪽에 문이 열릴 수 있습니다. AI 업무 자동화를 로컬 AI로 시작하려는 작은 회사라면 Open WebUI 설치 전에 네 가지만 확인하시면 됩니다. 로컬 AI가 어느 주소로 열려 있는지, 화면을 어느 주소로 띄우는지, 첫 계정을 누가 만드는지, 무엇을 넣을지입니다. 저희 회사 PC도 오늘 같은 순서로 점검했고, 그 결과를 아래에 적었습니다.
로컬 AI가 다시 화제인 이유
로컬 AI는 챗GPT처럼 남의 서버에 질문을 보내지 않고, 내 컴퓨터에 내려받은 모델이 직접 답하는 방식입니다. 이번 주에는 조코딩 채널의 쇼츠 "로컬 AI를 함부로 쓰면 안되는 이유"가 올라온 지 엿새 만에 조회수 5만 5천 회를 넘겼습니다(11월 13일 확인). 공짜이고 내 자료가 밖으로 안 나간다는 장점만 알려졌는데, 조심할 점을 궁금해하는 분이 그만큼 많다는 뜻입니다.
그 한가운데에 있는 도구가 Open WebUI입니다. 내 PC의 모델을 챗GPT 같은 대화 화면으로 쓰게 해 주는 무료 프로그램이고, 깃허브 저장소의 별은 11월 13일 기준 약 15만 8천 개입니다. 소개 글에는 인터넷 없이도 돌아가도록 만들었다고 적혀 있습니다. 미리 말씀드리면 저희는 아직 이 프로그램을 설치하지 않았습니다. 모델을 돌리는 프로그램인 올라마(Ollama)만 쓰고 있어서, 이 글은 저희 PC 점검 결과와 공식 문서에서 확인한 내용으로만 썼습니다.
실제로 있었던 일: 열려 있던 서버 17만 5천 대
"내 PC에서만 도니까 안전하다"는 말은 절반만 맞습니다. 올라마 공식 문서에 따르면 올라마는 기본으로 127.0.0.1의 11434번 문만 엽니다. 127.0.0.1은 '이 컴퓨터 자신'을 뜻하는 주소라서 다른 기기는 들어올 수 없습니다. 같은 문서에는 내 PC에서 돌릴 때 질문과 자료를 올라마 쪽에서 보지 않는다고도 적혀 있습니다.
문제는 이 주소를 바꿀 때 생깁니다. 다른 기기에서도 쓰려고 설정값(OLLAMA_HOST)을 0.0.0.0으로 바꾸면 '어디서든 들어와도 된다'는 뜻이 됩니다. 보안 매체 시큐리티위크의 올해 1월 30일 보도에 따르면 보안 회사 센티넬원과 센시스가 293일 동안 살펴본 결과, 인터넷에 그대로 열려 있는 올라마 서버가 130개 나라에서 17만 5천 대 확인됐습니다. 남이 내 PC의 모델을 마음대로 불러 쓸 수 있는 상태였다는 뜻입니다.
Open WebUI 설치 전에 확인할 네 가지
하나, 지금 어느 주소로 열려 있는지 봅니다. 윈도우 검색창에 cmd를 쳐서 검은 창을 열고 netstat -ano | findstr 11434 를 입력합니다. 저희 PC(올라마 0.40.16)는 127.0.0.1:11434 로 나왔고, 이 PC의 다른 주소로 접속을 시도하니 연결되지 않았습니다. 여기에 0.0.0.0이 보이면 바깥으로 열린 것이니 설정을 되돌리셔야 합니다.
둘, 화면을 내 PC에만 띄웁니다. 공식 안내의 도커 설치 명령에는 -p 3000:8080 이 들어 있습니다. 도커 공식 문서는 이렇게 문을 여는 방식이 기본적으로 안전하지 않고, 바깥에서도 접근할 수 있게 된다고 설명합니다. 혼자 쓸 거라면 -p 127.0.0.1:3000:8080 처럼 앞에 127.0.0.1을 붙이면 그 PC에서만 열립니다. 도커 없이 설치하는 방법(pip install open-webui)은 파이썬 3.11이나 3.12가 필요합니다.
셋, 첫 계정은 설치한 사람이 바로 만듭니다. Open WebUI 공식 시작 문서에 따르면 처음 만든 계정이 관리자가 되고, 그 뒤에는 관리자가 가입을 열고 승인해야 다른 계정이 들어옵니다. Open WebUI 설치 직후 화면을 띄워 둔 채 자리를 비우지 말고, 그 자리에서 관리자 계정부터 만드시기 바랍니다.
넷, 넣을 자료와 붙일 도구를 정합니다. 로컬 AI라도 화면에 올린 문서는 그 PC에 저장됩니다. PC를 여럿이 쓰면 계정을 나누고, 웹 검색이나 외부 도구 연결은 필요할 때만 켭니다. 내려받은 도구를 열어 보고 쓰는 요령은 에이전트 스킬 설치 전 점검 글에 따로 적어 두었습니다.
작은 회사의 AI 업무 자동화에는 어디까지 맞을까
저희는 둘이서 운영하는 작은 회사이고, 올라마에 구글 젬마 계열 모델을 받아 두고 있습니다. 써 보면 요약이나 분류처럼 단순하고 반복되는 일은 로컬 모델로 충분하고, 긴 글이나 복잡한 판단은 여전히 유료 모델이 낫습니다. 어떤 그래픽카드에서 어느 크기 모델이 도는지는 로컬 LLM 사양 글에 기록해 두었습니다.
같은 점검은 다른 오픈소스에도 그대로 쓰입니다. 저희가 공개한 혼자서 회사처럼 일하는 AI 오픈소스 다섯 가지 지침에는 n8n 같은 자동화 도구의 설치 명령이 들어 있는데, 이런 도구도 PC에 화면을 띄우는 방식이라 설치 명령을 붙여 넣기 전에 '어느 주소로 열리는지'부터 보시면 됩니다. AI 업무 자동화는 도구를 많이 까는 일이 아니라, 깔아 둔 도구가 어디로 열려 있는지 아는 데서 시작한다고 생각합니다.
우리 가게나 사무실에 로컬 AI가 맞는지, 어떤 일부터 맡길지 막막하시면 AI 업무 자동화 문의로 상황을 남겨 주세요.
자주 묻는 질문
로컬 AI는 인터넷을 끊어도 되나요? 모델을 내려받을 때만 인터넷이 필요하고, 받은 뒤에는 끊어도 답합니다. Open WebUI도 인터넷 없이 돌아가도록 만들었다고 소개합니다.
집 공유기 뒤에 있으면 괜찮나요? 주소가 127.0.0.1이면 같은 공유기를 쓰는 다른 기기도 들어오지 못합니다. 0.0.0.0으로 바꾸면 같은 와이파이를 쓰는 기기가 접속할 수 있고, 공유기 설정에 따라 인터넷 쪽에도 열릴 수 있습니다.
Open WebUI는 회사에서 써도 무료인가요? 프로그램은 무료입니다. 다만 저장소에는 Open WebUI 이름과 로고 표시를 유지해야 한다는 자체 라이선스 조건이 적혀 있으니, 화면을 고쳐서 쓰려면 조건을 먼저 읽어 보시기 바랍니다.