결론부터 말씀드리면, 로컬 LLM 사양은 "모델 파일 크기 + 여유 2GB 정도가 그래픽카드 메모리에 들어가느냐"로 먼저 가늠하시면 됩니다. 저희는 8GB 그래픽카드(RTX 2080) 한 장으로 알리바바 큐웬(Qwen) 7B 모델을 회사 PC에서 돌리고 있고, 덕분에 매일 반복되던 AI API 비용 일부를 끊었습니다. 마침 애플이 중국용 아이폰에 알리바바 큐웬을 넣기로 해 이 모델 이름이 다시 화제라, 큰 회사 뉴스와 작은 회사의 실제 기록을 나란히 적어 봅니다.
애플은 왜 알리바바 큐웬을 골랐을까
2026년 7월 15일 디지털트렌드 보도에 따르면, 중국 사이버공간관리국이 애플 인텔리전스를 중국 내 서비스로 등록했습니다. 같은 보도에서 알리바바는 큐웬 모델이 중국 사용자용 iOS·iPadOS·macOS·visionOS의 애플 인텔리전스에 들어간다고 확인했고, 바이두도 애플과 기능을 함께 만들고 있다고 밝혔습니다. 출시일은 아직 정해지지 않았습니다.
국내에서도 YTN이 「"중국산 모델 채택은 사상 처음"…알리바바 품는 애플의 결단」이라는 쇼츠로 이 소식을 다뤘습니다. 저희가 이 뉴스에 눈이 간 이유는 단순합니다. 알리바바 큐웬은 누구나 내려받아 자기 컴퓨터에서 돌릴 수 있게 공개된 모델이고, 저희가 쓰는 7B 모델도 Apache 2.0 라이선스로 풀려 있기 때문입니다. 애플 같은 회사가 고른 모델을, 작은 회사도 같은 계열로 사무실 PC에 올려 볼 수 있다는 뜻입니다.
로컬 LLM 사양, 8GB 그래픽카드로 실제로 돌려 보니
저희 PC의 그래픽카드는 메모리 8GB짜리 RTX 2080입니다. 여기에 LM Studio(모델을 내려받아 돌려 주는 무료 프로그램)로 큐웬 2.5 VL 7B 모델을 올렸습니다. 모델 파일은 5.81GB였는데, 올리고 나니 그래픽카드 메모리 8,192MB 중 7,701MB를 차지했습니다. 파일 크기보다 2GB 가까이 더 쓴다는 점이 로컬 LLM 사양을 볼 때 첫 번째로 알아 둘 숫자입니다.
속도는 한 번 답하는 데 7~8초였습니다. 같은 PC에서 다른 회사 모델(구글 젬마 2)로 재 보니 2B는 2.2초, 메모리에 다 안 들어가는 9B는 31초가 걸렸습니다. 메모리를 넘는 순간 느려지는 폭이 큽니다. 또 평소에는 영상 편집기·브라우저 같은 다른 프로그램이 그래픽카드를 나눠 써서, 어떤 날은 남은 메모리가 742MB뿐이었습니다. 로컬 LLM 사양을 고를 때는 "모델만 켜 놓은 깨끗한 상태"가 아니라 평소 작업 상태를 기준으로 보셔야 합니다.
AI API 비용을 줄인 뒤 확인한 것 — 사진 읽기와 조용한 실패
로컬로 옮긴 계기는 AI API 비용이었습니다. 지난 8월, 트레이딩 연구용 봇의 마지막 판단이 클라우드 모델로 하루 96번씩 나가던 중 예상하지 못한 청구를 보고 이 단계를 로컬 큐웬으로 바꿨습니다. 그 과정과 7B 모델이 예시 숫자를 그대로 베낀 함정은 새 AI 모델 나올 때마다 갈아타야 할까에 적어 두었고, 지금 이 단계의 호출 요금은 0원입니다.
이번에 새로 적을 것은 큐웬 VL 모델의 사진 읽기입니다. 8월 말 사진 정리에 쓸 수 있을지 시험했을 때, 카메라 렌즈 몸통에 적힌 작은 모델명까지 읽어 냈습니다. 대신 아주 큰 사진(가로 9,600px)은 요청 자체를 거절해서 가로 768px로 줄여 보내야 했고, 한 장에 24초쯤 걸렸습니다. 계산해 보니 사진 2,200장이면 15시간 가까이 걸려, 실제로 맡긴다면 밤에 나눠 돌려야 하는 양이었습니다.
더 중요한 교훈은 다른 모델에서 나왔습니다. 같은 PC에서 올라마로 돌린 구글 젬마 4는 사진이 까맣게 들어왔는데도 "안 보인다"고 하지 않고 "어둡고 추상적인 패턴"이라며 그럴듯한 설명을 지어냈습니다. 그래서 저희는 정답을 아는 사진 10장으로 먼저 맞는지 확인한 뒤에 일을 맡긴다는 규칙을 정해 두었습니다. AI API 비용을 아끼려고 로컬로 옮길 때도, 답이 맞는지 확인하는 단계는 빼면 안 됩니다.
작은 회사가 로컬 LLM을 고려할 때 보는 순서
저희 기준은 세 가지입니다. 첫째, 하루에 같은 일을 수십 번 반복해 AI API 비용이 계속 쌓이는 일인가. 둘째, 답이 조금 틀려도 사람이 잡거나 규칙으로 걸러낼 수 있는 일인가. 셋째, 회사 밖으로 내보내기 싫은 자료를 다루는 일인가. 셋 중 둘 이상이면 로컬을 시험해 볼 만합니다. 반대로 긴 글쓰기나 어려운 코드처럼 품질이 중요한 일은 지금도 클라우드 모델에 맡깁니다.
클라우드 쪽 요금을 줄이는 방법은 클로드 하이쿠 5.5로 바꾸면 얼마나 아낄까에, 공개 모델 위에서 서비스를 만드는 흐름은 오픈웨이트 모델 시대의 AI 래퍼 수익화에 정리해 두었습니다. 회사 업무 중 어떤 일을 로컬로, 어떤 일을 클라우드로 보낼지 함께 나눠 보고 싶으시면 업무 자동화 문의로 남겨 주세요.
자주 묻는 질문
Q. 로컬 LLM 사양, 그래픽카드 없이도 되나요?
작은 모델은 CPU로도 돌아가지만 답이 느립니다. 저희가 CPU만으로 재 본 적은 없지만, 그래픽카드 메모리를 조금 넘친 9B 모델만 해도 31초가 걸렸으니 CPU만으로는 그보다 느리다고 보시는 게 안전합니다. 매일 쓰실 거라면 그래픽카드 메모리부터 확인하시길 권합니다.
Q. 알리바바 큐웬을 회사에서 써도 되나요?
저희가 쓰는 7B 모델은 Apache 2.0 라이선스라 상업적 사용이 가능합니다. 다만 모델마다 라이선스가 다르니 내려받을 때 모델 페이지의 라이선스 칸을 꼭 확인하세요.
Q. 로컬로 바꾸면 AI API 비용이 0원이 되나요?
옮긴 단계만 0원이 됩니다. 저희도 글쓰기·코드 같은 일은 여전히 유료 모델을 씁니다. 전기 요금과 PC를 켜 두는 부담은 따로 생깁니다.