전용 AI 장비 사기 전, 지금 PC로 할 일
로컬 LLM은 Ollama나 LM Studio 같은 무료 도구로 지금 쓰는 PC에서도 바로 띄울 수 있고, 8GB 메모리 기기는 3B급 소형 모델부터 시작하면 된다. 로컬 모델의 한계는 메모리와 속도에서 오는데, 메모리가 돌릴 수 있는 모델 크기를 정하고 GPU 유무가 응답 속도를 좌우한다. DGX 스파크 같은 전용 장비는 대형 모델 상시 사용·프라이버시·오프라인이 필요할 때 값어치가 생기므로, 그 전에 지금 PC로 한계를 확인하는 것이 순서다.
사기 전에, 지금 쓰는 PC로 먼저 돌려본다
개인용 AI 컴퓨터가 궁금하다면 순서를 거꾸로 잡는 편이 낫다. 수백만 원짜리 전용 장비를 알아보기 전에, 지금 쓰는 노트북이나 데스크톱으로 로컬 모델을 먼저 띄워보는 것이다. 설치는 무료이고, 어디서 막히는지 직접 겪어봐야 어떤 장비가 필요한지도 보인다.
로컬 LLM은 인터넷 없이 내 기기 안에서만 도는 언어 모델을 말한다. 대화 내용이 밖으로 나가지 않고, 사용량에 따른 요금도 없다. 대신 성능은 전적으로 내 하드웨어에 달린다.
10분이면 되는 첫 실행
Photo by Daniel Eliashevskyi on Unsplash
가장 간단한 도구는 Ollama다. 맥·윈도우·리눅스를 지원하고, 설치한 뒤 명령어 한 줄이면 모델을 내려받아 실행한다. 화면 조작이 편하면 GUI 방식인 LM Studio를 써도 된다.
처음부터 큰 모델을 고를 필요는 없다. RAM이 8GB인 기기라면 라마 3.2의 30억(3B) 파라미터 모델처럼 2GB 안팎의 소형 모델로 시작하는 것이 안전하다. RAM이 16GB쯤 되면 80억(8B) 모델도 무리가 없다. 명령어에 모델 이름만 넣으면 기기에 없는 모델은 자동으로 내려받아 실행되므로, 따로 설치 과정을 거칠 필요가 없다.
한계는 메모리와 속도에서 온다
로컬 모델의 벽은 대체로 두 곳이다.
첫째는 메모리다. 모델 크기가 곧 필요한 메모리다. 7B 모델은 4비트로 압축(양자화)하면 약 4.5GB면 돌지만, 13B는 16GB, 70B급은 40GB 이상을 요구한다. 지금 기기의 메모리가 올릴 수 있는 모델의 상한을 정하는 셈이다.
둘째는 속도다. 전용 그래픽카드(GPU)가 없으면 CPU만으로도 돌긴 하지만 느리다. 일반 노트북 CPU는 초당 2~8개 단어 수준인 반면, RTX 4060 같은 GPU에서는 초당 20~50개까지 나온다. 긴 답변일수록 이 차이가 체감된다. 애플 실리콘 맥은 통합 메모리를 그래픽 메모리처럼 써서 상대적으로 유리하다.
이 두 벽을 직접 만나보면, 내가 쓰려는 모델 크기와 속도가 지금 기기로 감당되는지 분명해진다.
전용 장비가 필요해지는 순간
여기까지 해보고 "더 큰 모델을 빠르게, 자주" 돌려야 한다는 결론이 서면 그때가 전용 장비를 볼 시점이다. 엔비디아가 내놓은 DGX 스파크가 대표적이다. 128GB 모델은 통합 메모리 128GB에 최대 2000억 파라미터 모델까지 실행한다고 소개된다.
다만 가격은 가볍지 않다. 메모리 절반인 64GB 모델이 2026년 10월 23일부터 4,999달러에 팔리고, 128GB 모델은 출시가 3,999달러에서 올라 자료에 따라 4,699~6,950달러로 엇갈린다. 메모리 공급난이 가격을 밀어 올린 영향으로 보이므로, 구매 전에는 공식 판매 페이지의 최신 가격을 확인하는 편이 안전하다.
판단 기준은 단순하다. 가끔 작은 모델을 시험하는 수준이라면 지금 PC로 충분하다. 대형 모델을 상시로 돌리거나, 민감한 데이터를 기기 밖으로 내보낼 수 없거나, 오프라인 환경이 필요할 때 전용 장비의 값어치가 생긴다. 그 조건에 해당하지 않는다면, 장비부터 사는 것은 대개 과투자다.