내 PC로 AI 돌리기, 램 용량 고르는 법

클라우드 AI와 뭐가 다른가

ChatGPT나 Claude를 쓸 때 입력한 문장은 회사 서버로 전송돼 거기서 처리된다. 로컬 AI는 반대다. 모델 파일을 내 컴퓨터에 내려받아 그 안에서 연산이 끝난다. 데이터가 기기 밖으로 나가지 않으니 민감한 문서를 다룰 때 유리하고, 월 구독료나 API 호출 비용도 없다. 인터넷이 끊겨도 돌아간다.

대신 성능의 천장이 내 하드웨어다. 클라우드는 수십 GB짜리 GPU를 여러 장 묶어 쓰지만 집에 있는 PC는 그럴 수 없다. 그래서 "어떤 모델을 올릴 수 있느냐"가 곧 메모리 용량 문제가 된다. Ollama나 LM Studio 같은 도구가 설치는 간단하게 해주지만, 램이 부족하면 애초에 모델이 뜨지 않는다.

메모리는 이렇게 계산한다

Photo by Harrison Broadbent on Unsplash

필요한 메모리는 두 숫자로 거의 정해진다. 모델의 파라미터 수와 양자화 수준이다. 파라미터는 모델 크기를 나타내는 단위로, 7B는 70억 개를 뜻한다. 양자화는 이 파라미터 하나를 몇 비트로 저장하느냐다.

원본(FP16)은 파라미터 하나당 2바이트를 쓴다. 이걸 4비트(Q4)로 압축하면 0.5바이트로 줄어든다. Ollama가 기본으로 내려받는 형식이 이 Q4다. 클라우드 추론 업체 모달(Modal)이 정리한 어림 공식은 '파라미터(10억 단위) × 비트 ÷ 8 × 1.2'다. 끝의 1.2는 연산 중 쓰이는 KV 캐시 같은 여유분 20%다. 예를 들어 70B 모델을 4비트로 돌리면 70 × 0.5 × 1.2, 약 42GB가 나온다.

모델 크기별 실제 용량

모델 크기	Q4 가중치	VRAM 권장	시스템 램만 쓸 때
7B	약 4~6GB	8GB	16GB
13B	약 8GB	12~16GB	32GB
32B	약 18~20GB	24GB	48GB
70B	약 42GB	48GB 이상	64GB 이상

표의 '가중치'는 모델 파일 자체 용량이고, 실제로는 OS와 작업 중인 문맥(컨텍스트)이 메모리를 더 먹는다. 권장치가 가중치보다 넉넉한 이유다. 같은 모델을 8비트로 올리면 용량은 대략 두 배가 된다.

용량과 속도는 다른 문제

램이 충분해 모델이 뜨더라도 느리면 쓸모가 떨어진다. 속도를 좌우하는 건 메모리 용량이 아니라 대역폭이다. AI는 글자 하나를 만들 때마다 모델 가중치 전체를 메모리에서 한 번씩 읽는다. 읽는 통로가 넓을수록 빠르다는 뜻이다.

여기서 그래픽카드의 VRAM과 일반 시스템 램이 갈린다. RTX 4090의 메모리 대역폭은 약 1,000GB/s 수준인데, 일반 DDR 램은 그 수십분의 일에 그친다. 모델이 VRAM에 다 들어가면 빠르고, 용량을 넘겨 시스템 램으로 밀려나면(오프로딩) 속도가 뚝 떨어진다.

애플 실리콘 맥은 구조가 조금 다르다. CPU와 GPU가 통합 메모리를 공유해, 설치된 메모리 전체를 모델에 쓸 수 있다. 그래서 24GB짜리 외장 그래픽카드로는 버거운 70B 모델도 통합메모리 64GB 맥에서는 올라간다. 다만 대역폭은 칩 등급에 따라 크게 차이 나고, 맥은 산 뒤에 메모리를 늘릴 수 없다는 점은 감안해야 한다.

용도별로 고르는 기준

• 문서 요약, 간단한 챗봇, 번역이 목적이라면 7B~8B 모델로 충분하다. 시스템 램 16GB면 돌아가고, 8GB 안팎 그래픽카드가 있으면 쾌적하다.
• 코딩 보조나 긴 문서를 다루는 작업은 13B~32B부터 체감이 달라진다. VRAM 16~24GB, 또는 통합메모리 32GB 이상을 권한다.
• 70B급 대형 모델을 한 대에서 돌리고 싶다면 선택지는 둘이다. 24GB VRAM 그래픽카드를 두 장 묶거나, 통합메모리 64GB 이상인 애플 실리콘 맥을 쓰는 것이다.

구매 전 한 가지만 기억하면 된다. 쓰려는 모델의 Ollama 페이지에서 실제 파일 용량을 먼저 확인하고, 거기에 컨텍스트와 OS 몫으로 몇 GB를 더 얹어 램 용량을 잡는 것이다. 자료마다 숫자가 조금씩 다른 이유는 양자화 수준과 문맥 길이가 제각각이기 때문이다.

출처

1. How much VRAM do I need for LLM inference? (Modal)
2. How to Run LLMs Locally with Ollama (2026 Guide)
3. LLMs & Their Size In VRAM Explained