#로컬 AI
4개의 글
내 PC로 AI 돌리기, 램 용량 고르는 법
로컬 AI에 필요한 메모리는 모델 파라미터 수와 양자화 수준으로 거의 정해지며, 4비트 기준 파라미터 10억 개당 약 0.5GB가 든다. 메모리 용량은 어떤 크기의 모델을 올릴 수 있는지를, 대역폭은 글자를 생성하는 속도를 결정한다. 가벼운 챗봇·요약이면 램 16GB의 7B 모델로 충분하고, 대형 모델이 필요하면 VRAM이 큰 그래픽카드나 통합메모리가 넉넉한 맥을 고르면 된다.
DGX 스파크, 로컬 AI에 실제로 쓸 만할까
DGX 스파크는 128GB 통합 메모리로 70B급 모델을 손바닥만 한 기기에 통째로 올릴 수 있지만, 대역폭이 약 273GB/s에 그쳐 토큰 생성 속도는 제한된다. 큰 모델을 올리는 용량과 빠르게 답하는 속도는 다른 문제여서, 희소 MoE 모델에서 이점이 가장 크다. 데이터 외부 전송 제약과 반복 호출 비용이 크다면 로컬 실행의 가치가 커지고, 최고 품질과 빠른 단답이 목표라면 클라우드 API가 현실적이다.
엔비디아 실적과 그래픽카드값, 로컬 AI라면
엔비디아 FY2027 2분기 데이터센터 매출이 890억 달러로 전체(962억 달러)를 압도하면서, 메모리 제조사들이 소비자용 GDDR보다 AI용 메모리에 생산 능력을 집중하는 구도가 뚜렷해졌다. 그 여파로 GDDR 메모리 값이 지난해 10월 대비 3배 넘게 뛰고 엔비디아가 16GB 모델 출하를 조절하면서, VRAM이 중요한 로컬 생성형 AI 사용자에게 고용량 카드 선택지가 좁아졌다. 구매 시점은 DRAM 가격 추이와 16GB 이상 모델의 실거래가·재고를 지표로 삼되, 지금 필요하면 저점보다 물량 확보를 먼저 고려하는 편이 현실적이다.
로컬 AI 이미지 GPU, VRAM부터 따져라
로컬 AI 이미지 생성용 GPU는 성능 점수보다 VRAM 용량이 무엇을 돌릴 수 있는지를 먼저 결정한다. 최신 Flux 모델까지 쓰려면 16GB가 현실적 하한선이며, 전력은 카드와 CPU를 합산해 순간 스파이크까지 여유를 둬야 한다. 구매 전 돌릴 모델, PSU 용량, 케이스 통풍, 소프트웨어 호환성 네 가지를 스스로 점검하면 된다.