DGX 스파크, 로컬 AI에 실제로 쓸 만할까
DGX 스파크는 128GB 통합 메모리로 70B급 모델을 손바닥만 한 기기에 통째로 올릴 수 있지만, 대역폭이 약 273GB/s에 그쳐 토큰 생성 속도는 제한된다. 큰 모델을 올리는 용량과 빠르게 답하는 속도는 다른 문제여서, 희소 MoE 모델에서 이점이 가장 크다. 데이터 외부 전송 제약과 반복 호출 비용이 크다면 로컬 실행의 가치가 커지고, 최고 품질과 빠른 단답이 목표라면 클라우드 API가 현실적이다.
128GB 통합 메모리가 바꾸는 것
로컬에서 큰 모델을 못 돌리는 이유는 대부분 메모리다. 일반 그래픽카드는 모델을 올릴 수 있는 전용 메모리(VRAM)가 24~32GB 수준이라, 여기에 안 들어가는 모델은 아예 실행이 안 된다. DGX 스파크의 핵심은 128GB 통합 메모리다. CPU와 GPU가 같은 메모리를 나눠 쓰는 구조라, GPU가 쓸 수 있는 공간이 사실상 128GB까지 열린다.
그래서 700억(70B) 파라미터급 모델을 4비트로 양자화하면 통째로 메모리에 올라간다. 지금까지 데이터센터급 장비가 있어야 했던 크기를 손바닥만 한 기기에서 적재할 수 있다는 뜻이다. 칩은 GB10 그레이스 블랙웰 슈퍼칩, 운영체제는 우분투 기반의 DGX OS다. 엔비디아는 4비트(FP4) 기준 약 1페타플롭의 연산 성능을 내세운다.
용량은 되는데, 속도는 다른 문제
Photo by Harrison Broadbent on Unsplash
여기서 중요한 함정이 있다. 모델이 '올라가는 것'과 '빠르게 답하는 것'은 다르다. 토큰을 뽑아내는 속도는 메모리 대역폭에 크게 좌우되는데, DGX 스파크의 대역폭은 약 273GB/s다. 비교하자면 애플 M3 울트라의 3분의 1, RTX 5090의 4분의 1 수준이다.
그 결과 70B 같은 조밀한(dense) 모델은 올라가긴 해도 응답이 또박또박 느리게 나온다. 반대로 잘 맞는 쪽은 희소 전문가 혼합(MoE) 모델이다. 예를 들어 gpt-oss-120b는 전체 파라미터가 1,170억 개지만 한 토큰을 만들 때 실제로 쓰이는 건 약 51억 개뿐이라, 메모리에는 크게 올라가면서도 계산 부담은 작아 속도 손해가 덜하다. 큰 모델을 '얹을 수 있다'는 점과 '실용 속도로 쓴다'는 점을 분리해서 봐야 하는 이유다.
클라우드 API와 뭐가 다른가
클라우드 API는 토큰 단위로 과금하고, 요청을 외부 서버로 보낸다. DGX 스파크의 이점은 그 반대 지점에 있다.
- 데이터가 기기 밖으로 나가지 않는다. 외부에 올릴 수 없는 사내 자료나 민감 데이터를 다루는 작업에 유리하다.
- 토큰 과금이 없다. 모델을 수백 번 반복 호출하는 실험, 대량 배치 처리, 파인튜닝 같은 작업에서 비용 걱정 없이 돌릴 수 있다.
- 오프라인에서 동작하고, 지연 시간을 스스로 통제할 수 있다.
약점도 분명하다. 공개 가중치 모델은 최신 프런티어 API 모델만큼의 품질을 내기 어렵고, 앞서 본 속도 한계가 있으며, 출시 당시 3,999달러였던 가격은 2026년 2월 메모리·저장장치 비용을 이유로 4,699달러로 올랐다. 초기 비용이 적지 않다.
사기 전에 스스로 물어볼 것
같은 기기라도 용도에 따라 평가가 갈린다. 결정 전에 아래를 점검해 보면 방향이 잡힌다.
- 내가 돌릴 모델이 100B급 공개 모델인가, 아니면 품질상 프런티어 API가 꼭 필요한가.
- 나에게 더 중요한 건 큰 모델을 올리는 용량인가, 빠른 응답 속도인가. 속도가 우선이면 이 기기는 최선이 아닐 수 있다.
- 데이터를 외부로 보낼 수 없는 제약이 있는가. 있다면 로컬 실행의 가치가 가장 크다.
- 지금 쓰는 API 요금이 월 얼마인가. 반복 호출이 많아 과금이 크다면 회수 기간을 계산해 볼 만하다.
정리하면 DGX 스파크는 '큰 모델을 로컬에 통째로 올려 반복 실험·프라이버시가 중요한 작업'에 맞는 장비다. 빠른 단답과 최고 품질이 목표라면 여전히 클라우드 API가 현실적이다. 두 대를 연결해 더 큰 모델을 돌리는 구성도 가능하다고 알려져 있으나, 구체적인 한계치는 공식 사양이 아닌 2차 정보가 많아 구매 전 실제 돌릴 모델로 확인하는 편이 안전하다.