#DGX 스파크

2개의 글

전용 AI 장비 사기 전, 지금 PC로 할 일

로컬 LLM은 Ollama나 LM Studio 같은 무료 도구로 지금 쓰는 PC에서도 바로 띄울 수 있고, 8GB 메모리 기기는 3B급 소형 모델부터 시작하면 된다. 로컬 모델의 한계는 메모리와 속도에서 오는데, 메모리가 돌릴 수 있는 모델 크기를 정하고 GPU 유무가 응답 속도를 좌우한다. DGX 스파크 같은 전용 장비는 대형 모델 상시 사용·프라이버시·오프라인이 필요할 때 값어치가 생기므로, 그 전에 지금 PC로 한계를 확인하는 것이 순서다.

AI 활용

DGX 스파크, 로컬 AI에 실제로 쓸 만할까

DGX 스파크는 128GB 통합 메모리로 70B급 모델을 손바닥만 한 기기에 통째로 올릴 수 있지만, 대역폭이 약 273GB/s에 그쳐 토큰 생성 속도는 제한된다. 큰 모델을 올리는 용량과 빠르게 답하는 속도는 다른 문제여서, 희소 MoE 모델에서 이점이 가장 크다. 데이터 외부 전송 제약과 반복 호출 비용이 크다면 로컬 실행의 가치가 커지고, 최고 품질과 빠른 단답이 목표라면 클라우드 API가 현실적이다.

AI 활용