#온디바이스 LLM

DGX 스파크, 로컬 AI에 실제로 쓸 만할까

DGX 스파크는 128GB 통합 메모리로 70B급 모델을 손바닥만 한 기기에 통째로 올릴 수 있지만, 대역폭이 약 273GB/s에 그쳐 토큰 생성 속도는 제한된다. 큰 모델을 올리는 용량과 빠르게 답하는 속도는 다른 문제여서, 희소 MoE 모델에서 이점이 가장 크다. 데이터 외부 전송 제약과 반복 호출 비용이 크다면 로컬 실행의 가치가 커지고, 최고 품질과 빠른 단답이 목표라면 클라우드 API가 현실적이다.