#로컬 LLM

전용 AI 장비 사기 전, 지금 PC로 할 일

로컬 LLM은 Ollama나 LM Studio 같은 무료 도구로 지금 쓰는 PC에서도 바로 띄울 수 있고, 8GB 메모리 기기는 3B급 소형 모델부터 시작하면 된다. 로컬 모델의 한계는 메모리와 속도에서 오는데, 메모리가 돌릴 수 있는 모델 크기를 정하고 GPU 유무가 응답 속도를 좌우한다. DGX 스파크 같은 전용 장비는 대형 모델 상시 사용·프라이버시·오프라인이 필요할 때 값어치가 생기므로, 그 전에 지금 PC로 한계를 확인하는 것이 순서다.