#양자화
1개의 글
내 PC로 AI 돌리기, 램 용량 고르는 법
로컬 AI에 필요한 메모리는 모델 파라미터 수와 양자화 수준으로 거의 정해지며, 4비트 기준 파라미터 10억 개당 약 0.5GB가 든다. 메모리 용량은 어떤 크기의 모델을 올릴 수 있는지를, 대역폭은 글자를 생성하는 속도를 결정한다. 가벼운 챗봇·요약이면 램 16GB의 7B 모델로 충분하고, 대형 모델이 필요하면 VRAM이 큰 그래픽카드나 통합메모리가 넉넉한 맥을 고르면 된다.
1개의 글
로컬 AI에 필요한 메모리는 모델 파라미터 수와 양자화 수준으로 거의 정해지며, 4비트 기준 파라미터 10억 개당 약 0.5GB가 든다. 메모리 용량은 어떤 크기의 모델을 올릴 수 있는지를, 대역폭은 글자를 생성하는 속도를 결정한다. 가벼운 챗봇·요약이면 램 16GB의 7B 모델로 충분하고, 대형 모델이 필요하면 VRAM이 큰 그래픽카드나 통합메모리가 넉넉한 맥을 고르면 된다.