#NPU

온디바이스 AI, 언제 쓰고 언제 클라우드로 갈까

온디바이스 AI와 클라우드 AI의 차이는 연산을 기기 안의 칩에서 하느냐, 외부 서버에서 하느냐에 있다. 온디바이스는 응답이 1초 이내로 빠르고 입력한 데이터가 기기 밖으로 나가지 않아 속도와 개인정보에서 유리한 반면, 복잡한 추론이나 긴 문서 분석은 여전히 클라우드가 낫다. 하나를 고르기보다 민감하고 빠른 일은 기기에서, 무겁고 복잡한 일은 클라우드에서 처리하도록 작업별로 나눠 쓰고 내 기기에 NPU가 있는지부터 확인하는 편이 낫다.