#NPU
2개의 글
국산 AI 칩 수천억 투자, 내 챗봇은 빨라질까
리벨리온이 6400억원, 퓨리오사AI가 8000억원대 상장 전 투자를 유치하며 국산 AI 반도체에 조 단위 자금이 몰렸다. 이들이 겨냥하는 추론 칩은 챗봇 운영 원가와 직결되지만, 투자 유치는 다음 제품을 위한 자금일 뿐 당장의 요금·속도 변화는 아니다. 효율 수치가 업체 주장인지 독립 벤치마크인지, 실제 데이터센터 도입 실적이 있는지, 내가 쓰는 서비스에 적용됐는지를 보면 과장을 거를 수 있다.
온디바이스 AI, 언제 쓰고 언제 클라우드로 갈까
온디바이스 AI와 클라우드 AI의 차이는 연산을 기기 안의 칩에서 하느냐, 외부 서버에서 하느냐에 있다. 온디바이스는 응답이 1초 이내로 빠르고 입력한 데이터가 기기 밖으로 나가지 않아 속도와 개인정보에서 유리한 반면, 복잡한 추론이나 긴 문서 분석은 여전히 클라우드가 낫다. 하나를 고르기보다 민감하고 빠른 일은 기기에서, 무겁고 복잡한 일은 클라우드에서 처리하도록 작업별로 나눠 쓰고 내 기기에 NPU가 있는지부터 확인하는 편이 낫다.