챗봇이 빨라지는 진짜 이유, 반도체 패키징
AI 반도체 패키징은 연산을 맡는 GPU와 데이터를 공급하는 HBM 메모리를 한 패키지에 가깝게 묶어 데이터 병목을 줄이는 기술이다. HBM 대역폭이 세대마다 크게 넓어지면서 이 병목이 AI 연산 속도와 비용을 좌우하는 핵심 변수가 됐다. 다만 패키징은 챗봇의 응답 속도와 운영 비용에 작용할 뿐 모델의 '지능' 자체를 바꾸지는 않는다는 점을 구분해서 봐야 한다.
패키징은 '칩을 한 건물에 모으는 일'
반도체 뉴스에 '패키징'이라는 말이 부쩍 자주 나온다. 쉽게 말하면 완성된 칩 여러 개를 하나의 꾸러미로 묶어 서로 연결하는 작업이다.
예전에는 연산을 맡는 칩과 데이터를 저장하는 메모리 칩이 메인보드 위에 멀찍이 떨어져 있었다. 사무실 끝과 끝에 앉은 두 직원이 서류를 주고받는 셈이다. 첨단 패키징은 이 둘을 같은 책상 위, 팔만 뻗으면 닿는 거리로 끌어다 붙인다. 거리가 줄면 데이터가 오가는 시간도 줄어든다.
GPU와 HBM을 왜 한 몸으로 묶나
panumas nikhomkhai
AI 연산의 핵심은 GPU다. 그런데 GPU가 아무리 빨라도 계산에 쓸 데이터를 제때 받지 못하면 멈춰 선다. 이 데이터를 공급하는 게 HBM이라는 고대역폭 메모리다. HBM은 DRAM 여러 장을 세로로 쌓고, 칩을 수직으로 관통하는 전극(TSV)으로 연결한 메모리다.
문제는 GPU와 HBM을 어떻게 잇느냐다. 여기서 TSMC의 CoWoS 같은 기술이 등장한다. 일반 기판 대신 실리콘 인터포저라는 미세 회로판을 가운데 깔고, 그 위에 GPU와 HBM을 나란히 올려 수천 개의 통로로 연결한다. 통로가 많을수록 한 번에 더 많은 데이터가 지나간다. 엔비디아가 이 CoWoS의 최대 고객으로 꼽히는 이유다.
대역폭 숫자가 말하는 것
HBM의 성능은 '대역폭', 즉 1초에 얼마나 많은 데이터를 나르는지로 가늠한다. HBM3는 최대 819GB/s 수준이었는데, SK하이닉스의 HBM3E는 1.23TB/s 이상, 삼성이 공개한 HBM4는 스택당 최대 3.3TB/s까지 올라간다고 발표됐다. 모두 공급사 발표 기준이라 실제 제품 출하 때 다시 확인할 필요가 있다.
숫자만 보면 추상적이지만, 뜻은 단순하다. 세대가 바뀔 때마다 데이터가 지나가는 통로가 눈에 띄게 넓어진다는 것이다. GPU가 놀지 않고 계속 일하게 만드는 배관이 굵어지는 셈이다.
그래서 챗봇이 빨라지나
여기가 사용자 입장에서 가장 궁금한 대목이다. 결론부터 말하면, 패키징과 HBM은 AI의 '지능'이 아니라 '처리 속도와 비용'에 주로 작용한다.
같은 질문을 넣었을 때 답이 더 빨리 돌아오거나, 긴 문서를 한꺼번에 읽혀도 버벅이지 않거나, 서비스 이용료가 천천히 내려가는 쪽에 영향을 준다. 최근 AI 수요가 학습에서 추론, 즉 실제 서비스 응답 쪽으로 옮겨가면서 이 메모리 병목이 더 중요해졌다.
반대로 챗봇이 얼마나 똑똑하게 답하는지는 모델을 어떻게 학습시켰느냐의 문제라 패키징과 직접 관계가 없다. 좋은 배관을 깔아도 요리 실력 자체가 느는 건 아닌 것과 같다. 이 구분을 해두면 '새 HBM이 나왔다'는 뉴스가 내 챗봇 경험에 무엇을 바꾸고 무엇을 안 바꾸는지 가늠하기 쉽다.
올트먼 방한이 이 이야기와 닿는 지점
지난 10월 31일 샘 올트먼 오픈AI CEO가 1박 2일로 방한해 삼성 사장단과 간담회를 하고 최태원 SK 회장과 오찬을 했다. 공개된 의제의 핵심 하나가 HBM 공급과 AI 데이터센터였다.
오픈AI는 2029년까지 5000억 달러를 들여 전 세계에 데이터센터를 짓는 계획을 밝혔고, 삼성과 SK는 여기에 HBM을 대규모로 납품하는 파트너다. 거대 AI 서비스를 돌리려면 결국 GPU와 HBM을 촘촘히 묶은 패키지가 산더미처럼 필요하다는 뜻이다. 반도체 기업 CEO가 아닌 AI 서비스 회사 수장이 메모리 공급을 직접 챙기러 온 장면 자체가, 지금 AI 경쟁의 병목이 어디에 있는지를 보여준다.