삼성전자 "zHBM으로 AI 응답속도 10배…가속기 위 메모리 쌓는다"

[아이뉴스24 권서아 기자] 삼성전자가 인공지능(AI) 연산을 담당하는 반도체 위에 고대역폭메모리(HBM)를 직접 쌓아 AI의 답변 속도를 현재보다 10배 높이겠다는 목표를 제시했다.

17일 업계에 따르면 김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋'에서 "현재 대화형 AI 시스템의 응답 속도는 이용자당 초당 100토큰 수준"이라며 "앞으로 에이전트형 AI를 위해 이를 초당 1000토큰으로 10배 끌어올리는 양자 도약을 목표로 하고 있다"고 말했다.

토큰은 AI가 문장을 읽고 답변을 만들 때 처리하는 기본 단위다. 초당 처리하는 토큰이 많을수록 이용자가 답변을 받아보는 속도도 빨라진다.

삼성전자가 이를 위해 제시한 기술이 'zHBM'이다.

AI 가속기는 AI가 요구하는 대규모 연산을 빠르게 처리하는 반도체다. 그래픽처리장치(GPU)와 신경망처리장치(NPU) 등이 대표적이다. HBM은 이 가속기가 연산에 필요한 데이터를 빠르게 받아볼 수 있도록 공급하는 고성능 메모리다.

현재는 AI 가속기와 HBM을 실리콘 인터포저라는 넓은 연결판 위에 나란히 놓는 방식이 주로 쓰인다. 가속기와 HBM 사이에서 데이터를 주고받으며 AI 연산을 처리한다.

zHBM은 이 구조를 위아래로 바꾼다. HBM을 AI 가속기 바로 위에 쌓아 두 반도체 사이의 물리적 거리를 줄이는 방식이다.

김 상무는 이를 "호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것"에 비유했다.

객실에서 복도와 여러 경로를 거치지 않고 바로 로비로 내려가듯 가속기와 메모리를 직접 연결해 데이터 이동거리를 줄이겠다는 의미다. 이동거리가 짧아지면 데이터를 더 빠르게 주고받을 수 있고 전력 소모도 줄일 수 있다.

삼성전자는 zHBM이 다다음 세대 제품인 HBM5(8세대)와 비교해 최대 8배의 성능과 3배 이상의 전력 효율을 구현할 수 있을 것으로 보고 있다.

과제는 발열이다. AI 가속기는 대규모 연산을 처리하면서 많은 열을 내는데, 그 위에 HBM을 직접 쌓으면 이 열이 메모리로 전달될 수 있다.

삼성전자는 AI 가속기 고객사와 설계 초기부터 협업해 가속기 구조와 발열 특성에 맞는 메모리 구조와 열 관리 방식을 함께 설계한다는 계획이다.

스마트폰이나 PC, 워크스테이션 등 기기 자체에서 AI를 구동하는 '온디바이스(기기내장형·on-device) AI'를 공략한 'z낸드-O' 로드맵도 공개했다.

낸드플래시는 전원이 꺼져도 저장된 데이터가 사라지지 않는 '비휘발성 메모리'다. 전원이 끊기면 저장 내용이 사라지는 D램과 달리 데이터를 장기간 보관할 수 있고, 같은 용량을 구성할 때 비용도 상대적으로 낮다.

다만 D램보다 데이터 처리 속도는 느리다. 삼성전자는 z낸드-O를 통해 이 속도 차이를 줄이면서도 대용량 AI 모델을 보다 낮은 비용으로 구동할 수 있도록 한다는 구상이다.

김 상무는 "오는 2030년이 되면 AI 워크스테이션 등의 환경에서도 매개변수(파라미터) 1조개 수준의 거대 AI를 자체 구동하는 사례가 보편화할 것"이라고 전망했다.

파라미터는 AI가 학습한 정보를 바탕으로 답을 만들어낼 때 사용하는 값이다. AI 모델 규모가 커질수록 이를 구동하기 위해 필요한 메모리 용량도 늘어난다.

삼성전자에 따르면 1조개 파라미터 규모 AI를 D램만으로 구동할 수 있도록 메모리를 구성하면 비용 부담이 커진다. z낸드-O를 적용하면 이를 D램 기반 구성의 6분의 1 수준 비용으로 구현할 수 있다는 설명이다.

삼성전자는 오는 2028년 z낸드-O 샘플 공급을 시작할 예정이다.

김 상무는 "AI 반도체 경쟁의 핵심인 '시장 출시 속도'에서 고객사들에 독보적 가치를 제공할 것"이라고 말했다.