HBM-PIM, HBM 대비 전력효율·가속기 성능 2배 이상 개선
상용화엔 시간걸릴 듯...공정 난제, 생산단가 등이 과제
삼성전자가 최근 미국에서 열린 반도체 학술대회에서 AI 산업용 차세대 메모리 반도체 2종을 공개했다.
핫칩스는 8월 하순에 개최되는 반도체 업계 학술행사다. 올해는 미국 스탠포드 대학에서 27일부터 29일까지 열렸다. 올해 행사에는 삼성전자, SK하이닉스 인텔, AMD, 엔비디아 등 기업이 참여했다.
29일 업계에 따르면 삼성전자는 올해 핫칩스2023에서 고대역폭메모리(HBM)-프로세싱인메모리(PIM), 저전력 더블데이터레이트(LPDDR)-PIM 연구성과를 각각 공개했다. 두 메모리는 향후 인공지능(AI) 산업 등에 사용될 수 있는 차세대 메모리다.
삼성전자는 생성형 AI에 HBM-PIM을 적용하면 기존 HBM 대비 가속기 성능과 전력 효율이 2배 이상 증가한다는 연구결과를 제시했다. 이 연구에 사용된 GPU는 AMD의 MI-100이다.
전문가 혼합(MOE:Mixture of experts) 모델 검증을 위해 HBM-PIM 클러스터 구축도 진행했다. 클러스터에는 HBM-PIM이 탑재된 96개 MI-100이 사용됐다. MoE 모델에서도 HBM-PIM이 HBM 대비 가속기 성능이 2배, 전력 효율이 3배 높은 것으로 나타났다.
HBM-PIM은 HBM에 PIM을 결합한 반도체다. CPU가 담당하던 일부 연산을 메모리에서 처리해 데이터 이동량을 줄이는 컨셉이다. 최근, AI 반도체 영역에서 메모리 병목 현상이 주요 과제로 떠오른 만큼 HBM-PIM은 차세대 메모리 반도체로 각광받고 있다.
이날 삼성전자는 LPDDR-PIM도 소개했다. LPDDR-PIM은 모바일용 D램에 PIM을 결합한 형태로 엣지디바이스 내에서 연산을 직접 처리한다. 엣지디바이스용으로 개발되고 있는 제품이기 때문에 대역폭(102.4GB/s)도 낮다. 회사는 D램 대비 전력을 72% 줄일 수 있다고 강조했다.
업계 관계자는 "AI 가속기 성능 향상에 비해, 메모리 발전 속도는 더딘 상황"이라며 "이러한 병목현상을 줄이기 위해서는 HBM-PIM 등의 대역폭을 넓힌 차세대 반도체 적용이 필요하다"고 설명했다. 이어 "대규모언어모델(LLM) 등에서는 데이터 재사용률이 높은데, (HBM-PIM 내 연산을 통해) 데이터 이동을 줄일 수 있다"고 덧붙였다.
다만 HBM-PIM과 LPDDR-PIM 상용화까지는 상당한 시간이 필요할 것으로 보인다. PIM은 메모리 공정을 통해 비메모리 반도체의 특성을 구현해야 하는 기술적 어려움이 있다. 또 기존 HBM 대비 가격이 비싸다는 단점도 있다.
디일렉=노태민 기자 [email protected]
《반도체·디스플레이·배터리·자동차전장·ICT부품 분야 전문미디어 디일렉》
