유진투자증권 이승우 센터장 전망
올해 HBM 수요, 지난해 HBM 총 수요 3.2GB 3배 수준
"AMD, HBM에 PIM 추가해 전력 소모 85% 수준 개선"
이승우 유진투자증권 리서치센터장이 AI 반도체 산업 동향에 대해 발표하고 있다. <사진=노태민 기자>
올해 글로벌 고대역폭메모리(HBM) 수요가 10억 GB를 초과할 것이라는 전망이 나왔다. 지난해 HBM 수요의 3배가 넘는 수치다.
이승우 유진투자증권 리서치센터장은 18일 프로세싱 인 메모리(PIM) 반도체 설계 연구센터가 서울 서초구 엘타워에서 개최한 'AI-PIM 반도체 워크숍'에서 "지난해 HBM 총 수요가 3억2000 GB 수준이었다"며 "시장조사업체 IDC는 올해 HBM 수요가 5억2000 GB 정도로 전망했다"고 말했다. 이어 "(최근의 수요 증가세를 보면) 시장 수요 전망을 완전히 뒤집어엎어야 한다"며 "(유진투자증권에서) 삼성전자와 SK하이닉스가 (엔비디아 등 기업으로부터) 주문을 받은 걸 계산해 보니, (올해 총 HBM 수요가) 10억~12억 GB 규모로 추산된다"고 부연했다.
HBM은 그래픽처리장치(GPU)나 신경망처리장치(NPU), 주문형반도체(ASIC) 형태의 AI 반도체에 탑재되는 고성능 D램이다. 기존 D램 대비 대역폭을 넓혀 병목현상을 개선한 것이 특징이다. 삼성전자와 SK하이닉스, 마이크론 등 3개 기업이 생산하고 있다. 이들 기업은 올해 상반기 내 5세대 HBM(HBM3E) 양산을 목표하고 있다.
이 센터장은 PIM이 국내 메모리 반도체 기업의 차세대 먹거리가 될 것이라고 전망했다. 그는 "AMD가 HBM 로직 다이에 (PIM 기능을) 추가해 테스트해봤더니, 속도(7%)가 좋아졌고, 전력 소모가 85% 가량 개선됐다"며 "(AI 반도체 시대에서 PIM이) 앞으로 중요해질 수 있는 부분"이라고 밝혔다.
이 센터장이 언급한 HBM-PIM은 HBM 로직 다이에 PIM 기능을 추가한 반도체다. CPU가 담당하던 일부 연산을 메모리에서 처리해 데이터 이동량을 줄이는 콘셉이다. 삼성전자는 지난해 8월 미국에서 열린 핫칩스2023에서 HBM-PIM, 저전력 더블데이터레이트(LPDDR)-PIM 연구 성과를 공개한 바 있다.
MoE 모델에서 HBM-PIM이 HBM 대비 가속기 성능이 2배, 전력 효율이 3배 높은 것으로 나타났다. <자료=삼성전자>
연구결과에 따르면 생성형 AI에 HBM-PIM을 적용 시 기존 HBM 대비 가속기 성능과 전력 효율이 2배 이상 증가한다. 연구에 사용된 GPU는 AMD MI-100이다. LPDDR-PIM의 경우 모바일용 D램에 PIM을 결합한 형태로 엣지디바이스 내에서 연산을 직접 처리한다. 엣지디바이스용으로 개발되고 있는 제품이기 때문에 대역폭(102.4GB/s)도 낮다.
LLM에 AiMX 적용 시 GPU대비 레이턴시가 13배 빠르고, 전력 소모량은 17% 적다. <자료=SK하이닉스>
SK하이닉스도 AiMX를 공개하는 등 PIM 관련 연구를 진행하고 있다. AiMX는 지난해 9월 공개한 메모리 기반 가속기로, A100, H100 등 기존 가속기와 달리 메모리 인텐시브한 함수 연산에 최적화된 가속기다. AiMX에는 16개의 1GB GDDR6-AiM과 2개의 프로그래머블반도체(FPGA)를 탑재했다.
한편 이날 AI-PIM 반도체 워크숍에는 이승우 센터장 외에도 이석중 라온피플 대표, 신동주 모빌린트 대표, 안정호 서울대학교 교수 등이 연사로 나서 AI 반도체 기술 트렌드에 대해 발표했다.
디일렉=노태민 기자 [email protected] 《반도체·디스플레이·배터리·전장·ICT·게임·콘텐츠 전문미디어 디일렉》
