SK하이닉스가 생성형 인공지능(AI) 분야에서 메모리 솔루션 비중이 더욱 커질 것이라고 전망했다. SK하이닉스는 AiMX 등 솔루션을 통해 그래픽처리장치(GPU)를 일부 대체할 수 있다는 입장이다.

임의철 SK하이닉스 부사장은 8일 서울 강남구 과학기술컨벤션센터에서 열린 'ETRI 컨퍼런스 2023'에서 "BERT 등 모델에서는 메모리 인텐시브(집약적)한 함수가 5% 정도 밖에 안됐다"며 "GPT2에서는 45% 정도로 메모리 함수가 커졌고, 175B GPT3는 92%가 메모리 인텐시브한 함수를 가지고 있다"고 말했다. 

그가 언급한 메모리 인텐시브한 함수는 GEMV다. GEMV는 매트릭스와 벡터를 곱하는 연산으로 LLM의 핵심이다. 임 부사장은 "이제 LLM(대형언어모델)의 GEMV 메모리 인텐시브한 비중이 92%에 달한다"며 "엑설러레이터인메모리(AiM)를 통해 92%를 처리하고, (AiM 컨트롤 허브를 통해) 나머지 8%를 처리하면 된다"고 설명했다. 

AiMX는 SK하이닉스가 지난 9월 공개한 메모리 기반 가속기다. 엔비디아 A100, H100 등 기존 가속기와 달리 메모리 인텐시브한 함수 연산에 최적화된 가속기다. AiMX에는 16개의 1GB GDDR6-AiM과 2개의 프로그래머블반도체(FPGA)를 탑재했다. FPAG는 AMD 자일링스의 버텍스(VIRTEX) 제품군이 사용됐다.

임 부사장은 FPGA 사용에 대해 "(자체) AiM 컨트롤 허브 설계를 위해서는 너무 많은 비용이 들어가서 먼저 FPGA를 가지고 가속기를 만들었다"며 "자체 시스템온칩(SoC)를 만들게 되면 GDDR6-AiM을 더 넣어서 64GB 이상 제품까지 만들 수 있을 것"이라고 귀띔했다.

GDDR6-AiM은 자체 연산 기능이 탑재된 프로세싱인메모리(PiM)의 일종이다.

LLM에서 GPU 대비 성능도 뛰어나다고 자신했다. SK하이닉스가 공개한 자료에 따르면 LLM에서 AiMX가 GPU 대비 레이턴시(응답속도)가 13배가 빠르고, 전력 소모량이 17% 적은 것으로 나타났다. 탑재도 손쉽다. 별도의 가속기 교체없이 AiMX를 서버에 꽂는 형태로 사용 가능하다.

한편, SK하이닉스는 고객사와 이해관계가 일부 겹칠 수 있는 만큼, AiMX의 적극적인 프로모션 방향은 추가 검토가 필요하다는 입장이다. 임 부사장은 “회사의 가장 큰 고객 중 하나가 GPU 회사기 때문에 전체 시스템을 만들어 공급하는 것에는 신중한 접근이 필요하다”며 "AiM 칩을 주로 공급하고, 레퍼런스 디자인을 제공하는 방식을 통해 하이퍼 스케일러 고객사가 가속기 시스템을 만들게 지원할 것"이라고 강조했다.

디일렉=노태민 기자 [email protected]
《반도체·디스플레이·배터리·자동차전장·ICT부품 분야 전문미디어 디일렉》

노태민 기자 다른기사 보기