생성형 인공지능(AI) 경쟁이 기기(디바이스)까지 내려왔다. 생성형 AI는 기존 정보를 바탕으로 창작을 할 수 있는 AI다. 온디바이스AI는 기기에서 학습과 추론을 처리하는 AI를 일컫는다. 네트워크로 연결해 활용하는 클라우드AI에 비해 개인정보 보호와 비용 절감에 유리하다. 그러나 온디바이스AI가 보편화하려면 성능과 전력 관리 등의 숙제를 풀어야한다.

21일 퀄컴은 서울 종로구 교보생명빌딩에서 ‘AI의 미래는 온디바이스(The Future of AI is On-device)’를 주제로 기자간담회를 개최했다.

비네쉬 수쿠마 퀄컴테크날러지 시니어 디렉터 겸 AI/머신러닝(ML) 제품관리총괄은 “생성형 AI를 실생활에 본격적으로 적용하기 위해서는 정보 유출 우려와 비용의 문제를 해결해야 한다”라며 “퀄컴은 온디바이스AI가 이 문제를 해결할 수 있다고 본다”라고 강조했다.

퀄컴은 초거대 AI 학습과 추론을 각각 클라우드AI와 온디바이스AI가 분담하는 방안을 제시했다. 클라우드에서 학습을 마친 AI를 온디바이스AI로 탑재한다. 이용자에 맞춘 미세조정(파인튜닝)은 온디바이스AI가 소화한다. 퀄컴과 메타는 지난 7월 메타의 초거대 AI ‘라마2’를 온디바이스AI로 구현키로 했다.

수쿠마 총괄은 “퀄컴은 이미 지난 15년 동안 스냅드래곤 플랫폼에 이미지와 소리 개선 등에 AI를 구현해 왔으며 헥사곤 신경망처리장치(NPU)가 대표적”이라며 “현재 60억개 매개변수(파라미터)를 처리할 수 있는 수준이며 연내 100억개 매개변수를 수용할 수 있는 제품을 선보일 것”이라고 말했다.

매개변수는 생성형 AI의 학습과 추론 능력을 결정한다. 매개변수가 많을수록 더 많은 요소를 고려해 답을 내놓을 수 있다. 매개변수가 수억개를 넘어서는 AI를 초거대 AI라고 지칭한다.

수쿠마 총괄은 “헥사곤은 거대언어모델(LLM)과 거대비전모델(LVM) 그리고 멀티모달까지 지원하면서 하루종일 기기를 쓸 수 있는 배터리 라이프를 제공한다”라며 “지연시간을 최소화하고 다른 애플리케이션(앱)을 구동할 수 있도록 메모리를 관리할 수 있는 소프트웨어(SW)적 알고리즘도 보유했다”라고 전했다.

멀티모달은 온디바이스AI 특히 스마트폰에서는 필수다. 스마트폰은 음성·문자·사진 등을 오가며 데이터를 처리하고 생성하기 때문이다. 퀄컴은 ‘센싱 허브’를 통해 이용자의 ▲음성 ▲카메라 ▲무선랜(Wi-Fi, 와이파이) ▲블루투스 ▲이동통신 등까지 AI 고도화에 활용한다.

수쿠마 총괄은 “클라우드AI도 개인화에 진전을 보이고 있지만 개인의 각종 정보는 기기에 있기 때문에 보안을 확보한 상태에서 맥락까지 고려한 개인화를 할 수 있는 것이 온디바이스AI”라며 “물론 클라우드AI가 필요한 영역도 있기 때문에 퀄컴은 이를 사용자가 선택할 수 있는 ‘하이브리드AI’도 준비하고 있다”라고 설명했다.

한편 온디바이스AI의 성장은 초거대 AI의 진화에도 도움이 될 전망이다. 초거대 AI는 그래픽처리장치(GPU) 기반 데이터센터 구축과 운영 등의 비용이 급증하고 있다. 학습 데이터 출처에 관한 우려도 커지고 있다. 경량화 서비스 모델 등으로 답을 찾고 있지만 이 역시 클라우드 환경에서 실행하려면 데이터센터와 네트워크 비용을 감당해야 한다. 온디바이스AI는 이 문제를 풀 수 있는 대안이다.

수쿠마 총괄은 “퀄컴이 ‘생성형 AI의 미래는 온디바이스’라고 하는 것도 같은 이유”라며 “클라우드는 학습 온디바이스는 추론 및 파인튜닝에 집중하는 것이 미래 AI의 방향이 될 것”이라고 예측했다.

디일렉=윤상호 기자 [email protected]

《반도체·디스플레이·배터리·자동차전장·ICT부품 분야 전문미디어 디일렉》

윤상호 기자 다른기사 보기