삼성전자가 '삼성 개발자 컨퍼런스 코리아 2024(SDC2024)'에서 자체 거대언어모델 가우스(Gauss) 2세대 버전을 공개했다. 지난 SDC2023에서 삼성전자는 가우디1을 최초 공개한 뒤 1년 만에 급속도로 업그레이드했다. 가우디2는 대표적인 오픈소스 거대언어모델(LLM)과 비교시 동시에 처리할 수 있는 언어 처리량이 최대 3.0배에 달한다. 이 비교 대상은 메타의 라마(Llama)로 추정된다.
(자료=삼성전자)
가우디2는 3가지 종류로 구성된다. △온디바이스용 '컴팩트' △효율성과 안정성이 균형잡힌 '밸런스드' △믹스쳐 오브 엑스퍼트(MoE) 기술 접목한 고품질 모델 '슈프림'이다. 기본 모델인 밸런스드는 가우디1 대비 파라미터(모델 크기를 결정하는 단위)가 절반에 불과하나, 언어와 코드와 이미지를 모두 생성할 수 있는 멀티모달이다.
MoE는 전문가 모델을 동적으로 배치하는 기술이다. 쉽게 말해 가우디2가 어떤 전문적인 질문을 받으면 이에 적합한 전문가 하위 모델만 답하는 식이다. 모든 전문가 하위 모델이 동시에 작동하면 연산 효율성이 상당히 저하된다. MoE는 필요한 전문가 모델만 선택하기 때문에 파라미터가 큰 대형 모델을 효율적으로 운영하게 돕는다.
구글의 스위치 트랜스포머 모델도 MoE를 탑재한다. 이 모델은 각 입력에 대해 소규모 전문가 하위 모델을 1~2개 활성화한다. 오픈AI는 GPT-4 내부 아키텍처를 자세히 공개하지 않았으나, 업계 소식통에 따르면 MoE 기술을 사용하는 것으로 알려졌다.
가우디2는 '토크나이저(Tokenizer)' 기술도 접목했다. 토큰은 텍스트의 작은 단위다. 예를 들어 "I love AI"라는 문장은 I, love, AI라는 세 개의 토큰으로 분류된다. 이처럼 토큰화는 단어를 기준으로 삼을뿐 아니라 빈번하게 사용되는 단어쌍에 기반하기도 한다. 이는 바이트 페어 인코딩(BPE)이라는 방법이며, 대부분 LLM에서 사용한다. 예를 들어 banana라는 단어를 토큰화할시 a와 n은 쌍으로 묶이는 경우가 많아 하나의 토큰으로 취급한다. BPE에 따르면 banana는 6개의 토큰이 아닌 b, anan, a와 같이 3개로 분류한다.
이주형 삼성 리서치 부사장은 "우리의 Use Case에 따라 글로벌 직원이 사용하는 다국어와 사내 개발자들이 쓰는 프로그래밍 언어에 최적화된 토크나이저를 개발했다"고 말했다. 가우디2의 토크나이저는 단어 크기를 줄이면서도 토큰당 표현 글자수는 늘렸다. 이는 가우디2가 주요 오픈소스 LLM에 비해 우수한 효율을 갗추도록 지원한다.
타사 모델은 대부분 토크나이저 기술이 BPE에 기반한다. 구글은 자체 토큰화 기술인 센텐스피스(SentencePiece)를 사용한다. 센텐스피스는 영어와 중국어, 아랍어 등 다양한 구조를 가진 언어 간에 균형을 맞추는데 탁월하다.
삼성전자는 가우스2 개발에 필요한 페로스(PHAROS)와 스페이스(SPACE) 플랫폼을 공개했다. 페로스는 대규모 고품질 학습 데이터를 수집해 정제하는 플랫폼이고, 스페이스는 AI GPU 기반 대규모 GPU 클러스터다.
한편, 삼성전자는 가우디를 내부 시스템에 적극 활용 중이다. 대표적으로 프로그래밍 어시스턴트 '코드아이(code.i)'다. 코드아이는 2023년 12월에 출시해 DX 부문에 배포됐고. 사내 소프트웨어 개발자 60%가 활용 중이며 생산성을 4배 향상시켰다.