SKT, ‘텔코 LLM’ 6월 개발 완료 연내 상용화
텔코 LLM, 범용 LLM 통신사 데이터로 미세조정
SKT ‘고객센터·유통·인프라·사내 업무’ 적용
GTAA ‘글로벌 텔코 LLM’, 별도 개발 예정
2024-04-30 윤상호 기자
SK텔레콤이 텔코(통신) 거대언어모델(LLM) 개발을 오는 6월 완료할 예정이다. 현장 적용은 연내 마칠 계획이다.
30일 SK텔레콤은 서울 중구 SK-T타워에서 ‘SK텔레콤 텔코 LLM 기자설명회’를 개최했다.
LLM은 자연어 처리(NLP)에 강점을 지닌 인공지능(AI) 모델이다. 대규모 매개변수(파라미터)를 갖췄다. 최근 주목을 받는 초거대 AI는 대부분 LLM이다.
텔코 LLM은 범용 LLM을 경량화한 모델이다. 통신 관련 데이터를 학습시켜 미세조정(파인튜닝)한 LLM을 뜻한다. SK텔레콤의 텔코 LLM은 여러 개(멀티) LLM을 활용한 것이 특징이다. ▲SK텔레콤 ‘에이닷엑스’ ▲오픈AI ‘GPT’ ▲앤트로픽 ‘클로드’ 기반이다.
에릭 데이비스 SK텔레콤 AI테크콜라보레이션담당은 “1개의 범용 LLM으로 통신사가 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정과 모델평가(벤치마킹)를 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤의 멀티 LLM 전략”이라고 말했다.
업종별 특화 LLM은 sLLM((Small Large Language Model)이라고도 부른다. 멀티 LLM으로 구축하려는 시도는 통신뿐만이 아니다. ▲성능 ▲비용 ▲속도 등의 차이 때문이다. 예를 들어 ‘나에게 맞는 로밍 요금제를 추천해줘’라는 질문에 범용 LLM은 로밍 요금제를 나열하는 수준이라면 텔코 LLM은 이용자 사용 패턴에 맞는 요금제를 추천까지 할 수 있다.
데이비스 담당은 “텔코 LLM은 범용 LLM에 비해 ▲전문성 ▲속도·비용 등 효율성 ▲개발 기간 단축 등에서 유리하다”라며 “처음 진행한 클로드 기반 텔코 LLM은 8개월 정도가 걸렸지만 GPT 기반 텔코 LLM은 3개월 만에 원하는 수준에 도달했다”라고 전했다.
SK텔레콤은 텔코 LLM 개발을 6월 완료할 방침이다. ▲고객센터 ▲유통 ▲인프라 ▲사내 업무 등에 활용하는 시점은 연내로 보고 있다. SK텔레콤 검증 결과 범용 LLM에 업무 관련 답변 정확도가 30~35% 높았다.
정민영 SK텔레콤 AI플랫폼 담당은 “업무별로 적합한 텔코 LLM과 범용 LLM을 병행해 ▲고객센터 ▲인프라뿐만 아니라 ▲마케팅·유통망 등 고객 접점 ▲법무·인사관리(HR)와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 업무 효율성을 높일 것”이라며 “지속적으로 텔코 LLM 활용 사례를 늘려갈 계획”이라고 강조했다.
SK텔레콤은 텔코 LLM 고도화를 위해 휴먼 피드백 기반 강화학습(RLHF: Reinforcement Learning from Human Feedback) 과정을 거쳤다. 정확도 개선 등을 위해서는 검색증강생성(RAG: Retrieval Augmented Generation)을 도입했다. 멀티 LLM 구축과 사용을 위한 ‘인텔리전스 플랫폼’도 구현했다. 현재 기반으로 하고 있는 범용 LLM 외에도 추가 LLM도 검토 중이다.
한편 SK텔레콤은 텔코 LLM을 통해 세계 시장 진출을 노리고 있다. 글로벌 텔코 AI 얼라이언스(GTAA)도 그 일환이다. GTAA는 ▲SK텔레콤 ▲도이치텔레콤 ▲이앤(e&) ▲싱텔 ▲소프트뱅크 5개사가 참여했다. 지난 2월 글로벌 텔코 LLM 개발을 위한 합작사 설립을 발표했다.
데이비스 담당은 “GTAA 글로벌 텔코 LLM 개발은 아직 세부사항을 논의 중으로 SK텔레콤 텔코 LLM을 마친 후 착수하게 될 것”이라며 “SK텔레콤 텔코 LLM은 한국어 기반이지만 통신업은 용어·표준·업무환경 등이 비슷하고 기반이 되는 범용 LLM의 다국어 지원 능력 등이 개선돼 GTAA와 별개로 이를 이용한 해외 진출도 할 것”이라고 설명했다.
정 담당은 “SK텔레콤의 텔코 LLM에 각국의 규제 등 일부 데이터를 추가 학습하는 등 비용 효율적인 확산이 가능하다고 본다”라고 부연했다.
디일렉=윤상호 기자 crow@bestwatersport.com
《반도체·디스플레이·배터리·전장·ICT·게임·콘텐츠 전문미디어 디일렉》