엔비디아는 8세대 인공지능(AI) 소프트웨어인 텐서RT(TensorRT) 8을 22일 출시했다.
텐서RT 8은 AI가 개발자의 언어를 실시간으로 이해할 수 있도록 지원하는 추론 소프트웨어다. AI가 인간의 언어를 추론하는 과정에서는 필연적으로 지연시간이 발생하는데, RT 8은 이를 최대한 줄일 수 있다.
RT 8은 또한, 데이터베이스로부터 특정 주제어를 찾아내는 '언어 쿼리'에 대한 추론 시간을 텐서RT 7 대비 절반으로 줄였다. 전세계적으로 널리 사용되는 AI 언어 모델 BERT-라지(BERT-Large)의 추론은 1.2밀리세컨드(ms) 만에 완료할 수 있다. 덕분에 추론 모델의 크기를 2~3배 가량 늘려도 비교적 짧은 지연 시간 내에 정확한 결과를 얻어내는 것이 가능하다고 회사 측은 설명했다.
아울러 AI 추론 성능을 향상시킬 수 있는 두 가지 주요 기능도 갖췄다. 먼저 엔비디아 암페어(Ampere) 아키텍처 GPU를 통해 추론 과정에서 불필요한 정보들을 최대한 배제하는 기술이다. 정보 처리 효율성을 높여 AI의 연산 속도를 빠르게 할 수 있다.
또한 양자화 인식(quantization aware) 훈련 기능도 갖췄다. 개발자가 훈련된 모델을 통해 정밀하면서도 정확한 정보를 추론할 수 있게 돕는다. 효율적인 추론으로 컴퓨팅 및 스토리지에 사용되는 메모리·처리 시간 등을 줄여준다.
그레그 에스테스(Greg Estes) 엔비디아 개발자 프로그램 담당 부사장은 “AI 모델은 기하급수적으로 점점 더 복잡해지고 있으며 AI를 사용하는 실시간 애플리케이션에 대한 수요는 전 세계적으로 급증하고 있다"며 "최신 버전의 텐서RT는 기업들이 이전에는 불가능했던 수준의 품질과 응답성을 갖춘 대화형 AI 애플리케이션을 개발하도록 도울 것”이라고 강조했다.
