벡터 인덱스 기반 검색 파이프라인에 금칙어 필터링 존재
데이터 솔루션 소프트웨어 업체 비투엔은 최근 새로운 데이터 솔루션 '하이퍼 글로리(HYPER GLORY)를 최초 공개하며 큰 주목을 받았다.
하이퍼 글로리는 대형언어모델(LLM)에서 발생할 수 있는 할루시네이션(환각) 문제를 해결하기 위한 증거 기반 인공지능(AI) 플랫폼이다.
하이퍼 글로리는 데이터베이스에서 여러 유형의 정형·비정형 데이터를 가져와 스캔 과정을 거쳐 문서로 처리하고, 이를 검색 파이프라인 API의 토대로 삼는다. 이 API는 디씨온(DC-ON)의 생성형 제안서 어시스턴트에 제공되며, 실제 데이터를 근거로 답변을 생성하도록 지원한다. 디씨온은 비투엔 경영권을 인수한 디모아의 자회사다.
하이퍼 글로리의 아키텍처는 다양한 유형의 문서(PDF, PPT, HWP)를 작은 단위로 나누는 청킹(Chunking) 과정을 거쳐 임베디드 과정을 통해 벡터 인덱스(Vector Index)로 변환한다. 벡터는 널리 흩어진 비정형 데이터를 숫자로 표기하는 데이터 구조다. 벡터는 고차원 공간에 배치될 수 있어 대규모 데이터 처리에 유리하며, 인덱스를 통해 효율적인 검색을 지원한다.
벡터 인덱스는 검색 파이프라인 API의 핵심 요소다. 사용자가 검색 파이프라인에서 캐시 요청시 벡터 인덱스를 참조하기 때문이다. 이 과정에서 사용자의 접근 권한을 평가하는 보안 기능과 할루시네이션을 최소화하는 금칙어 필터링 기능이 존재한다. 이렇게 필터링된 캐시는 생성형 제안서 어시스턴트에서 증강(Augmented)되며 생성 답변을 뒷받침한다.
하이퍼 글로리는 총 6가지 유스 케이스(Use Case)로 활용된다. △금융·보험 서비스 △공공·행정 서비스 △소매·소비재 산업 △제조·공정 △법률·전문 서비스 △의료 서비스다.
한편, 비투엔은 데이터 이동부터 처리, 변환, 분석까지 엔드투엔드 서비스를 지원하는 새로운 데이터 플랫폼 '비투엔 패브릭'도 공개했다.
저작권자 © 전자부품 전문 미디어 디일렉 무단전재 및 재배포 금지