ICML 2026 Spotlight 선정. [사진=디노티시아]

[디지털데일리 배태용기자] 장기기억 인공지능(AI) 반도체 기반 AI 인프라 전문기업 디노티시아가 거대언어모델(LLM)의 추론 비용과 속도를 획기적으로 개선할 수 있는 첨단 압축 기술을 선보이며 글로벌 학계의 주목을 받았다.

디노티시아는 대규모 컨텍스트 처리의 핵심 병목으로 꼽히는 키-값(KV) 캐시를 최대 20배까지 압축할 수 있는 신기술인 'STAR-KV' 논문과 소스코드를 공개했다고 2일 밝혔다.

이번 연구는 미국 캘리포니아대학교 샌디에이고(UC San Diego) VVIP 랩과 디노티시아 연구진이 공동으로 진행했다. 세계 최고 권위의 머신러닝 학회인 'ICML 2026(International Conference on Machine Learning 2026)'에서 우수성을 인정받아 전체 제출 논문 중 상위 약 2.2%에만 주어지는 '스포트라이트(Spotlight)' 논문으로 선정됐다.

KV 캐시는 LLM이 이전에 읽은 문맥을 매번 다시 계산하지 않도록 GPU 메모리에 임시 저장해 두는 공간이다. 최근 AI 서비스가 긴 문서 분석이나 대화 이력 관리, 외부 도구를 연동하는 에이전트형 시스템으로 진화하면서 처리해야 할 문맥(컨텍스트)의 양이 급격히 늘어났다. 이에 따라 KV 캐시가 차지하는 용량은 GPU 메모리 부족과 추론 비용 상승을 유발하는 최대 걸림돌로 부상했다.

실제로 STAR-KV 논문 실험에 따르면 '라마(LLaMA)-3.1-8B' 모델이 배치 크기 4로 128K(약 12만8000개) 토큰의 긴 컨텍스트를 처리할 경우, 전체 GPU 메모리의 약 81%를 이 KV 캐시가 차지하는 것으로 나타났다.

디노티시아가 공개한 STAR-KV 기술은 저랭크(Low-Rank) 압축 방식을 기반으로 자체 개발한 혼합정밀도 양자화 기법을 결합했다. 이를 통해 저랭크 압축만으로 KV 캐시 용량을 최대 75% 줄였으며 양자화 결합 시 전체 용량을 최대 20배까지 압축하는 성과를 냈다.

용량 절감에만 머무르지 않고 추론 성능도 크게 끌어올렸다. 맞춤형 GPU 커널 최적화를 적용해 핵심 연산인 어텐션(Attention) 속도를 최대 6.9배 향상시켰고 전체 생성 처리량은 최대 3.1배 늘렸다. 정보 압축 과정에서 발생하는 정확도 저하 역시 기존의 주요 압축 방식들과 비교해 한층 높은 수준을 유지했다.

현재 글로벌 AI 인프라 업계에서는 긴 컨텍스트 구현을 위한 메모리 최적화 경쟁이 치열하다. 올해 초 열린 국제 학회 'ICLR 2026'에서 구글 연구진이 발표한 '터보퀀트(TurboQuant)'가 주목받은 바 있다. 디노티시아의 STAR-KV는 저랭크 압축과 GPU 실행 최적화를 유기적으로 결합해 한 단계 더 진화한 형태의 솔루션을 제시했다는 평가다.

디노티시아는 향후 실제 AI 서비스 상용화 환경에서 해당 기술이 곧바로 쓰일 수 있도록 기술 고도화를 이어갈 방침이다. 특히 개발자들이 널리 사용하는 'vLLM' 등 오픈소스 LLM 추론 프레임워크에 이를 연동해 생태계 확산에 기여한다는 구상이다.

정무경 디노티시아 대표는 "AI가 더 긴 맥락을 더 낮은 비용으로 빠르게 처리할 수 있도록 돕는 인프라 기술이 갈수록 중요해지고 있다"라며 "STAR-KV는 핵심 병목인 KV 캐시 용량과 연산 속도 문제를 실질적으로 해결하는 기술인 만큼 오프소스화를 통해 글로벌 AI 추론 생태계 발전에 기여하겠다"고 말했다.

한편 STAR-KV 논문이 발표되는 ICML 2026은 이달 6일부터 11일까지 서울 코엑스에서 개최된다. 올해 전 세계에서 접수된 2만3918편의 논문 중 6352편이 채택됐으며 스포트라이트 논문은 536편에 불과하다.