리벨리온이 진행한 A.X AI 데모와 리벨리온 서버 [사진=리벨리온]

[디지털데일리 고성현기자] 리벨리온이 SK텔레콤의 독자 인공지능(AI) 파운데이션 모델 'A.X K1(K1)'을 자체 AI 서버 인프라에서 구동하고 다중 사용자 AI 에이전트 서비스를 구현하는 데 성공했다. 국산 초거대 AI 모델과 국산 신경망처리장치(NPU)를 결합해 대규모 AI 서비스 운영 가능성을 검증했다.

리벨리온은 SK텔레콤의 K1을 자사 AI 서버 '리벨서버(RebelServer)'에서 안정적으로 구동하고 이를 기반으로 다수 사용자의 요청을 동시에 처리하는 AI 에이전트 서비스 데모를 선보였다고 23일 밝혔다.

이번 실증에서는 5000억개(500B) 이상의 파라미터를 갖춘 K1을 리벨서버에서 구동했다. 리벨리온은 단일 서버 구성만으로 글로벌 고성능 그래픽처리장치(GPU) 서버 수준의 AI 추론(서빙) 성능을 구현해 데이터센터 구축과 운영 효율성을 높였다고 설명했다.

양사는 K1의 전문가혼합(MoE) 구조와 리벨리온의 소프트웨어 최적화 기술을 결합해 성능을 끌어올렸다. 리벨리온은 다양한 연산을 반도체 칩에 효율적으로 분산하는 기술을 적용해 하나의 서버에서도 다수 사용자의 요청을 병목 없이 처리할 수 있도록 구현했다.

실증에서는 '지도(Map)형 AI 에이전트'를 시연했다. 여러 사용자가 동시에 접속해 '주말에 이용 가능한 약국' 등 서로 다른 질문을 입력하면 K1이 실시간으로 답변을 생성하고 지도에 결과를 표시하는 방식이다. 리벨리온은 이를 통해 국산 AI 모델과 국산 NPU만으로도 다중 사용자를 대상으로 하는 AI 서비스를 안정적으로 운영할 수 있음을 확인했다고 밝혔다.

박성현 리벨리온 대표는 "이번 실증은 국산 초거대 모델과 국산 NPU만으로 대규모 AI 서비스를 운영할 수 있음을 보여준 소버린 AI의 사례"라며 "인프라 효율성과 실사용 가능성을 모두 입증했다는 데 의미가 있다"고 말했다.

한편 리벨리온은 과학기술정보통신부의 독자 AI 파운데이션 모델 사업에서 SK텔레콤 컨소시엄에 참여해 국산 NPU 기반 AI 인프라를 검증하고 있다. 또한 '에이닷 전화 통화요약' 등 실시간 AI 서비스를 운영한 경험을 바탕으로 국산 AI 인프라 확산을 추진할 계획이다.