손석호 한국전자통신연구원(ETRI) 전문위원이 9월15일 서울 양재동 엘타워에서 열린 ‘오픈 테크넷 서밋 2026’에서 ‘Trusted Agentic AI 시스템 구축을 위한 클라우드 네이티브 오픈소스 기술 동향’을 주제로 발표하고 있다.

[디지털데일리 구아현기자] “신뢰할 수 있는 플랫폼은 보안적인 측면뿐 아니라 신뢰성과 성능, 효율성, 확장성 등 여러 측면을 만족시킬 수 있어야 합니다.”

손석호 한국전자통신연구원(ETRI) 전문위원은 15일 서울 양재동 엘타워에서 열린 ‘오픈 테크넷 서밋 2026’에서 이같이 강조했다.

손 전문위원은 인공지능(AI) 플랫폼의 신뢰를 단순한 보안 문제로 봐서는 안 된다고 짚었다. 권한과 격리뿐 아니라 장애 발생 이후에도 서비스를 이어갈 수 있는 안정성, 지연시간과 처리량을 관리하는 성능, GPU 등 자원을 효율적으로 쓰는 능력, 이용자와 에이전트가 늘어도 대응할 수 있는 확장성까지 함께 확보해야 한다는 설명이다.

그 중심에는 쿠버네티스가 있다. 쿠버네티스는 컨테이너 기반 애플리케이션의 배포·확장·운영을 자동화하는 오픈소스 플랫폼이다. 기존 웹서비스와 마이크로서비스 운영에 주로 활용됐지만 생성형 AI 확산 이후 GPU와 AI 추론, 에이전트까지 관리하는 기반으로 역할이 넓어지고 있다.

손 전문위원은 이 같은 변화를 디바이스 인식, 추론 인식, 에이전트 인식 등 세 단계로 설명했다. GPU와 가속기 특성을 인식하는 데서 출발해 토큰과 캐시 흐름을 고려한 추론 최적화로 발전했고, 최근에는 에이전트의 상태와 실행·연결 관계까지 운영 대상으로 확장되고 있다는 것이다.

◆ GPU 특성부터 추론 흐름까지 인식

초기 쿠버네티스는 GPU를 1개, 2개처럼 정수 단위로 할당하는 데 한계가 있었다. GPU 메모리나 가속기별 특성, 장치 간 연결 구조를 세밀하게 반영하기 어려웠다.

현재는 동적 자원 할당(DRA)과 컨테이너 장치 인터페이스(CDI) 등을 통해 GPU와 각종 가속기의 속성을 파악하고 필요한 자원을 워크로드에 연결하는 방향으로 발전하고 있다. GPU 공유 방식도 여러 작업을 동시에 실행하는 MPS, GPU를 하드웨어 단위로 나누는 MIG, 메모리와 코어를 소프트웨어 방식으로 나눠 쓰는 HAMi 등으로 다양해졌다.

생성형 AI 서비스가 커지면서 관리 대상도 장치 자체에서 추론 과정으로 확대되고 있다. 손 전문위원은 AI 이용자가 늘면서 학습보다 추론 워크로드의 중요성이 커졌고, 토큰 사용량이 곧 비용으로 이어지는 ‘토큰 이코노믹스’가 중요해졌다고 설명했다.

쿠버네티스와 클라우드 네이티브 오픈소스 진영은 대규모 AI 추론을 효율적으로 처리하기 위한 기술도 개발하고 있다. 단순히 여유가 있는 서버에 요청을 보내는 것이 아니라 이전 요청을 처리하면서 계산해 둔 정보가 어느 서버에 남아 있는지와 요청 대기 상황 등을 확인해 적합한 서버로 연결하는 방식이다. 이를 통해 동일한 연산을 반복하는 일을 줄이고 AI 응답 속도를 높일 수 있다.

◆ 에이전틱 AI 시대, 실행·연결도 운영 대상

에이전틱 AI로 넘어가면서 플랫폼이 관리해야 할 범위는 한층 넓어졌다. AI가 직접 명령어와 코드를 실행하고 외부 도구를 호출하거나 다른 에이전트에 업무를 맡기기 시작하면서 실행 환경과 생명주기, 연결 관계까지 관리해야 하기 때문이다.

이를 위해 쿠버네티스 진영에서는 에이전트 샌드박스(Agent Sandbox)를 개발하고 있다. 에이전트가 실행하는 코드가 다른 시스템에 영향을 주지 않도록 실행 환경을 격리하고 필요할 때 빠르게 활용할 수 있도록 미리 준비된 실행 공간을 제공하는 방식이다. 손 전문위원은 에이전트가 생성하거나 실행하는 코드 가운데 신뢰하기 어려운 코드도 있을 수 있는 만큼 격리된 실행 환경이 중요하다고 설명했다.

에이전트와 외부 도구, 에이전트 간 연결을 위한 표준화도 진행되고 있다. 모델컨텍스트프로토콜(MCP·Model Context Protocol)은 에이전트가 외부 도구와 데이터를 공통 방식으로 연결하도록 지원하고, 에이전트투에이전트(A2A·Agent2Agent)는 에이전트가 다른 에이전트에 업무를 위임하고 작업 상태와 결과를 주고받는 과정을 표준화한다.

에이전트와 외부 도구가 늘어나면 연결마다 인증과 보안 정책을 따로 관리하기 어려워진다. 이에 여러 에이전트와 서비스를 하나의 공통 관문에서 연결하고 접근 권한과 정책, 사용 현황을 통합 관리하는 기술도 등장하고 있다. 대표적인 프로젝트가 에이전트게이트웨이(agentgateway)다.

손 전문위원은 이 같은 흐름을 두고 기존 클라우드 네이티브 플랫폼이 AI 서비스를 안정적으로 운영하는 AI 네이티브 플랫폼으로 진화하고 있다고 평가했다.

그는 “AI 시대에는 신뢰가 오픈 커뮤니티의 표준과 거버넌스 위에서 이뤄질 수밖에 없다고 생각한다”며 “국내 조직과 기업들도 함께 참여해 이런 기술을 이끌고 적용해 나가면 좋겠다”고 말했다.