지난 20일 KT 웨스트 사옥에서 열린 ‘AI GPU 세미나’에선 이 같은 메시지가 주요 화두로 제시됐다. [사진=디지털데일리]

[디지털데일리 강소현 기자] “GPU를 어떻게 확보하고 운영하느냐가 AI 경쟁력을 좌우합니다.”

지난 20일 KT 웨스트 사옥에서 열린 ‘AI GPU 세미나’에선 이 같은 메시지가 주요 화두로 제시됐다. 직접 현장을 찾아 KT가 제시한 GPU 기반 AI 인프라 전략과 실제 적용 사례를 살펴봤다.

이날 현장에선 GPU 확보를 넘어 효율적인 운영 방식에 대한 논의가 이어졌다. 수십~수백 대의 GPU가 필요한 환경에선 결국 인프라 구축의 속도와 운영 방식이 AI 전환(AX) 성패를 가른다는 설명이다.

◆ “GPU가 AI 경쟁력 좌우”…AX 성패 가를 인프라 전략 부상

실제 이날 행사 참석자를 대상으로 한 설문 결과 81%가 AI 인프라 도입을 위한 컨설팅을 희망한 것으로 나타났다. AX 전환에 대한 관심이 실제 수요로 이어지고 있음을 보여주는 대목이다.

이러한 수요에 발맞춰 KT는 기업 고객 대상 AI 인프라 전략을 제시했다. 고객 환경에 맞춰 인프라를 설계할 수 있도록 여러 선택지를 두고 있는 것이 특징이다.

현장에서 소개된 KT의 GPU 서비스는 크게 ‘온프레미스형’과 ‘클라우드형’으로 구분된다.

먼저 ‘Managed AI GPU’는 KT가 고객 전산센터에 GPU 인프라를 직접 구축하고 운영까지 맡는 방식이다. GPU 설계부터 서버, 보안, 네트워크까지 전반을 KT가 담당해 고객의 기술적 부담을 줄인 것이 핵심이다. 초기 투자 부담 없이 월 단위 비용으로 이용 가능한 구조도 눈에 띄었다.

클라우드 기반 ‘K GPUaaS’는 엔비디아 H100 GPU를 구독 형태로 제공하는 서비스다. ‘인피니밴드’ 기반 네트워크를 통해 GPU 간 지연 없는 통신을 지원하며 LLM 등 고성능 AI 모델 개발 환경을 구현한다.

여기에 GPU 자원을 작업량에 따라 분할하는 가상화 기술이 적용돼 자원 활용도를 높였다. 데이터가 국내에서 관리된다는 점도 강조됐다.

◆ GPU 팜·AI 관제까지…KT 인프라, 현장서 ‘실효성’ 입증

세미나에선 실제 도입 사례도 소개됐다. 공공기관에 구축된 ‘GPU팜(GPU Farm)’은 다수의 GPU 서버를 고속 네트워크로 연결해 AI 학습과 빅데이터 분석을 수행하는 환경이다. 이를 통해 연구개발(R&D) 효율성을 높이고 데이터 기반 업무 환경을 구축한 사례가 공유됐다.

또 대학교 연구기관에선 ‘K GPUaaS’를 활용해 산학연 협력 기반 AI 모델 개발 환경을 마련했다. 입주 기업들이 LLM 개발과 파인튜닝에 필요한 컴퓨팅 자원을 활용하고 있는 것으로 확인됐다.

시설관리공단의 경우 AI 기반 지능형 관제 시스템을 도입해 CCTV 영상 데이터를 분석하고 이상 상황을 예측하는 체계를 구축했다. 인력 부담을 줄이면서도 안전 관리의 정확도를 높였다는 설명이 이어졌다.

세미나 현장에선 운영 경험에 대한 질의도 이어졌다. 한 대학 관계자는 “인프라 운영 경험 부족으로 도입을 고민했지만 사례를 통해 방향을 잡을 수 있었다”고 말했다. 제조업 관계자는 “데이터 보안을 유지하면서도 효율적인 인프라 구축 방안을 확인할 수 있었다”고 평가했다.

이 가운데 KT의 인프라 전략은 비용과 운영 부담을 줄이면서도 자원을 유연하게 활용할 수 있다는 점에서 기업과 기관이 직면한 현실적인 고민을 해결할 수 있을 것으로 기대됐다.

전명준 KT 엔터프라이즈부문 서비스프로덕트본부 상무는 “기업과 공공 고객이 AI 인프라를 보다 쉽게 활용할 수 있도록 다양한 서비스를 제공하고 있다”며 “이번 세미나가 AI 전략 수립에 도움이 되기를 바란다”고 밝혔다.

지난 20일 KT 웨스트 사옥에서 열린 ‘AI GPU 세미나’에선 이 같은 메시지가 주요 화두로 제시됐다. [사진=디지털데일리]