[디지털데일리 박재현기자] 아마존웹서비스(AWS)의 클라우드 기반 인공지능(AI) 서비스가 기업 현장에서 비즈니스 혁신의 실질적 도구로 자리 잡고 있다.

대표적으로 현대카드는 AWS의 세이지메이커(SageMaker)와 베드락(Bedrock)을 기반으로 ML 학습의 95%를 온프렘에서 처리해 비용을 효율화했고, 요기요를 운영하는 위대한상상은 베드락을 활용한 AI 에이전트로 30개 이상 AWS 계정에 흩어진 인프라 지표를 통합해 엘라스틱캐시 비용의 55% 절감했다.

20일 현대카드와 위대한상상은 'AWS 서밋 서울 2026'에서 이 같은 구축 여정과 성과를 공개했다.

◆ 현대카드, 유휴 온프레미스를 ML 플랫폼으로…코딩 에이전트까지=현대카드는 자체적으로 운영하던 온프레미스와 AWS 클라우드를 금융 규제에 맞게 역할 분리해 병행 운영하고 있다.

5월 20일 서울 코엑스에서 열린 AWS 서밋 서울 2026에서 이광식 현대카드 클라우드 개발1팀장이 발표하고 있다.[사진=박재현기자]

금융위원회·금융감독원의 2024년 8월 망분리 개선 로드맵에 따라 개인정보를 포함한 민감 데이터는 온프레미스 내에서 오픈소스 모델로 처리하고, 비식별 처리된 데이터나 고성능 모델이 필요한 경우 아마존 베드록을 활용하는 형식이다. 업무 단말에서 방화벽을 거쳐 프라이빗 링크로 베드락에 접근하는 구조로, 퍼블릭 인터넷 구간 없이 클로드·노바 등 최신 모델을 쓸 수 있도록 설계했다.

실제로 현대카드는 이 같은 방식으로 하이브리드 데이터 사이언티스트 플랫폼(HDSP)을 설계, 구축했다.

이 과정에서 역량을 집중했던 분야는 빅데이터 플랫폼 전환 이후 남은 유휴 장비 활용이다. 학습 비용 절감과 GPU 고갈 문제를 해결하기 위해 온프레미스 자원을 쿠버네티스 기반 ML 전용 플랫폼으로 전환했고 2025년 10월 완성했다.

온프레미스는 학습을, AWS는 워크플로우·서빙을 맡는 투트랙 구조다. 두 환경을 하나처럼 쓰기 위해 'HDSP 엔진'이라는 파이썬 라이브러리를 도커에 내장해, 같은 코드가 어느 환경에서든 동일하게 동작하도록 했다. 스파크 작업을 제출하면 HDSP 엔진이 AWS면 EMR로, 온프렘이면 스파크로 자동 분류한다.

민IO(MinIO)와 아마존 S3 간 양방향 동기화도 구현했다. 두 환경이 항상 같은 데이터를 바라보도록 만들었고, HDSP에서 학습된 모델은 재학습 없이 세이지메이커 파이프라인에 바로 서빙된다.

현대카드는 비용 효율성과 안정성을 확보할 수 있게 됐다. ML 학습 비용의 95%를 온프렘 GPU로 소화했고, GPU·CPU 사용 비율은 7대 3으로 재편됐다. 수요가 몰릴 때는 세이지메이커 인스턴스를 추가로 띄워 탄력적으로 대응한다.

현대카드는 두 번째 축은 2026년 3월 도입한 코딩 에이전트 코드버프(CodeBuff)도 소개했다. 사후 코드리뷰가 아닌 개발 과정에 AI가 직접 개입하는 '시프트-리프트(Shift-Left)' 방식으로, 병목과 비효율을 작성 시점에 교정한다.

이광식 현대카드 클라우드 개발1팀장은 "시중 에이전트는 퍼블릭 LLM 위주라 금융권 개인정보 처리에 한계가 있었다. 주피터·세이지메이커 셀 단위 흐름에 특화된 제품도 없어 직접 개발하기로 결정했다"면서 "오픈소스 코어 엔진인 '딥에이전트' 중 핵심 기능만 내재화해 2개월 만에 구축을 마쳤다. 현재 10개 이상 팀이 사용 중이다"라고 설명했다.

현대카드는 향후 EKS 하이브리드 노드, 하이퍼팟, 넵튠 도입도 검토 중이다.

◆ 위대한상상, 베드락 에이전트로 흩어진 지표 통합…엘라스틱캐시 비용 55% 절감=위대한상상의 AI옵스 플랫폼은 30개 이상 AWS 계정과 60개 이상 마이크로서비스로 쪼개진 운영 환경에서 출발했다.

5월 20일 서울 코엑스에서 열린 AWS 서밋 서울 2026에서 김예준 위대한상상 선임연구원이 발표하고 있다.[사진=박재현기자]

위대한상상은 데이터독을 통해 통합 모니터링을 하고 있었지만 아르고CD, 그라파나, 엘라스틱서치, CDN 로그와 같이 별도로 봐야 하는 지표들이 여러 계정과 도구에 흩어져 있어 해석은 담당자 경험에 의존할 수밖에 없었다.

이를 해결하고자 위대한상상은 아마존 베드락 에이전트 코어를 중심에 두고, 운영자가 자연어로 질문을 던지면 에이전트가 의도를 해석해 필요한 데이터를 직접 조회·분석한 뒤 답변으로 돌려주는 AI옵스 플랫폼을 구축했다.

특히 8개 게이트웨이 뒤에 람다 기반 MCP 툴 125개를 연결했고, AWS 컴퓨트·네트워크·DB·스토리지·보안·비용 지표와 프로메테우스, 로키, CDN 로그 등 외부 관측 데이터를 함께 묶었다.

플랫폼은 크게 세 가지 기능으로 구현됐다. AI 어시스턴트는 콘솔 5개를 오가며 30분 이상 걸리던 인프라 파악을 자연어 질의 한 번으로 1분 이내에 끝낼 수 있게 했다.

김예준 위대한상상 선임연구원은 "이벤트 다음 날 어제 오후 5시 프로모션 때 엘라스틱캐시 대역폭 순서대로 보여달라, 그리고 증설 필요한지도 검토해달라고 물으면 에이전트가 해당 서비스의 1분간 25~31GB 버스트 트래픽을 근거로 리드 레플리카 증설 필요 여부까지 한 대화 안에서 정리한다"고 예를 들어 설명했다.

리소스 옵티마이징에서는 피크 구간 기준 병목 시뮬레이션을 핵심으로 꼽았다. 단순 평균 사용량이 아닌, 최대 피크 구간을 기준으로 추천 옵션으로 전환했을 때 CPU·메모리·네트워크가 안전 범위 안에 드는지 사전 검증한 뒤 그라비톤 전환·다운사이징·패밀리 전환 등 선택지를 절감률과 함께 제시하는 방식이다.

인텔리전스 리포트는 프로모션·이벤트 구간을 통째로 자동 기록해, 담당자마다 제각각이던 사후 분석을 표준화된 리포트로 대체했다.

실제 엘라스틱캐시 전체 리소스에 적용한 결과 비용을 55% 절감할 수 있게 됐다. 작업 효율은 10배 이상 향상됐다. 절감 유형별로는 라이트사이징 47%, 미사용 리소스 정리 23%, 발키(Valkey) 엔진 전환 19%, 세대 교체 11% 순이었다.

김예준 선임연구원은 "AI옵스의 가치는 자동으로 판단해 주는 것이 아니라 탐색 시간을 단축하는 것"이라며 "AI가 먼저 볼 대상을 좁혀주고, 관리자는 그 지표만 바라보는 것이 핵심"이라고 말했다.

향후 위대한상상은 AI가 조치를 제안하고 운영자가 승인하면 실행까지 이어지는 승인 기반 자동화를 목표로 AI 옵스 체계를 고도화한다는 방침이다.