[re:Invent2022] 데이터 분석을 위한 AWS의 퍼즐 맞추기

라스베이거스(미국)이상일 2022.12.02 08:07:30

[디지털데일리 이상일기자] 아마존웹서비스(AWS)가 클라우드 환경에서의 데이터 분석 과정을 보다 고도화하고 서비스 간 연계를 강화하는 내용의 다양한 서비스 포트폴리오를 발표했다. 

지난 28일(현지시간)부터 미국 라스베이거스에서 개최되고 있는 ‘아마존웹서비스(AWS) 리인벤트 2022’행사에선 AWS의 데이터 분석을 위한 다양한 서비스와 머신러닝을 위한 포트폴리오가 발표됐다. 

이러한 AWS의 제품 발표는 데이터 분석을 보다 잘하기 위한 기업들의 요구와 AWS가 제시하는 비전을 반영한 데이터 분석 라이프라이클의 전체 포트폴리오를 완성해 나가기 위한 여정의 하나로 풀이된다. 

현장에 참가한 한 한국기업 관계자는 “새로운 제품이 나오기 보다는 기존 제품을 보다 고도화하는 방향으로 발표가 이어진 것 같다”며 “기존 서비스를 사용하면서 고객이 느낀 개선점 등을 반영해 새로운 모듈 형식 서비스가 지속적으로 출시되는 느낌”이라고 밝혔다. 

김기완 AWS 코리아 솔루션즈 아키텍트 총괄은 “고객들이 점점 더 많은 AWS의 데이터서비스를 이용하다 보니 그 안에서 고객들이 또 다른 도전과제를 맞고 있다. 데이터 양의 폭증하고 종류도 다양해져 데이터를 활용하는 애플리케이션에 대해 다양한 형태의 접근 패턴을 요구하고 있다”고 밝혔다. 

그는 “AWS 내의 서비스들이 서로 편하게 연계가 되거나 더 많은 데이터를 처리할 수 있게, 혹은 좀 더 가용성을 높여야 된다는 고객들의 요구가 많았다. 그래서 이번에 새로 나온 기능들이나  서비스들은 우리가 고객들에게 받았던 요구사항을 도와줄 수 있는 내용으로 채워졌다”고 밝혔다. 

이러한 일환으로 다큐멘텀DB의 경우 데이터의 양이 증가하는 가운데 유연하게 대응할 수 있도록 하기 위해 데이터 저장량을 2페타바이트로 늘리고 초당 수백만건의 읽기와 쓰기를 가능하게 했다. 

최근 기업의 화두가 되고 있는 클라우드에서의 실시간 분석의 경우 특정 시간에 대용량 데이터가 들어오거나 아니면 평소에 많지 않았던 분야에서 갑자기 데이터 분석 요구가 발행하면 자원을 따로 할당해 사용해야 했다. 여기에 AWS는 비용효율적인 접근을 위해 서버리스(Serverless) 서비스를 강화하고 있다. 고객은 필요할 때 자원을 할당 받지만 서버에 대한 관리 필요성은 없다. 기존 'AWS EMR', 'AWS 레드쉬프트'에 이어 이번 발표에선 'AWS 오픈서치'에 대한 서버리스 제공이 발표됐다. 

'AWS 아테나'의 경우 고객들이 가지고 있는 뒷 단의 인프라와 상관없이 즉, 데이터웨어하우스 혹은 일반 스토리지 등 데이터 소스에 상관없이 SQL쿼리 등을 보낼 수 있는 서비스였다. 
 
이번 발표를 통해 AWS는 사용자 인터페이스 측면에서 고객들의 선택을 다양하게 지원하기 위해 ‘아마존 아테나 포 아파치 스파크’를 출시하기도 했다. 그는 “기존 스파크를 사용하던 고객들이 편하게 아테나를 사용하는 것처럼 스파크 쿼리를 보낼 수 있게 됐다”고 설명했다.  

머신러닝 플랫폼 'AWS 세이지메이커'는 이번에 8가지 서비스가 새로 선보였다. 먼저 ‘아마존 세이지메이커 롤 매니저’를 사용해 관리자는 더 쉽게 액세스를 제어하고 권한을 정의하여 머신 러닝 거버넌스를 개선할 수 있다. 

‘아마존 세이지메이커 모델 카드 기능’을 통해 머신 러닝 수명 주기 전체에서 모델 정보를 쉽게 검토 및 문서화가 가능하며 아마존 세이지메이커 모델 대시보드 기능 모델을 추적하고 성능을 모니터링하며 과거 동작을 검토할 수 있는 중앙 인터페이스를 제공한다. 

‘아마존 세이지메이커 스튜디오 노트북’의 새로운 데이터 준비 기능을 통해 고객은 클릭 몇 번으로 데이터 품질 문제를 시각적으로 검사 및 해결이 가능해진다. 데이터 사이언스 팀은 아마존 세이지메이커 스튜디오 노트북 내에서 실시간으로 협업이 가능하고 고객은 노트북 코드를 프로덕션 준비 작업으로 자동 변환이 가능해 진다.

또, ‘지리공간 데이터 지원’을 통해 고객은 기후 과학, 도시 계획, 재해 대응, 유통 계획, 정밀 농업 등에 대한 머신 러닝 모델을 쉽게 개발할 수 있게 됐다. 

김기완 총괄은 “2017년 세이지 메이커가 출시된 이후 하나의 거대한 플랫폼처럼 발전을 하고 있다. 이번에 8가지 새로운 기능이 나왔는데 사실상 새로운 서비스라고 보면 된다”며 “고객이 세이지 메이커를 사용할 때 어려워 했던 부분과 시간이 많이 걸리는 부분을 단순화하고 있는 과정”이라고 소개했다.