올해 20주년을 맞은 네이버가 상당 폭의 변화를 앞뒀다. 하루 3000만명이 드나드는 모바일 메인 개편을 실험 중이고 동영상 중심의 콘텐츠 제작과 편집, 소비에 이르기까지 끊이지 않는 사용자경험을 위한 체질 개선에도 나선다. 이용자가 보는 앞단의 변화가 이 정도라면 개발 뒷단에선 보다 과감하고 치열한 고민이 필요하다.

<디지털데일리>는 네이버를 움직이는 기술 리더들을 마블 캐릭터에 빗대 ‘네이버 어벤저스’라 이름 붙이고 이들의 연속 인터뷰를 통해 국내 최대 인터넷 기업의 속 깊은 고민과 핵심 경쟁력의 원천을 짚어보고자 한다. 첫 번째 어벤저스 팀은 ‘네이버 빅데이터 & AI 플랫폼’ 연구원들이다. <편집자 주>

[디지털데일리 이대호기자] 네이버(대표 한성숙)는 빅데이터 기술 회사이자 인공지능(AI) 기술 회사다. 구체적으로 말하면 빅데이터를 잘 다루고 이를 통한 검색과 추천 고도화를 위해 AI를 적극 활용하는 회사라고 할 수 있다.

네이버는 자체 개발자 행사인 ‘데뷰(DEVIEW) 2013’에서 AI 기계학습(머신러닝)을 처음 언급했다. 이후 데뷰를 보면 AI 강연 비중이 점차 늘어나다가 2017년엔 AI가 행사 중심이 된다. 연구 단계에서 벗어난 실제 적용 사례 발표도 많아진다. 네이버 AI 기술의 발전상을 엿볼 수 있는 지점이다.

국내 최대 빅데이터를 보유한 네이버는 AI 기술을 실험하고 발전시키기에 유리한 입지에 있다. 회사도 강하게 드라이브를 걸었다. 올해 조직 개편을 거쳐 ‘빅데이터 & AI 플랫폼’을 한데 묶은 이유다. 관련 연구원은 30여명. 네이버 어벤저스라 불러도 손색이 없을 정예 개발자들이다.

◆‘AI 스위트’로 대동단결=네이버 AI 플랫폼은 AI 스위트(Suite)로 불린다. AI 스위트는 ▲AI피처 ▲AI트레이닝 ▲AI서빙으로 구성된다.

AI피처는 AI 학습에 쓰기 위해 데이터를 전처리(피처엔지니어링)하는 플랫폼이다. AI트레이닝은 AI 모델 훈련을 지원하는 플랫폼, AI서빙은 실제 서비스를 추론하기 위한 환경을 제공하는 플랫폼이다.

AI 개발은 사람이 필요한 지식을 교육이나 책을 통해 학습한 후 실생활이나 업무에 활용하는 것과 같다. 먼저 다량의 학습 데이터를 준비하고 이를 AI가 학습하는 훈련 과정이 끝나면 실제 비즈니스에 적용하는 단계를 거치게 된다. 음성이나 그림 혹은 텍스트 등의 입력에 대응하는 추론이나 예측을 수행하는 것이다.

정재부 리더<사진 가운데>는 2017년 적용된 AI트레이닝 플랫폼의 장점에 대해 “데이터프록(DataProc)처럼 다양한 AI 프레임워크와 GPU 자원을 바로 할당해서 사용할 수 있어서 모델 개발자는 AI 인프라 구축에 신경 쓰지 않고 빠르게 모델 연구에만 집중할 수 있다”고 말했다. 또 “텐서플로(Tensorflow)나 파이토치(Pytorch)와 같은 다양한 AI 프레임워크를 간단히 이름만 명시함으로써 바로 사용할 수 있다”고 설명했다.

◆AI도 서빙됩니다=현동석 연구원<사진 왼쪽>은 AI 개발 과정을 ‘요리를 만들어 파는 것’에 비유했다. 요리 전 식재료를 씻거나 손질하는 것이 AI피처라면, 요리 단가를 맞추고 주문을 처리할 수 있도록 하는 작업 과정을 AI트레이닝으로 설명했다.

AI서빙은 팔 수 있는 요리를 내놓는 것으로 볼 수 있다. AI트레이닝을 거쳐 완성된 요리(AI모델)을 실제 서비스에 붙이는 작업인 것이다. 현 연구원이 작년까지 이 AI서빙을 제안했고 AI 스위트가 완성됐다.

현 연구원은 “데이터스토어에 파일을 떨궈놓고 브라우저에서 클릭만 하면 AI서빙이 가능하다”며 “각자 각부서가 나름의 방식으로 서버를 만들고 실제 서비스에 붙이거나 AI프로세싱 파워 용량을 계산해서 장비를 더 붙이는 상황으로도 갈 수 있다”고 현황을 전했다.

최철규 연구원<사진 오른쪽>은 “데이터 지표는 외부 시스템과도 자동 연계가 된다”며 “툴을 만들 때 데이터 정보를 활용해 고급 기능을 개발할 수 있도록 메타정보 기능을 고도화하고 다양한 툴도 붙을 수 있게 했다”고 덧붙였다.

AI피처도 중요 과정이다. 식재료를 제대로 다듬지 않으면 요리가 완성되지 않듯이 AI 개발도 마찬가지다. AI 모델 학습에 쓸 수 있는 데이터로 만들기 위한 자동화된 전처리 단계를 위해 빅데이터 & AI 플랫폼 연구원들이 상당한 노력을 기울였다.

현 연구원은 “3개 구성 요소가 공통적으로 제공되면서 편하고 빠르게 그리고 안정적으로 AI 기술을 실제 서비스에 붙이는 작업 효율이 가속화됐다”며 “(실제 서비스에 적용될 때)통합검색 트래픽을 다루는 부분까지 포함해 해결한 플랫폼”이라고 힘줘 말했다.

◆사용자 정보보호는 최우선으로=정 리더는 AI 플랫폼의 데이터 활용 부분을 설명하는 과정에 ‘사용자 정보보호’를 분명히 했다. 사용자 정보보호를 최우선 가치로 두고 고민한 플랫폼이라는 것이다.

정 리더는 “개발자들이 쉽게 데이터를 가져와서 자유롭게 활용한다는 것이 사용자의 데이터를 몰래 가져와서 쓴다는 의미는 아니다”라고 강조한 뒤 “생산자에게 허락받아 보관된 데이터, 개인정보가 보호된 데이터, 개인정보 비식별처리가 된 데이터를 후처리해서 보안검증을 거친 데이터만 쓴다”고 밝혔다.

◆AI 기술 공유도 나섭니다=AI 개발에 GPU 가속이 자주 쓰이면서, ‘GPU 스케줄링’이 중요해졌다. AI트레이닝에 필요한 GPU 자원을 효율적으로 배분하는 기능이다.

네이버는 2016년 아파치 하둡에 없었던 이 기능을 직접 만들어 썼고 깃허브(GitHub)을 통해 기술을 공유했다. 정 리더는 “굉장히 의미를 둘 만한 기술이다. 클라우데라 등 주요 외국회사 외엔 그 정도까지 코드레벨에서 문제라던가 기능을 개선하는 회사는 많지 않다”며 의미를 부여했다.

이달 18일 개최된 엔비디아의 GPU 기술 컨퍼런스 ‘GTC 2019’에선 네이버 활용 사례가 공유됐다.

엔비디아의 ‘텐서RT 인퍼런스 서버(TensorRT Inference Server)’라는 기술을 현업에서 사용된 사례로 네이버가 언급된 것이다. AI서빙 기능 하나인 ‘클라우드 스트리밍 서빙’에 관련한 발표다. 네이버 내부에선 C3 DL Inference로 지칭하고 있다.

오는 4월5일 네이버가 개최할 AI 연구자 대상 ‘네이버 AI 콜로키움 2019’에선 AI 스위트 플랫폼에 대한 보다 구체적인 발표가 진행된다.

올해로 4회째를 맞이한 네이버 AI 콜로키움은 회사 연구진들이 학계와 연구현황을 공유하며 보다 발전적인 AI 프로젝트를 이끌고 가기 위한 학술 행사로 해마다 세션 종류와 참관 규모를 키워가고 있다. 올해 참관 규모는 400여명이다.

<이대호 기자>ldhdd@ddaily.co.kr