[디지털데일리 오병훈기자] SK텔레콤이 인공지능(AI) 기술 보안 및 안정성을 확보하기 위해 레드팀 체계를 강화했다. 외부 해킹 위협을 예측하고 보완하기 위한 통상적인 레드팀 외에도 AI의 안전장치(가드레일) 역량을 강화하는 AI 전담 레드팀도 운영하면서 기술 보안 및 안정성 확보에 집중하는 모습이다.

4일 관련 업계에 따르면 SK텔레콤은 ‘독자 AI 파운데이션모델(독파모)’ 프로젝트 전담 조직 내에 레드팀을 운영 중이다. 지난해 해킹사태 이후 전사적으로 레드팀 조직을 배치하는 한편 정부 주도 정책 사업 조직 내에도 별도로 AI 전담 레드팀을 운영하는 등 기술 안정화에 총력을 다하고 있는 분위기다.

SK텔레콤이 AI 전담 레드팀을 독파모 조직 내에 배치한 것은 독파모 프로젝트가 정부 주도 정책 사업인 만큼 AI 안정성과 보안에 집중하기 위한 것으로 풀이된다. 독파모 조직 내 레드팀은 SK텔레콤 소속 인력이 직접 운영한다. 이들은 AI 파운데이션 모델의 로그 분석 및 안전성 테스트, 안전 데이터 구축 등 업무를 맡고 있다.

AI 전담 레드팀은 일반적으로 지칭되는 레드팀과는 차이가 있다. 통상적인 레드팀은 사내 보안 체계 미비점을 찾는 것이 주된 업무다. 레드팀(공격)과 블루팀(방어)으로 나뉘어 진행되며 레드팀은 사내 보안 취약점을 찾아 모의 해킹을 진행하게 된다. 이때 얻은 정보를 바탕으로 전사 보안 체계를 정비하고 강화하는 것이 핵심이다.

그에 비해 AI 전담 레드팀은 모의 공격 대상이 AI로 국한된다. 시스템 보안 취약점보다는 AI모델 취약점에 대한 공격을 대비한다. AI 경우 ‘복잡성’ 증가에 따른 블랙박스 문제가 여전히 존재한다. 확률을 기반으로 하는 알고리즘 특성상 개발자조차 AI의 답변을 예측하기 어렵다. AI의 파라미터(매개변수)가 커질 수록 그 복잡성이 증가하면서 AI 대상 공격 기법 중 하나인 ‘프롬프트 인젝션’에도 노출될 가능성이 높아진다.

프롬프트 인젝션은 AI에 악의적인 명령을 주입해 개발자가 의도하지 않은 동작을 수행하게 하는 사이버 보안 공격 기법이다. 프롬프트 입력을 조작해 AI 가드레일을 우회하고 민감 정보 유출이나 잘못된 정보를 유포(환각)시키고 허가되지 않은 기능 실행을 유도해 AI 신뢰성과 무결성에 위협을 가하는 것이 목적이다.

예컨대 AI에게 불법 무기 제조법을 물어볼 경우 답변이 차단돼야 한다. 하지만 공격자가 다양한 우회 질문(프롬프트)을 통해 결과적으로 무기 제조법 답변을 하도록 유도할 수 있다. 또 내부 기밀 자료를 빼내기 위한 명령어를 집어 넣어 AI가 알아서 기밀을 답하도록 할 수도 있다.

SK텔레콤 관계자는 “국가 차원 독파모 프로젝트를 진행하고 있는 만큼 앞으로도 AI 안정성을 높이고 답변 정확도를 높이기 위한 노력을 지속하겠다”고 말했다.

한편 SK텔레콤은 독파모 조직 내 AI 전담 레드팀 뿐 아니라 전사 보안을 강화하기 위한 전담 레드팀도 지난해 8월 출범 이후 인력을 확대 중이다. 출범 당시 3명이었던 인력은 8명까지 늘었다. 전문 화이트해커로 구성된 인력을 확보해 전사 보안 취약점을 수시로 점검하고 보완하겠다는 구상이다.