[ⓒ픽사베이]

[디지털데일리 김보민기자] 인공지능(AI) 에이전트 기능을 가로채 악용하는 보안 위협을 주의해야 한다는 경고가 나왔다.

금융보안원(원장 박상원)은 AI 에이전트 보안 위협 보고서를 공개했다고 10일 밝혔다. AI 에이전트는 사용자 의도에 따라 목표를 설정한 뒤, 환경을 분석하고 필요한 도구를 활용해 인간 개입 없이 자율적으로 목표를 수행하는 시스템이다.

기존 대형언어모델(LLM) 기반 AI가 정보를 제공해 사람의 판단과 결정을 지원했다면, AI 에이전트는 외부 도구를 통해 필요한 조치를 스스로 실행할 수 있다는 점에 차이가 있다. 정보기술(IT) 업계에서는 올해가 AI 에이전트 기술이 무르익는 전환점이 될 것이라는 전망이 나오고 있다.

금융보안원은 "안전한 에이전트를 활용하기 위해 AI 모델에 대한 위협뿐만 아니라, 외부 도구 연동에 따른 위험도 함께 고려할 필요가 있다"고 말했다. AI 에이전트가 사용자 명령을 실행하기 위해 다양한 채널과 데이터에 접근하고 있는 만큼, 해커 공격에 악용될 가능성을 고려해야 한다는 취지다.

보고서에 따르면, 현재 우려되는 악용 사례 중 하나는 'AI 에이전트 하이재킹'이다. 이 공격은 AI 에이전트가 독립적으로 의사결정을 내리는 과정에서 조작 및 허위 정보를 참조해, 의도하지 않은 행위를 수행하도록 유도하는 데 특화돼 있다. AI 에이전트 기능을 가로채는 행위와도 같다.

AI 에이전트가 사용자 지시와 외부 데이터에 숨겨진 공격자 지시를 구분하지 못할 경우, 사용자 지시를 처리하기 위해 외부 데이터를 참조하는 과정에서 악의적인 지시를 사용자 요청으로 착각해 수행할 가능성이 있다.

보고서는 AI 에이전트에 연동된 도구 수와 종류가 다양해진 만큼, 공격표면이 확장되고 있다는 점도 주목했다. 에이전트가 참조하는 도구 설명에 조작된 내용을 입력할 경우 악성 행위가 이어지도록 유도할 수 있다는 의미다. 금융보안원에 따르면 사용자는 에이전트가 사용하는 도구 설명 전체를 확인하기 어렵고, 이 때문에 숨겨진 악성 행위를 식별하기가 쉽지 않다.

금융보안원은 금융권에 AI 에이전트 도입이 본격화되면 비정상적인 대출 승인, 공격자 계좌로 자금 이체 등 피해가 발생할 가능성이 있다고 지적했다. 특히 현재 법 체계는 AI가 독립적으로 행동한 문제를 다루지 못해, AI 에이전트 행동에 대한 책임 소재도 불분명하다고 설명했다.

금융보안원은 "기존 보안 체계로 충분한 검증 및 제어를 하기 어려운 한계가 있어, 위협 평가를 바탕으로 적절한 보안 체계를 마련해야 한다"고 말했다. 그 일환으로 ▲AI 에이전트의 의사결정 과정을 기록·추적하는 체계 구축 ▲사람의 검토·승인 절차 도입 ▲최소 권한 부여 및 관리 ▲요청 작업에 대한 실시간 모니터링 및 검증 등이 필요하다고 강조했다.

한편 금융보안원은 금융회사가 AI 보안 체계를 구축할 수 있도록 지원할 방침이다.