20일 서울 중구 전국은행연합회 은행회관에서 열린 ‘2026 금융권 AX 리스크 & 컴플라이언스’ 컨퍼런스 현장에서 조재원 iMind Inc (Sumsub 한국 파트너) 가 발표하고 있다. [사진=디지털데일리]

AI 자율성 커질수록 책임성·추적 가능성 중요…금융권 ‘책임성 격차’ 해소 과제

[디지털데일리 조윤정기자] 인공지능(AI)이 금융회사 직원의 업무를 보조하는 수준을 넘어 스스로 판단하고 행동하는 단계로 진화하면서, 금융권의 신뢰·컴플라이언스 체계도 AI를 새로운 ‘행위 주체’로 포함하는 방향으로 재설계해야 한다는 제언이 나왔다.

조재원 iMind Inc (Sumsub 한국 파트너) 이사는 20일 서울 중구 전국은행연합회 은행회관에서 열린 '2026 금융권 AX 리스크 & 컴플라이언스(Financial AX Risk & Compliance 2026)’ 콘퍼런스에서 “AI가 올바른 결정을 내리는 것만으로는 충분하지 않다”며 “앞으로는 AI가 왜 그런 결정을 내렸는지 증명하고 보고할 수 있어야 한다”고 강조했다.

조 이사는 AI가 정보 검색과 분석을 지원하던 단계를 지나 반복 업무 자동화, 나아가 직접 의사결정을 수행하는 단계로 발전하고 있다고 진단했다. 사람이 결정을 내릴 때는 누가 어떤 정보를 바탕으로 왜 판단했는지 확인할 수 있지만, AI가 수천개의 결정을 자동으로 내리는 환경에서는 그 과정을 사후에 재구성하고 설명할 수 있는지가 새로운 과제가 된다는 설명이다.

AI 시대 금융회사가 확보해야 할 핵심 요소로는 ‘자율성·책임성·추적 가능성’을 제시했다. 자율성은 AI가 독립적으로 업무를 수행할 수 있는 능력, 책임성은 AI의 판단과 행동에 대한 책임 주체를 명확히 하는 것이다. 추적 가능성은 AI가 무엇을 했고 왜 그런 결정을 내렸는지를 기록하고 검증할 수 있도록 하는 개념이다.

특히 조 이사는 AI의 자율성 확대 속도에 비해 기업이 AI의 행동 이유를 설명하고 증명하는 능력은 충분히 따라가지 못하고 있다고 지적했다. 이를 ‘책임성 격차(accountability gap)’로 규정하며, 금융처럼 규제가 엄격한 산업에서는 이 같은 격차가 커질수록 컴플라이언스 위험 역시 확대될 수 있다고 설명했다.

추적 가능성도 금융권의 핵심 과제로 꼽았다. 조 이사는 AI가 직접 의사결정을 수행하는 환경에서는 추적 가능성이 단순한 기술 문제가 아니라 책임 소재와 직결된다고 강조했다. 발표에서 소개한 금융서비스 관련 평가에서도 금융업의 AI 성숙도는 상대적으로 높은 수준이지만 일부 책임성 관련 영역은 상대적으로 취약한 모습을 보였다고 설명했다.

금융회사의 신뢰 관리 대상 역시 확대될 것으로 전망했다. 기존에는 고객과 거래 상대방 등을 중심으로 신원을 확인하고 위험을 관리했다면, 앞으로는 실제 금융 업무와 의사결정에 참여하는 AI까지 신뢰 관리 체계 안에 포함해야 한다는 것이다.

썸섭은 이를 위해 AI 에이전트가 명확한 기준과 통제된 환경에서 업무를 수행하도록 하고, AI의 모든 행동을 책임 주체와 연결하는 체계가 필요하다고 제시했다. 아울러 AI가 수행한 의사결정과 행동을 기록해 사후 검증할 수 있도록 함으로써 책임성과 추적 가능성을 확보해야 한다고 설명했다.

조 이사는 “신뢰는 한 번 확인하고 끝나는 것이 아니라 지속적으로 구축되고 모니터링되며 내부적으로 증명돼야 한다”고 말했다. 끝으로 그는 AI가 금융 생태계의 새로운 참여자로 등장한 만큼 기존 사람 중심의 컴플라이언스 체계를 AI까지 포괄하는 ‘신뢰 인프라’로 확장해야 한다고 강조했다.