[사진=나노바나나2 생성]

[디지털데일리 박재현기자] BNK금융그룹이 부산은행·경남은행 등 10개 계열사가 함께 쓰는 생성형 AI 플랫폼을 구축한다. 계열사별로 흩어져 있던 AI 투자를 그룹 차원에서 한 번에 묶겠다는 구상이다.

BNK시스템이 '그룹 공동 생성형 AI 플랫폼 도입' 사업을 추진한다. 사업은 오는 10일 우선협상대상자가 결정된다. 개발기간은 10월부터 내년 5월까지 약 8개월이다.

사업의 핵심은 데이터 격리 설계다. 10개 계열사를 각각 별도 네임스페이스로 나누고 공통 포털용 네임스페이스를 하나 더 두는 구조다. 이렇게 할 경우 그룹 공통 AI 자산은 재사용하면서도 계열사별 보안·권한 정책은 독립적으로 적용이 가능하다. 계열사 데이터가 플랫폼 공동존으로 유입되는 단계부터 민감정보·기밀 데이터를 걸러내는 필터링 기능도 요구사항에 담겼다.

복호화 통제는 동의 여부로 구분된다. 에이전트가 정식 승인 상태이면서 고객정보 제공 동의 등 법적 근거까지 확보했을 때만 운영 데이터베이스의 복호화 데이터에 접근할 수 있다.

아직 개발 중인 에이전트는 동의 여부와 무관하게 100% 익명화된 개발용 DB만 보도록 이중 승인 체계를 뒀다. 계열사마다 다른 문서보안(DRM) 솔루션까지 자동 인식해 실시간으로 복호화·재암호화하는 연동 모듈도 요구했다.

감사 추적은 누가, 어떤 에이전트를 통해, 어떤 동의 근거로 복호화된 데이터를 조회했는지까지 위·변조 불가능한 로그로 남기도록 했다. 프롬프트 인젝션과 탈옥 시도, 유해어까지 걸러내는 가드레일도 LLM 게이트웨이 단에 심어야 한다.

업무용 에이전트는 10종을 미리 정했다. 규정·책무 어시스턴트부터 여신업무, 외환업무, 고객·민원 분석, 광고심의 지원, 단말기 내비게이터까지 금융 업무에 바로 붙는 유스케이스를 필수 제시 항목으로 선정했다.

LLM 운용은 게이트웨이 하나로 일원화한다. 내·외부 LLM 호출을 한 통로로 모아 라우팅·인증·가드레일·토큰 과금을 총괄 통제하고, 계열사·부서별 토큰 사용량을 집계해 매달 사내 비용을 정산하는 차지백 구조를 갖추도록 했다. GPU는 모델별로 vGPU·MIG 방식의 가상 분할 할당을 요구해 계열사 간 연산 자원이 서로 간섭하지 않게 했다.

현재는 사내망 프라이빗 LLM을 사용 중인데, 망분리 규제가 완화될 경우 퍼블릭·하이브리드 클라우드로 확장할 수 있도록 표준 MSA 구조도 사전에 설계해야 한다.

관리자 포털에는 AI기본법이 요구하는 위험평가·모니터링 대시보드를 넣었고, 그룹 AI 거버넌스 자문을 맡아온 김앤장의 컨설팅 공수도 이번 사업 범위에 포함해 제안해야 한다.

한편, 그룹 공동 생성형 AI 플랫폼이 올라갈 GPU 서버는 별도 입찰(역경매)로 조달한다는 계획이다. 도입 대상은 엔비디아 DGX B200 2대로, 대당 B200 텐서코어 GPU 8장씩 총 16장이 들어간다. CPU는 인텔 제온 플래티넘 8570 듀얼(112코어), 메모리는 2TB DDR5이며, 소프트웨어는 엔비디아 AI 엔터프라이즈·베이스 커맨드를 얹고, GPU 1장당 3년 구독 라이선스를 16장분 모두 포함하도록 했다.