6월10일 서울 여의도 콘래드호텔에서 열린 '실험을 넘어 실전으로, 금융 비즈니스의 가치를 증명하는 AI 실행 전략' 세미나에서 이태영 BC카드 AX팀장이 AI 네이티브 기업으로의 전환 여정을 소개하고 있다.[사진=디지털데일리]

[디지털데일리 박재현기자] "열심히 만들면 또 나오고, 또 만들면 또 나왔습니다. 그러다 보니 전략을 바꿨습니다. 독자 모델보다 오픈소스를 우리 환경에 최적화하고 우리만의 에이전트를 만드는 게 낫겠다고 판단했습니다."

이태영 BC카드 팀장은 10일 <디지털데일리>와 한국레드햇이 공동 주최·주관한 '실험을 넘어 실전으로, 금융 비즈니스의 가치를 증명하는 AI 실행 전략' 금융 세미나에서 'AI 네이티브 기업으로의 전환 사례'를 주제로 발표하며 이같이 강조했다.

BC카드가 정의하는 AI 네이티브는 AI를 직접 만들고(Build AI), 활용하고(Make AI), 운영(Operate AI)하는 역량을 조직에 내재화하는 것이다. 이태영 팀장은 "이 세 가지 역량을 갖춰야 전사 AX를 진짜로 추진할 수 있다"면서 "현재 BC카드 직원들이 직접 코딩하고 그 결과물로 서비스를 운영하고 있다"고 강조했다.

◆ 독자 모델 개발에서 오픈소스 최적화로 전략 전환

BC카드는 2024년 5월 메타 라마3 8B 기반 'BC K-금융 LLM'을 공개하며 자체 LLM 개발에 본격 뛰어들었다. BC카드 연구소·국가연구기관·금융지주사·정부기관 등 다양한 출처에서 금융 특화 데이터셋도 구축해 현재까지 380만개를 공개했다. 파인튜닝·LLM 머지를 거쳐 최종 27B 규모의 BC GPT까지 고도화했다.

하지만 두 달 간격으로 더 좋은 글로벌 모델이 쏟아지면서 BC카드 독자 LLM 개발의 한계가 분명해졌다.

결국 BC카드는 빅테크 오픈소스 모델을 기반으로 자사 환경에 맞게 최적화하는 방향으로 전략을 전환했다. 현재 BC카드는 허깅페이스에 38개 모델과 5개 데이터셋을 공개 중이다. 국내 금융권에서 오픈소스 LLM에 기여하는 기업은 BC카드가 유일하다.

이태영 팀장은 "글로벌 커뮤니티는 최고의 모델만 선택한다"며 "BC카드가 최적화해 공개한 모델들이 국내 대기업 커머셜 모델보다 더 많은 다운로드를 기록하고 있다"고 말했다.

이 과정에서 vLLM과 양자화를 적용했다. BC카드는 vLLM 출시 직후 곧바로 도입했다. vLLM은 2023년 UC버클리에서 발표된 오픈소스 LLM 추론 엔진으로, 페이지어텐션(PagedAttention) 기술을 통해 GPU 메모리를 효율적으로 관리해 기존 대비 처리량을 획기적으로 높인다.

이태영 팀장은 "기존에 쓰던 올라마(Ollama)는 동시 처리 요청이 들어오면 서버가 죽었다"며 "vLLM으로 바꾸니 죽지 않았고, 양자화까지 더하자 기존 대비 속도가 10배 차이가 났다. 품질 저하도 생각보다 적었다"고 부연했다.

BC카드는 GPU 증설 대신 SW 최적화로 추론 성능을 끌어올렸다. FP8 동적 양자화를 적용해 모델 크기를 50% 줄였고 성능은 최대 3배 높였다. 오차율도 0.01%에 그친다. 여기에 스펙큘레이티브 디코딩을 더해 처리량을 56% 향상시켰고 최대 6배까지 빨라지게 만들었다.

스펙큘레이티브 디코딩은 소형 모델이 먼저 토큰을 예측하고 대형 모델이 이를 검증하는 방식으로, 대형 모델의 생성 횟수를 줄여 속도를 높인다.

이 팀장은 "vLLM 파라미터 설정 하나만 바꿔도 처리량이 58% 더 빨라진다"며 "GPU를 더 살 건지 소프트웨어로 최적화할 건지, 그 전략 선택이 AI 경쟁력을 가른다"고 조언했다.

이와 같은 HW 한계 극복과 SW 기반의 추론 최적화 성과는 대형 모델 하나에 의존하지 않고 여러 소형 모델을 동시 구동하는 에이전트 AI 도입의 결정적 계기가 됐다. 제한된 온프레미스 GPU 자원 안에서 복수의 모델을 안정적으로 서빙할 수 있는 기술적 토대가 마련되면서, 특정 업무에 특화된 소형 모델들이 역할을 나누어 병렬 처리하는 'SLM 스웜' 구조를 실제 현업에 확산시킬 수 있게 됐다는 설명이다.

◆ 에이전트 AI 전사 확산, 레드햇으로 운영 체계 구축

이러한 장점을 활용해 BC카드는 에이전트 AI를 가맹점 서류 심사 과정에 적용했다. 한도 산정, 회원제 업소 여부 판별, 제출 사진 진위 확인 등의 복합 업무를 에이전트가 자동 처리하도록 구현했다.

BC카드는 기존 16명이 투입되던 심사 평가 인력을 3명 수준으로 효율화했다. 가맹점 심사 외에도 RPA에 에이전트를 결합해 연간 7만 시간, 고객센터 자동화로 1만 2000시간을 추가 절감하며 총 10만 2000시간의 업무 효율화 성과를 거뒀다.

모델 전략의 핵심은 'SLM 스웜(Swarm)'이다. 단일 대형 모델 대신 소형 모델 여러 개가 역할을 나눠 병렬 처리하는 구조다.

이태영 팀장은 "GPT-4.5 이후부터는 사실상 단일 모델이 아니라 에이전트 형태로 업무를 쪼개 처리하는 구조"라며 "컴퓨터 사이언스의 기본 알고리즘인 분디바이드 앤 컨커가 AI에도 그대로 적용되고 있다"고 설명했다.

BC카드는 해외 결제 가맹점명 추론 서비스에 적용된 GPT-4o를 오픈소스 GPT-OSS-120B로 교체했다. 비용은 월 500만~1,000만원에서 0원으로 줄었고 정확도는 동일한 90%를 유지했다. 이후 젬마 4 26B SLM을 적용하자 정확도는 95%로 오히려 올랐다. 온라인 쇼핑 적립 품목 예측에서도 SLM 스웜 전환 후 예측 성공률이 92%에서 98%까지 높아지고 비용은 최대 70% 절감됐다. 추론 속도는 2~3배 빨라졌다.

RAG 고도화에는 가설 문서 임베딩(HyDE) 기반 병렬 검색 방식을 적용했다. 질문을 직접 임베딩하는 대신 SLM이 여러 관점의 가설 답변을 생성하고 이를 동시에 임베딩해 벡터 검색에 활용한다.

이를 위한 자체 웹 크롤링 검색 엔진 '비플렉시아(Bplexica)'도 개발했다. 외부 데이터를 실시간으로 수집해 RAG에 활용하는 구조다. BC카드는 이 엔진으로 법인 고객과 주요 가맹점의 기업 평판을 실시간 모니터링하는 서비스도 구축했다.

BC카드는 오픈소스 AI 아키텍처를 안정적으로 운영하기 위해 레드햇 오픈시프트 AI 플랫폼을 채택했다. BC카드가 인프라 효율화를 위해 도입한 vLLM과 llm-컴프레서(compressor) 기술은 레드햇 전략과도 일치했다. 레드햇이 오픈소스 서빙 및 압축 기술을 가진 뉴럴 매직을 인수하면서 양사의 기술 연속성이 강화됐다.

레드햇의 오픈시프트 AI 플랫폼을 도입함으로써 인력의 한계도 보완할 수 있었다. BC카드의 AI 조직은 5명의 인력으로 구성돼 있었다. 이들이 개발, 연구, 운영, 최적화, 인증 등 인프라 전 과정을 직접 감당했다. 하지만 인력 부족으로 인한 관리 부하가 한계에 도달했다. BC카드는 레드햇이 제공하는 엔드투엔드 검증 모델과 런타임 이미지를 도입했고, 이를 통해 플랫폼 관리 업무 효율성을 향상시켰다.

오픈시프트 AI 기반의 하이브리드 클라우드 제어로 인프라 보안 체계도 강화했다. BC카드는 내부 금융 데이터 처리를 위한 공간을 완전히 격리했다. 프라이빗 클라우드 기반의 'AI 시큐어 존'을 별도로 구축했다. 대외 서비스를 제공하는 'AI 퍼블릭 존'과 이중 구조로 분리한 형태다. 기술적 격리를 통해 엔터프라이즈 보안 위험을 사전에 차단했다.

금융권 규제에 선제 대응하기 위해 전사 AI 거버넌스 플랫폼인 '모아이 핀LLM(MOAI FinLLM)'도 자체 개발했다. 올 1월 시행된 AI 기본법과 금융권 가이드라인을 준수하기 위한 목적이다.

해당 거버넌스 플랫폼은 레드햇 인프라 체계와 긴밀하게 연계돼 작동한다. 입력 검증, 하이브리드 탐지, 내용 검증, 출력 제어, 모니터링, 로깅 등 핵심 가드레일 기능을 내재화했다. 금융 컴플라이언스 준수를 위한 강력한 감사 추적 기반을 완성했다.

이태영 팀장은 "규제에 부합하는 철저한 통제 체계는 전사 AX 추진의 필수 전제조건이다. 레드햇과 협업해 검증된 온프레미스 환경을 기본 축으로 삼았다"면서 "그 위에 자사 도메인에 특화된 소형언어모델(SLM) 스웜 아키텍처를 안착시켰다. 안정적인 통제 인프라 위에 SLM 스웜을 결합하면 금융 현장의 기술적 부채와 비즈니스 과제를 대부분 해결할 수 있다"고 강조했다.