[사진=크라우드웍스 로고]

[디지털데일리 오병훈기자] AI 데이터 전문 기업 크라우드웍스가 인공지능(AI) 에이전트 서비스 과정에서 발생할 수 있는 오작동을 검증하는 시스템을 구축한다. 단순히 AI가 내놓은 최종 답변이 정확한지를 넘어 어떤 판단과 도구 호출 과정을 거쳐 작업을 수행했는지까지 들여다보는 방식이다.

크라우드웍스는 과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 발주한 ‘AI 에이전트 안전·신뢰성 검증 체계 지원’ 사업을 수주했다고 3일 밝혔다.

생성형 AI가 질문에 답하는 단계를 넘어 스스로 계획을 세우고 외부 응용프로그램인터페이스(API)나 각종 도구를 이용해 실제 업무를 처리하는 AI 에이전트로 발전하면서 안전성 검증 필요성도 커지고 있다.

특히 결제와 예약, 배차처럼 에이전트의 판단이 실제 행위로 이어지는 서비스에서는 중간 추론이나 도구 선택 과정에서 오류가 발생할 경우 이용자 피해로 직결될 가능성이 있다는 분석이다.

기존 AI 평가 체계는 주로 최종 답변의 정확도나 성능을 측정하는 데 초점이 맞춰져 있어 에이전트가 스스로 계획을 세우고 외부 도구를 호출하는 자율 실행 과정 전체의 타당성을 평가하는 데 한계가 있었다는 설명이다.

이번 사업에서는 이 같은 평가 공백을 보완하기 위해 AI 에이전트에 특화된 안전·신뢰성 검증 체계를 구축한다. 국제 표준과 연계하면서 국내 서비스 환경을 반영한 평가 기준을 마련하고 실제 현장 적용을 거쳐 향후 민간 AI 신뢰성 인증과 연계하는 것이 목표다.

크라우드웍스는 컨소시엄에서 다단계 추론 시나리오와 한국형 검증 데이터셋 구축을 담당한다.

단순히 에이전트가 최종적으로 올바른 답을 냈는지만 평가하는 것이 아니라 답을 찾기 위해 수립한 계획과 도구 호출 순서, 중간 판단 등이 논리적으로 타당했는지 평가할 수 있는 데이터 기반을 마련한다.

이를 위해 다양한 모델컨텍스트프로토콜(MCP) 도구와 외부 API를 순차 또는 병렬로 호출해야 해결할 수 있는 난이도별 다단계 추론 시나리오를 설계한다. MCP란 AI 모델과 외부 데이터·도구·서비스를 표준화된 방식으로 연결해 에이전트가 필요한 기능을 호출할 수 있도록 하는 개방형 프로토콜이다

한국 서비스 환경에 특화된 맥락과 실시간으로 값이 바뀌는 동적 데이터도 반영한다. 예약 가능 시간이나 가격 등 외부 환경이 변하는 상황에서도 에이전트가 최신 정보를 토대로 올바른 판단을 내리는지 확인하기 위한 것으로, 총 7000건 이상의 검증 데이터셋을 구축할 예정이다.

한편 이번 사업에는 크라우드웍스를 비롯해 주관사인 슈어소프트테크와 한국과학기술원(KAIST), 한국인공지능산업협회가 컨소시엄으로 참여한다. 개발 및 검증 체계 구축은 올해 말까지 완료할 예정이다.