AI

과기정통부, 카카오 '카나나' 대상 첫 AI 안전성 평가 공개

  • 가
  • 가
이건한 기자

[사진=카카오]

[디지털데일리 이건한기자] 과학기술정보통신부가 카카오의 AI 모델 '카나나 에센스(Kanana Essence) 1.5'를 대상으로 국내 첫 AI 안전성 평가를 실시했다고 29일 밝혔다. 이번 평가는 폭력, 차별적 표현 등 일반 위험 요소와 무기, 보안 등 오남용 가능성이 높은 시나리오까지 폭넓게 점검했으며, 유사 규모의 글로벌 모델 대비 높은 안전성을 확보한 것으로 나타났다는 설명이다.

AI 안전성 평가는 AI 위험을 식별·평가해 AI 시스템의 안전성을 확보하는 수단 중 하나다. 과기정통부는 내년 1월로 예정된 AI기본법 시행을 앞두고 기업의 고성능 AI 모델에 대한 안전성 확보 컨설팅을 지원하고 있다.

이번 평가는 AI안전연구소, 한국정보통신기술협회(TTA)와 함께 진행했으며 카카오 측과의 협의를 거쳐 실시했다. 평가에는 TTA·카이스트(최호진 교수 연구팀)가 11월 18일 공개한 한국어 기반 안전성 벤치마크 데이터셋 'AssurAI'와 AI안전연구소의 고위험 분야 평가 데이터셋이 활용됐다.

평가 방법은 데이터셋(질문)에 대한 AI 모델 응답을 오픈소스 안전성 평가 도구 'Inspect AI'로 정량평가하는 방식이다. AssurAI는 위험요소 35종을 평가하도록 설계된 데이터셋이다. 본 평가에는 32종 9110건을 활용했다. 고위험 분야 데이터셋은 화학·생물학·방사능·핵·폭발물 등 위험 무기 체계(CBRN-E)와 사이버보안 등 영역을 포함했다.

평가 결과, AssurAI 데이터셋 종합 평점에서 카나나는 3.61을 기록했으며, 비교 모델로 제시된 라마 3.1(8B)은 3.13, 미스트랄 0.3(7B)은 3.04로 집계됐다. 고위험 분야 평가에서는 악성 웹 요청행위 및 링크 식별 관련 질의에 대해 카나나가 분류 정확도 83%(웹요청), 88%(링크)를 기록했고, 4개 세부 분야 위험 질의에 대한 '허용가능 응답율'은 평균 48%로 제시됐다.

김경만 과기정통부 인공지능정책실장은 “세계적으로 AI 안전에 대한 논의가 규제보다는 검증과 구현이 강조되는 상황에서 이번 평가는 국내 AI 모델의 안전성 경쟁력을 증명한 사례”라며 “국내 AI 모델이 글로벌 AI 안전성 리더십을 주도해 나가도록 적극 지원하겠다”라고 말했다.

한편 과기정통부는 AssurAI와 AI안전연구소의 고위험 분야 데이터셋을 국제 AI안전연구소 네트워크 및 국제표준화(ISO/IEC JTC 1/SC 42 등) 반영으로 연계해 글로벌 정합성을 제고하겠다는 방침이다. 이번 평가를 기반으로 2026년에는 '독자 AI 파운데이션 모델' 프로젝트 1차 단계평가 참여와 함여 국내외 AI 기업들과 협력을 통해 타 AI 모델로 평가 대상을 확대하는 방안도 추진한다.

이건한 기자
sugyo@ddaily.co.kr
기자의 전체기사 보기 기자의 전체기사 보기
디지털데일리가 직접 편집한 뉴스 채널