AI

독파모 4개 모델 AAII 순위 재편…‘모티프3’가 1위

오병훈 기자

[사진=AAII 홈페이지 지능 벤치마크 점수 순위 결과]

[디지털데일리 오병훈기자] 글로벌 성능 평가 지표에서 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트에 참여 중인 국내 4개 모델 순위가 업계 관심을 끌고 있다. 모티프테크놀로지스의 ‘모티프3(Motif 3)’가 47점으로 가장 높은 점수를 기록했고, 업스테이지와 SK텔레콤, LG AI연구원 모델이 뒤를 이었다.

13일 글로벌 AI 모델 평가기관 아티피셜 애널리시스 인텔리전스 인덱스(AAII)가 공개한 최신 평가 버전 결과에 따르면 보면 모티프3는 47점을 기록했다. 이어 업스테이지 ‘솔라 오픈2 250B’가 37점, SK텔레콤 ‘에이닷엑스 K2(A.X-K2)’가 35점, LG AI연구원 ‘K-엑사원 2.0 0803’이 31점으로 집계됐다.

AAII는 언어모델의 지식·추론뿐 아니라 실제 과업 수행과 코딩 능력 등을 종합해 비교하는 지표다. 현재 적용된 v4.1.1은 9개 평가로 구성된다. 평가 가중치는 에이전트 관련 과제가 34%, 코딩 24%, 과학적 추론 24%, 일반 능력 18%다.

다만 AAII 점수가 AI의 성능을 바로 담보한다고 볼 수 없다는 것이 업계 평가다. 특히 정부가 추진 중인 독파모 평가는 자체 벤치마크와 전문가 평가, 국민평가 등 별도 기준을 종합해 진행된다. AAII는 이와 별개로 동일한 외부 평가체계에서 국내 모델들의 상대적인 위치를 살펴볼 수 있는 참고 지표다.

이번 평가에서는 4개 모델 모두 같은 시기에 최신 버전에 대한 평가가 이뤄지면서 모델 간 점수 차이를 비교할 수 있게 됐다. 최고점과 최저점의 차이는 16점이며, 1위와 2위 간에는 10점, 2위와 3위는 2점, 3위와 4위는 4점의 격차가 나타났다. 독파모 2차 평가를 앞두고 글로벌 외부 벤치마크에서도 참여 모델 간 순위가 다시 조정된 모습이다.

오병훈 기자
digimon@ddaily.co.kr
기자의 전체기사 보기 기자의 전체기사 보기
디지털데일리가 직접 편집한 뉴스 채널