[ⓒ 모티프테크놀로지스]

[디지털데일리 이나연 기자] 인공지능(AI) 인프라 기업 모레 자회사인 모티프테크놀로지스가 약 7주만에 자체 개발한 대규모언어모델(LLM)인 '모티프 12.7B'를 허깅페이스에 오픈소스로 공개했다고 5일 밝혔다.

모티프 12.7B는 모티프테크놀로지스가 프롬 스크래치 방식으로 모델 구축부터 데이터 학습까지 전 과정을 직접 수행한 모델이다. 이름처럼 127억개의 매개변수(파라미터)를 기반으로 한다.

독자적으로 개발·고안한 '그룹 단위 차등 어텐션'과 '뮤온 옵티마이저 병렬화 알고리즘'이라는 두 가지 LLM 개발 기술로 모델 성능과 학습 효율을 이뤘다는 게 회사 측 설명이다.

실제 벤치마크 결과 모티프 12.7B는 'AIME25' 'GPQA 다이아몬드' '지브라로직' 등 추론 능력을 평가하는 수학·과학·논리 과제에서 720억 매개변수를 가진 알리바바 큐원 2.5(72B)을 능가했다. 구글 젬마3 동급 모델과의 비교에서도 주요 추론 능력 관련 평가 지표에서 더 나은 점수를 얻었다.

벤치마크 결과 비교 표 [ⓒ 모티프테크놀로지스]

모티프테크놀로지스가 도입한 그룹 단위 차등 어텐션 메커니즘은 헤드 할당을 전략적으로 비대칭화해 기존 '차등 어텐션(DA)' 메커니즘의 구조적 한계를 넘어섰다. DA 메커니즘은 어텐션 노이즈를 제거해 모델의 안정성과 추론 능력을 높였으나, 핵심 정보인 신호와 불필요한 정보인 잡음 처리를 위한 연산 헤드를 대칭적으로 할당해야 하는 구조적 한계로 연산 효율이 떨어지는 문제가 있었다.

모티프테크놀로지스는 헤드 할당을 비대칭화해 동일 연산량 대비 최대치의 성능과 표현력을 달성했다. 고난도 추론 성능을 크게 향상하는 동시에 환각 현상을 완화했다.

또한 뮤온 옵티마이저 병렬화 알고리즘을 통해 LLM 학습 효율 저하의 주요 원인으로 꼽혀왔던 멀티노드 분산 환경에서의 노드간 통신·동기화 병목 문제도 해결했다. 그래픽처리장치(GPU) 연산과 통신 작업을 중첩 스케줄링하는 독자적 병렬화 알고리즘으로 통신 대기 시간을 사실상 제거하고 GPU 활용률을 극대화해 학습 효율을 개선했다.

강화학습(RL) 과정 없이 고도화된 추론 능력을 확보한 LLM이라는 점도 강점이다. 모티프테크놀로지스는 LLM 개발 단계에서 가장 비용이 많이 소요되는 강화학습 단계 없이 '추론 중심 지도학습(Reasoning-Focused SFT)' 방식을 통해 모델이 스스로 논리적 사고와 문제 해결을 수행할 수 있도록 설계했다. 사용자 질문 특성에 따라 '심층 추론'과 '즉시 응답' 방식을 모델이 스스로 판단하도록 해 상황에 맞는 최적의 연산을 수행하게 했다.

특히 모티프테크놀로지스는 개발과 운영 전 과정에서 비용 효율성을 극대화했다고 강조했다. 개발 단계에서는 강화학습 과정이 생략돼 고비용 학습 부담을 크게 줄였다. 운영 단계에서는 모델이 불필요한 추론 연산을 자동으로 회피해 GPU 사용량 절감, 모델 관리의 단순화, 응답 지연시간 최소화 등 실질적인 효율 개선을 달성했다.

임정환 모티프테크놀로지스 대표는 "GDA와 뮤온 옵티마이저 병렬화 알고리즘은 각각 LLM의 두뇌와 에너지 효율을 혁신적으로 재설계한 기술"이라며 "모티프 12.7B는 성능 향상을 넘어 AI 모델의 구조적 진화를 보여주는 사례다. 동시에 보다 비용 효율적인 고성능 LLM을 원하는 기업들에게 모범 답안이 될 것"이라고 말했다.

모티프테크놀로지스는 향후 100B 규모의 LLM과 함께 7월에 공개한 T2I(텍스트 투 이미지)에 이어 연말까지 T2V(텍스트 투 비디오) 모델을 오픈소스로 공개할 예정이다.