리사 수(Lisa Su) AMD CEO가 23일(현지 시각) 미국 샌프란시스코 모스콘 웨스트에서 열린 '어드벤싱 AI(Advancing AI) 2026' 키노트 마무리를 장식하며, AMD의 미래 CPU·GPU·랙스케일 장기 로드맵과 차세대 비전을 공개했다. [사진=김문기 기자]

[디지털데일리 김문기 기자] AI 에이전트 시대가 본격화되면서 기존 GPU 중심의 단순 '토큰 생성 속도'가 아닌, CPU와 GPU의 균형 잡힌 시스템 전반의 '워크플로우 완료 시간'이 온디바이스 AI의 새로운 핵심 성능 지표로 떠오르고 있다.

4일(현지시간) 마이클 아벨(Michael Abel) AMD 관계자는 블로그를 통해 에이전틱 AI(Agentic AI) 시대를 위해 설계된 'AMD 라이젠 AI 헤일로(Halo)'가 로컬 추론 환경에서 경쟁사 대비 최대 34% 향상된 에이전트 오케스트레이션 성능을 발휘한다고 밝혔다.

[사진=AMD]

단순 질문에 답을 제시하는 챗봇과 달리, AI 에이전트 워크플로우는 계획 수립, 파싱(Parse), OCR, 청크 분할, 임베딩, 검색, 생성, 검증에 이르는 복합 파이프라인으로 구성된다. 이 중 상당수 단계는 GPU가 아닌 CPU 기반의 오케스트레이션 과정을 거치게 된다.

AMD는 실제 기업 지식 근로자의 업무 환경을 반영해 개발한 로컬 벤치마크 'HEPA(Hermes Executive Presentation Agent)'를 통해 로컬 AI 에이전트의 성능을 전 과정에 걸쳐 측정했다. HEPA는 로컬 데이터셋을 기반으로 프레젠테이션, 메모, 차트, 출처 부록까지 완성하고 품질 검증을 통과하는지 평가한다.

해당 측정 환경은 8개 파이프라인 단계 중 7개 단계가 CPU에서 실행되고, GPU는 모델 생성만 담당하는 구조다.

측정 결과, 'AMD 라이젠 AI 맥스+ 395' 프로세서를 탑재한 AMD 라이젠 AI 헤일로는 리눅스 환경에서 엔비디아 'DGX 스파크 그레이스 블랙웰(GB10)' 대비 탁월한 효율을 입증했다.

AMD 라이젠 AI 헤일로는 CPU 오케스트레이션 성능에서 엔비디아 DGX 스파크보다 34% 빠른 속도를 기록했다. AMD는 CPU 측 준비 작업을 152.1초 만에 마쳤으나, DGX 스파크는 229.9초가 소요됐다. 특히 임베딩 및 라우팅 작업에서 AMD는 71.5초를 기록해 DGX 스파크(139.6초) 대비 약 2배 빠른 처리 속도를 보였다.

전 과정에 걸친 워크플로우 완료 시간 측면에서도 AMD는 품질 검증을 통과한 최종 결과물을 311.6초 만에 완료, DGX 스파크(367.1초)보다 15%(55.5초) 빠르게 작업을 끝냈다. 3년 하드웨어 감가상각 기준 완료된 워크플로우당 비용 역시 AMD가 약 27% 더 낮았다.

이 같은 성능 차이는 CPU의 멀티스레딩 및 벡터 연산 능력에서 비롯된다. 라이젠 AI 맥스+ 395 프로세서는 SMT를 통해 16개의 '젠 5(Zen 5)' 코어와 32개 스레드, AVX-512/VNNI 벡터 가속을 지원해 데이터 병렬 처리에서 우위를 점했다. 반면 20개의 Arm 코어를 탑재한 그레이스 블랙웰은 SMT를 지원하지 않는다.

마이클 아벨은 "채팅은 하나의 응답을 제공하지만, AI 에이전트는 검증까지 마친 결과물을 제공한다. 즉, 단일 GPU 추론이 아닌 시스템 전체의 결과물이다"라며 "AI 에이전트 워크플로우에서는 전 과정에 걸친 완료 시간이 가장 의미 있는 성능 지표가 된다"고 설명했다.

이어 "챗봇 시대는 GPU의 시대였다면, AI 에이전트 시대는 시스템 전체의 성능이 경쟁력을 좌우하는 시대"라며, "온디바이스 환경에서는 CPU, GPU, 통합 메모리가 균형 있게 구성돼 워크플로우 완료 시간과 비용을 최적화한 시스템이 해답"이라고 강조했다.