크리슈나 도다파네니(Krishna Doddapaneni) AMD 네트워킹 기술 솔루션 그룹 부사장 [사진=김문기 기자]

[샌프란시스코(미국)=디지털데일리 김문기기자] 거대언어모델(LLM)과 에이전틱 AI의 급부상으로 10만 개 이상의 GPU가 연동되는 대규모 AI 데이터센터에서, 데이터 이동 병목을 해결하는 네트워킹 아키텍처가 시스템 전체의 가동 효율을 결정짓는 핵심 열쇠로 부상했다.

AMD가 72개 GPU 수직통합 랙스케일 인프라 'AMD 헬리오스(Helios)'의 연산 효율을 극대화하기 위한 프론트엔드, 스케일업, 스케일아웃 3대 맞춤형 네트워킹 솔루션과 차세대 펜산도 DPU 및 AI-NIC의 기술 세부 명세를 전격 공개했다.

AMD는 22일(현지 시각) 미국 샌프란시스코 모스콘 웨스트에서 열린 연례 플래그십 컨퍼런스 '어드벤싱 AI(Advancing AI) 2026' 딥다이브 세션을 통해 차세대 네트워킹 플랫폼 로드맵을 발표했다.

◆ AI는 데이터 이동 속도만큼 확장…단 하나의 느린 링크도 용납 못해

크리슈나 도다파네니(Krishna Doddapaneni) AMD 네트워킹 기술 솔루션 그룹 부사장은 AI 인프라 확장에 있어 네트워킹이 가지는 절대적 위상을 강조하며 포문을 열었다.

도다파네니 부사장은 "컴퓨팅 성능과 플롭(Flops) 수치도 중요하지만, AI 클러스터의 최상위 성능과 효율을 얻기 위해서는 시스템 내부와 외부 간 데이터를 극도로 빠르게 이동시켜야 한다"며 "10만 개의 GPU가 참여하는 대규모 학습에서 단 하나의 느린 링크가 전체 성능을 저하시킬 수 있고, 분산 추론 환경에서는 KV 캐시 접근 지연을 줄여야 하므로 결국 AI는 데이터 이동 속도만큼 확장한다"고 강조했다.

이어 "단 하나의 네트워킹 구조로 모든 요구사항을 충족할 수는 없다"며 "AMD는 데이터센터 스토리지와 사용자 요청을 처리하는 '프론트엔드', 랙 내부 72개 GPU를 단일 메모리 공간으로 묶는 '스케일업', 랙 간 초거대 클러스터를 연동하는 '스케일아웃' 등 3가지 레이어별 맞춤형 네트워크로 이 과제를 해결했다"고 설명했다.

◆ 3세대 펜산도 '살리나' DPU…KV 캐시 오프로드로 에이전틱 AI 가속

프론트엔드 네트워크를 담당하는 핵심 솔루션은 3세대 펜산도 DPU인 '살리나(Salina, 400G)'다. 글로벌 하이퍼스케일러 환경에 6년 이상 대규모로 공급되어 검증을 마친 펜산도 아키텍처 기반으로, 전작 대비 2배의 성능 향상을 이뤄냈다.

도다파네니 부사장은 살리나 DPU의 최대 강점으로 P4 언어 기반의 하드웨어 프로그래밍 가능성을 꼽았다.

그는 "AI 기술이 분기마다 급변하는 상황에서 매번 새로운 ASIC을 개발할 수는 없다"며 "펜산도 DPU는 P4 프로그램 수정만으로 데이터 패스 기능을 신속히 업데이트할 수 있으며, 서버 가동을 중단하지 않고도 라이브 소프트웨어 업데이트를 수행할 수 있다"고 설명했다.

특히 최근 급부상한 에이전틱 AI 워크로드에서 DPU의 역할은 더 결정적이라고 강조했다. 사용자와 AI 간 긴 문맥을 주고받는 과정에서 GPU 메모리가 부족해지면 CPU나 SSD로 데이터를 넘겨야 하는데, 살리나 DPU가 'NVMe KV 캐시 인터페이스'를 라인 레이트(Line-rate) 속도로 오프로드 처리한다.

도다파네니 부사장은 "DPU가 KV 캐시 데이터 이동을 오프로드함으로써 GPU 메모리 재연산에 드는 비용과 시간을 절약하고, 더 높은 밀도로 AI 에이전트를 구동할 수 있다"고 덧붙였다.

이 외에도 가상화 네트워크, 암호화, 스테이트풀 방화벽 등 보안 기능을 CPU 간섭 없이 내재화했다.

◆ 초당 260TB 'UALoE' 스케일업 패브릭…오픈소스 'SONiC' 및 'AFM'으로 제로터치 관리

단일 랙 내 72개 MI455X GPU를 31TB의 단일 메모리 공유 공간으로 묶어주는 스케일업 패브릭에는 초당 260TB 대역폭의 'UALoE(Ultra Accelerator Link over Ethernet)' 기술이 적용됐다. 복잡한 다층 구조 대신 단일 홉 L2 스위치 네트워크를 구현해 데이터 이동 지연시간을 최저 수준으로 동결했다.

이 스케일업 패브릭의 제어는 오픈소스 네트워킹 OS인 'SONiC'과 AMD가 자체 개발한 'AFM(AMD Fabric Manager)' 소프트웨어가 담당한다.

도다파네니 부사장은 "AFM 소프트웨어는 6개의 스위치 트레이상에 분산 배치되어 실행되므로, 단일 스위치에 장애가 발생하거나 RMA 교체를 위해 제거되더라도 고가용성(HA)을 상시 유지한다"며 "운영자는 랙을 전원에 연결하기만 하면 제로 터치(Zero-touch)로 72개 GPU 패브릭이 자동 구성되고, 단일 통합 화면에서 랙 전체의 자원 현황과 상태를 실시간 모니터링할 수 있다"고 소개했다.

더불어 랙 내부를 가상 파티션으로 쪼개는 'vPod' 기술을 통합 제어해, 멀티테넌트 보안 격리와 물리적 고장 격리를 소프트웨어 차원에서 구현한다.

◆ 2세대 펜산도 '볼케이노' 800G AI-NIC…오픈AI·바이트댄스 협력 프로토콜 탑재

랙과 랙 사이를 연결해 초거대 AI 클러스터를 형성하는 스케일아웃 영역에는 3nm 공정 기반의 2세대 펜산도 AI-NIC '볼케이노(Vulcano, 800G)'가 출격한다. 헬리오스 랙 내부에는 GPU당 최대 3개의 볼케이노 AI-NIC가 탑재되어 GPU당 2.4Tbps의 압도적 스케일아웃 대역폭을 제공한다.

도다파네니 부사장은 "볼케이노 AI-NIC를 적용하면 경쟁사 네트워크 아키텍처 대비 AI 작업 완료 시간을 13% 단축할 수 있을 뿐만 아니라, 필요 스위치 수량과 케이블을 대폭 줄여 네트워크 구축 비용을 최대 33% 절감할 수 있다"고 단언했다.

특히 볼케이노는 글로벌 빅테크들과 손잡고 개발한 차세대 지능형 전송 프로토콜을 탑재했다. 오픈AI와 공동 개발한 'MRC(Multi-path RDMA Controller)' 프로토콜, 바이트댄스와 협력한 'VE RoCE' 프로토콜 등을 P4 프로그래밍으로 전면 지원한다.

이를 통해 데이터 전송 시 단일 경로 대신 128~256개의 미세 경로로 데이터를 잘게 쪼개어 분산 송출하는 '지능형 패킷 스프레이' 및 경로 인지형 혼잡 제어를 수행한다. 특정 링크에 병목이 발생하더라도 수 마이크로초(µs) 내에 정상 경로를 찾아 우회하므로 대규모 AI 학습 시 지연시간 왜곡 현상을 방지한다.

도다파네니 부사장은 "하드웨어부터 스위치 OS, 최상위 랙 관리 소프트웨어까지 UEC(Ultra Ethernet Consortium) 및 UA링크 등 개방형 표준에 기반해 오픈 생태계를 구축했다"며 "AMD의 3단 통합 네트워킹 플랫폼은 하이퍼스케일러들이 어떠한 인프라 환경에서도 최상위 가성비와 회복탄력성으로 AI 공장을 구축할 수 있도록 만드는 핵심 토대가 될 것"이라고 강조했다.