디지털데일리의 경제 미디어 '딜라이트닷넷'이 올해로 창간 17주년을 맞이했다. 17주년 창간 특집 기획으로 단순 기술 도입을 넘어 실질적 성과를 창출하는 '대한민국 AX(인공지능 전환)'의 조건을 집중 조망한다. 특히 헬스케이(의료)·금융·제조 등 버티컬 AI 현장과 핵심 인프라 경쟁을 짚어보고, 규제·보안·거버넌스·ROI 등 산업 현장의 지속 가능한 생존 해법을 다각도로 분석한다. 아울러 업무 동반자로 진화한 2026년 AI 생태계 속에서 기업의 구체적인 실행 전략을 모색해본다. <편집자>

최태원 SK회장과 젠슨 황 엔비디아 CEO가 지난해 10월 31일 경북 경주 예술의전당에서 열린 아시아태평양경제협력체(APEC) 최고경영자(CEO) 서밋에 참석해 인사를 나누고 있다. [사진=대한상공회의소]

[IT전문 미디어 블로그=딜라이트닷넷] 엔비디아 중심의 독점적 그래픽처리장치(GPU) 아키텍처가 지배해 온 글로벌 인공지능(AI) 반도체 시장이 중대한 변곡점을 지나고 있다. 거대언어모델(LLM)의 폭발적 성장 이면에 도사린 천문학적인 전력 소모, 칩셋 품귀, 그리고 프로세서와 메모리 간 데이터 병목 현상인 ‘메모리 장벽’이 데이터센터 생태계를 압박하고 있어서다.

현재 글로벌 빅테크와 반도체 업계의 관심은 단일 칩의 연산력을 쥐어짜는 경쟁을 넘어, 데이터 전송 효율을 극대화하고 워크로드별 전력 대비 성능(TCO)을 최적화하는 ‘컴퓨팅 생태계의 다변화’로 빠르게 이동하고 있다.

초고대역폭메모리(HBM)의 세대 전환과 컴퓨트익스프레스링크(CXL), 추론 특화 신경망처리장치(NPU) 및 맞춤형 주문형반도체(ASIC)가 맞물리며 반도체 패러다임을 흔들고 있다.

18일 삼성전자 주총장에 전시된 HBM4, HBM4E [사진=옥송이기자]

◆ HBM3E 질주 속 ‘HBM4’ 격돌…파운드리·패키징 연합군으로 승부처 이동

AI 메모리 시장의 주도권 경쟁은 그 어느 때보다 치열하다. 2026년 반도체 시장은 안정적인 양산성과 수율을 확보한 HBM3E 12·16단 제품이 데이터센터 시장의 핵심 주력으로 확고히 자리 잡은 가운데, 6세대 HBM인 ‘HBM4’로의 세대교체 준비가 본궤도에 올랐다.

주목할 점은 기술 구조의 본질적 변화다. HBM4부터는 메모리 다이를 통제하는 최하단 ‘베이스 다이’ 제조에 기존 레거시 공정 대신 선단 로직 파운드리 공정이 전면 도입된다. D램 제조 기술만으로는 더 이상 AI 가속기의 성능 요구치를 맞출 수 없게 되면서 파운드리와 메모리 간의 경계가 무너진 셈이다.

이에 따라 공급망 연합 전선도 재편되고 있다. TSMC와 긴밀한 ‘원팀’ 동맹을 맺고 베이스 다이 제작부터 2.5D 패키징인 CoWoS(Chip-on-Wafer-on-Substrate)까지 일체형 협력을 굳힌 SK하이닉스 진영, 메모리-파운드리-첨단 패키징을 한 지붕 아래 보유한 강점을 앞세워 반격에 나선 삼성전자의 주도권 쟁탈전이 치열하다. 칩을 수평·수직으로 엮는 첨단 패키징 역량이 곧 메모리 칩의 수율과 성능을 결정짓는 핵심 무기가 됐다.

◆ ‘메모리 풀링’ CXL과 PIM…물리적 한계 넘는 차세대 아키텍처

서버 한 대당 탑재되는 D램 용량이 물리적 한계에 부딪히면서, 이를 근본적으로 우회하는 기술 표준으로 CXL이 급부상했다.

초고속 인터커넥트 인터페이스를 활용한 ‘CXL 3.1’ 기반 메모리 풀링(Pooling) 기술은 데이터센터 내 여러 호스트 프로세서가 방대한 메모리 자원을 동적으로 쪼개어 공유할 수 있도록 돕는다. 유휴 메모리를 최소화하고 메모리 용량을 테라바이트(TB) 단위로 손쉽게 확장해 고비용 AI 인프라의 운영 효율을 끌어올리는 열쇠다.

여기에 메모리 자체에 단순 연산 기능을 부여해 데이터 이동을 최소화하는 지능형 메모리(PIM, Processing-in-Memory)와 LPDDR 기반 저전력 모듈(LPCAMM) 또한 엣지 서버와 고효율 추론 클러스터의 전력 소모를 획기적으로 줄이는 대안으로 시장 침투를 시작했다.

리벨리온의 차세대 칩 '리벨100(아래쪽)'과 리벨 카드 [사진=리벨리온]

◆ ‘학습’에서 ‘추론’으로…빅테크 자체 실리콘과 국산 NPU의 기회

AI 반도체 수요 축이 대규모 사전 ‘학습(Training)’에서 실제 서비스를 운영하는 대량 ‘추론(Inference)’ 단계로 본격 이동하면서, 범용 GPU의 고비용·고발열 구조는 서비스 제공자들에게 감당하기 힘든 비용 부담을 안기고 있다.

이 틈을 파고든 것이 커스텀 ASIC과 NPU다. 구글, 아마존웹서비스(AWS), 메타, 마이크로소프트 등 하이퍼스케일러들은 이미 자체 개발 가속기를 데이터센터에 대거 전진 배치하며 엔비디아 의존도 낮추기에 총력을 기울이고 있다.

국내 AI 반도체 팹리스 및 스타트업 생태계 역시 이 틈새를 정조준하고 있다. 리벨리온, 퓨리오사AI 등 국내 토종 NPU 기업들은 데이터센터 및 기업용 생성형 모델 추론 시장에서 GPU 대비 월등한 전력 대 가성비를 입증하며 상용 레퍼런스를 확보해 나가는 추세다.

다만 엔비디아의 난공불락 요새인 ‘쿠다(CUDA)’ 소프트웨어 생태계의 벽을 넘어서기 위해 컴파일러, 드라이버, 오픈소스 라이브러리를 아우르는 독자 소프트웨어 풀스택 경쟁력과 엔드투엔드 최적화가 생존 과제로 꼽힌다.

우리나라 반도체 산업은 지금 단순 ‘부품 공급자’에 머무를 것인가, 아니면 AI 시스템 전체를 설계하고 조율하는 ‘컴퓨팅 아키텍처 허브’로 올라설 것인가의 갈림길에 서 있다. HBM의 시장 지배력을 발판 삼아 CXL·NPU·패키징을 유기적으로 엮어내는 종합 생태계 전략이야말로 다가오는 차세대 슈퍼사이클 속에서 AI 생존을 결정지을 전망이다.