XPU는 무엇인가, 메모리 반도체에는 무엇이 달라질까
XPU가 GPU의 단순 대체재가 아니라 워크로드별 맞춤형 AI 가속기라는 점, 그리고 이 확산이 HBM·LPDDR·SRAM 기반 메모리 경쟁을 어떻게 바꾸는지 정리합니다.
AI 서비스가 늘면서 데이터센터 질문도 달라지고 있습니다. “가장 빠른 GPU를 얼마나 많이 확보할까”에서 “우리 서비스에 필요한 연산을 가장 낮은 비용과 전력으로 처리할 칩은 무엇일까”로 옮겨 가는 중입니다. 이 변화의 중심에 XPU라는 표현이 있습니다.
XPU는 특정 제품명이 아니라 ‘맞춤형 AI 연산칩’에 가까운 말
XPU는 업계에서 엄밀하게 하나로 고정된 표준 제품명이 아닙니다. JEDEC이나 IEEE가 지정한 단일 칩 분류도 아닙니다. 기사에 따라 TPU, NPU, AI ASIC과 클라우드 사업자의 자체 가속기를 묶는 편의적 표현으로 쓰이고, 특정 기업이 자사 플랫폼에 별도 의미로 사용하기도 합니다.
따라서 이 글에서는 XPU를 특정 AI 학습·추론·추천·에이전트 작업에 맞춘 가속기를 넓게 부르는 우산 용어로 한정합니다. 제품 이름보다 어떤 워크로드를 목표로 하고, 어떤 소프트웨어와 메모리 구조를 함께 설계했는지를 확인하는 편이 정확합니다.
GPU는 다양한 계산을 병렬로 처리할 수 있고, CUDA 같은 소프트웨어 생태계를 갖췄습니다. 새로운 모델을 학습시키거나 워크로드가 자주 바뀌는 환경에서 유리한 이유입니다. 반면 XPU는 자주 쓰는 연산 형식, 데이터 흐름, 정밀도, 메모리 구조를 목표 작업에 맞게 덜어내고 강화합니다. 같은 일을 반복해서 처리하는 대규모 AI 서비스라면, 필요한 기능에 집중해 전력과 비용을 낮출 가능성이 생깁니다.
그래서 XPU는 GPU를 없애는 칩이라기보다 역할을 나누는 칩입니다. 범용성과 개발 속도가 필요한 곳은 GPU, 규모가 크고 반복적인 학습·추론이며 비용과 전력 효율이 중요한 곳은 맞춤형 XPU가 강점을 보일 수 있습니다.
누가 XPU를 만들고 있나: 설계자와 제조사를 나눠 봐야 한다
XPU 경쟁은 ‘누가 칩을 직접 생산하느냐’보다 ‘누가 자기 서비스에 맞는 칩과 소프트웨어를 함께 설계하느냐’에 가깝습니다. 대형 클라우드 사업자는 설계를 주도하고, 실제 제조와 패키징은 파운드리·패키징 생태계가 맡는 구조가 일반적입니다.
대표 사례로 구글의 TPU가 있습니다. 구글은 TPU를 AI 워크로드용 맞춤형 가속기로 소개하며 학습, 추론, 강화학습에 활용하고 있습니다. AWS는 학습용 Trainium과 추론용 Inferentia를 자체 AI 칩으로 운영합니다. AWS는 이 칩을 서버, 네트워크, Neuron 소프트웨어와 함께 설계하는 방식으로 설명합니다.
메타의 MTIA, 마이크로소프트의 Maia처럼 빅테크가 AI 인프라용 자체 가속기를 개발해 온 사례도 있습니다. 엔비디아는 여전히 GPU 생태계의 중심이고, AMD와 인텔도 데이터센터 AI 가속기 경쟁에 참여합니다.
이와 별도로 맞춤형 ASIC 설계·공급망에서는 브로드컴과 마벨 같은 반도체 기업, 제조에서는 TSMC 같은 파운드리, 메모리에서는 삼성전자·SK하이닉스·마이크론 같은 기업의 역할이 결합됩니다.
따라서 “구글이나 AWS가 XPU를 만든다”는 말은 정확히는 서비스 요구에 맞춰 칩·시스템·소프트웨어를 설계하고, 전문 반도체 생태계와 함께 제품화한다는 뜻에 가깝습니다.
XPU와 메모리 반도체의 관계: 연산보다 데이터 이동이 더 큰 문제
AI 가속기는 계산을 빨리하는 것만으로 충분하지 않습니다. 대규모 언어 모델을 학습하거나 답변을 생성할 때는 막대한 모델 가중치와 KV 캐시를 연산기 가까이에서 계속 읽고 써야 합니다. 연산기가 아무리 빨라도 메모리에서 데이터를 가져오는 속도가 따라가지 못하면 기다리는 시간이 늘어납니다. 이른바 ‘메모리 월(memory wall)‘입니다.
그래서 고성능 XPU에는 메모리 대역폭이 핵심 사양으로 붙습니다. 대형 학습과 고성능 추론에서는 HBM처럼 연산칩 가까이에 적층해 매우 넓은 데이터 통로를 만드는 메모리가 중요합니다. HBM의 가치는 단순한 저장 용량보다, 짧은 거리에서 많은 데이터를 빠르게 옮기는 대역폭에 있습니다.
하지만 XPU가 모두 HBM만 쓰는 것은 아닙니다. 서비스 특성에 따라 HBM, GDDR, DDR, LPDDR, 온칩 SRAM, 대용량 외부 메모리를 섞어 설계할 수 있습니다. 예를 들어 전력 효율과 비용이 중요한 대규모 추론에서는 LPDDR 계열이나 더 큰 캐시 구조가 의미를 가질 수 있고, 매우 큰 모델을 빠르게 학습시키는 환경에서는 HBM과 첨단 패키징 비중이 더 커질 수 있습니다.
AWS의 세대 변화는 같은 업체 안에서도 메모리 선택이 달라질 수 있음을 보여줍니다. AWS 공식 설명에 따르면 1세대 Inferentia는 칩당 8GB DDR4를 사용했고, Inferentia2는 칩당 32GB HBM으로 이동했습니다. 더 무거운 생성형 AI 추론을 목표로 하면서 메모리 용량과 대역폭 요구가 함께 커진 사례입니다. 학습용 Trainium 계열 역시 HBM과 온칩 SRAM을 함께 배치해, 모든 데이터를 같은 속도의 메모리 한 종류로 처리하지 않습니다.
핵심은 “XPU는 HBM을 쓴다”가 아닙니다. 목표 작업과 세대가 바뀌면 DDR에서 HBM으로 이동할 수 있고, HBM을 채택하더라도 SRAM·인터커넥트·소프트웨어까지 함께 설계해야 한다는 점입니다.
이 때문에 XPU 확산은 메모리 시장을 ‘HBM이냐, 아니냐’의 단순한 선택으로 만들지 않습니다. 오히려 메모리 요구를 세분화합니다. HBM은 고대역폭이 필요한 학습·고성능 추론에서 계속 중요하고, LPDDR·DDR은 비용과 전력, 용량을 중시하는 추론 환경에서 재평가될 수 있습니다. SRAM과 캐시, 인터포저, 패키지 기판도 함께 중요해집니다.
메모리 월은 학습과 추론에서 다르게 나타난다
- 학습: 가중치뿐 아니라 활성값, 그래디언트와 옵티마이저 상태를 여러 가속기 사이에서 이동합니다. HBM 용량·대역폭과 칩 간 연결이 함께 병목이 됩니다.
- 프리필 추론: 긴 입력을 한꺼번에 처리하므로 계산량과 메모리 접근량이 동시에 큽니다.
- 토큰 생성: 매 단계에서 가중치와 KV 캐시를 반복해 읽기 때문에 메모리 대역폭과 캐시 관리가 중요합니다.
- 대규모 동시 서비스: 사용자마다 KV 캐시가 늘어나므로 순수 연산 성능보다 메모리 수용량과 단편화가 처리량을 제한할 수 있습니다.
그래서 벤치마크의 최고 연산 성능만 비교하면 실제 서비스 병목을 놓칠 수 있습니다. 모델 크기, 입력 길이, 동시 사용자 수와 캐시 정책까지 같은 조건으로 맞춰야 XPU의 효율을 판단할 수 있습니다.
워크로드가 메모리 조합을 결정한다
| 워크로드 | 우선 병목 | 필요한 메모리 특성 | XPU 설계 초점 |
|---|---|---|---|
| 대형 모델 학습 | 대역폭·칩 간 통신 | HBM, 고속 인터커넥트 | 확장성과 통신 효율 |
| 온라인 생성형 추론 | KV 캐시·지연 | HBM 또는 대용량 DRAM, SRAM 캐시 | 토큰당 처리량 |
| 추천·고정형 추론 | 비용·전력 | DDR·LPDDR·GDDR 혼합 가능 | 반복 연산 효율 |
| 엣지·온디바이스 | 전력·용량 | LPDDR, 온칩 SRAM | 데이터 이동 최소화 |
특정 메모리가 모든 작업에서 절대적으로 우위인 것이 아니라, 워크로드가 필요한 메모리 계층의 조합을 결정합니다.
전망: GPU 독주는 끝나는가
당장 GPU가 사라질 가능성은 낮습니다. GPU는 다양한 모델과 프레임워크를 빠르게 올릴 수 있는 소프트웨어 생태계가 강하고, 연구·학습 환경의 불확실성을 견디는 범용성이 있습니다.
다만 클라우드 사업자처럼 AI 수요가 매우 크고 반복적인 회사는 자체 XPU를 통해 비용, 전력, 공급 안정성을 직접 관리하려 할 것입니다. AI가 학습 중심에서 대규모 추론과 에이전트형 서비스로 넓어질수록, 모든 작업을 같은 GPU로 처리하기보다 작업별 칩을 조합하는 구조도 늘어날 수 있습니다.
메모리 반도체 관점에서 중요한 변화는 수요의 양보다 구조입니다. 앞으로는 “HBM을 얼마나 많이 탑재하느냐”와 함께 “어떤 XPU가 어떤 메모리 계층과 패키징 구조를 요구하느냐”가 경쟁력이 됩니다. 메모리 기업도 DRAM 단품 공급을 넘어 대역폭·전력·용량·첨단 패키징을 함께 맞추는 시스템 경쟁에 더 깊이 들어갈 가능성이 큽니다.
다음에 읽을 글
한 문장 정리
XPU는 GPU의 단순한 대체재가 아니라, AI 서비스별로 연산·메모리·전력을 맞춤 설계하는 가속기입니다. 이 확산은 HBM을 포함한 메모리 반도체 경쟁을 ‘용량’에서 ‘데이터 이동과 시스템 설계’의 경쟁으로 넓히고 있습니다.
확인한 출처 / 근거
- Google Cloud TPU 공식 페이지 — AI 워크로드용 맞춤형 가속기
- AWS Trainium 공식 페이지 — 대규모 AI 학습용 purpose-built 칩
- AWS Inferentia 공식 페이지 — 딥러닝·생성형 AI 추론용 칩
- 연합뉴스, 「[테크톡노트] AI칩 시장서 GPU 독주 흔들리나…XPU 확장 주목」 — XPU 확산과 GPU 시장 변화를 다룬 배경 보도.
- Semiconductor Engineering, “AI Inference Needs A Mix-And-Match Memory Strategy” — 추론 서비스에서 메모리 계층을 혼합해 설계해야 하는 배경
- TrendForce, “Memory Wall Bottleneck: AI Compute Sparks Memory Supercycle” — AI 수요 증가와 메모리 대역폭 병목 개요.