QSike Tech Notes

AI 추론칩, 메모리가 승부처다

Google TPU 8i, AWS Trainium3, Microsoft Maia 200, AMD Helios, NVIDIA Vera Rubin까지 — 하이퍼스케일러 추론칩 경쟁이 왜 메모리 용량·대역폭·랙 단위 설계 중심으로 이동하는지 정리합니다.

발행 2026-07-21 수정 2026-07-21 작성·검토 QSike Tech Notes 편집자 AI 인프라 #AI 인프라#추론칩#HBM#HBM4#TPU#Trainium#Maia#Helios#Vera Rubin#CXL#MTIA

랙스케일 AI 추론 시스템과 HBM·D램·스토리지 메모리 계층을 연결한 기술 일러스트

AI 인프라 경쟁을 아직도 “GPU를 누가 더 많이 확보했나”로만 보면 중요한 변화를 놓치기 쉽습니다. 2026년 현재 구글, AWS, 마이크로소프트, 메타는 모두 자체 AI 가속기 또는 자체 최적화 칩을 키우고 있습니다. 여기에 Microsoft가 Azure에 AMD Helios 같은 외부 랙스케일 AI 플랫폼까지 올리기 시작하면서, 추론 인프라의 경쟁축은 더 선명해졌습니다.

핵심은 단순히 더 빠른 칩이 아닙니다.

이제 질문은 “그 칩이 얼마나 많은 모델 상태를 품을 수 있는가”, “그 메모리를 얼마나 빨리 토큰으로 바꿀 수 있는가”, “랙 단위로 얼마나 효율적으로 묶을 수 있는가”로 바뀌고 있습니다. 추론칩 경쟁은 결국 메모리 경쟁으로 번지고 있습니다.

왜 추론칩 경쟁이 커졌나

대형 AI 모델은 한 번 학습하면 끝나는 제품이 아닙니다. 사용자가 질문할 때마다, Copilot이 문서를 요약할 때마다, 검색·광고·추천 시스템이 결과를 고를 때마다 추론이 반복됩니다. 학습은 큰 이벤트지만, 추론은 매일 발생하는 운영비입니다.

하이퍼스케일러 입장에서는 이 반복 비용이 너무 큽니다. 외부 GPU를 많이 사는 것만으로는 공급, 전력, 냉각, 랙 설계, 소프트웨어 최적화까지 모두 통제하기 어렵습니다. 그래서 구글은 TPU를 Gemini와 Google Cloud에 맞춰 발전시키고, AWS는 Trainium/Inferentia를 EC2와 Bedrock의 가격 성능 축으로 키우고 있습니다. 마이크로소프트는 Maia를 Copilot·Azure OpenAI·Foundry와 연결하고, 메타는 MTIA를 추천·광고 추론에 맞춰 최적화합니다.

다만 현실은 “자체칩이 외부 GPU를 대체한다”처럼 단순하지 않습니다. 마이크로소프트 사례가 잘 보여줍니다. Microsoft는 Maia 200이라는 자체 추론칩을 공개했지만, 동시에 AMD Helios 기반 ND MI455X v7을 Azure 추론 인프라에 도입하겠다고 발표했습니다. 실제 클라우드 전략은 자체 실리콘, 상용 GPU, 랙스케일 시스템을 워크로드별로 섞는 이기종 인프라에 가깝습니다.

구글: Ironwood에서 TPU 8i, 그리고 Frozen v2까지

구글의 흐름은 가장 길고 선명합니다. 2025년 공개된 Ironwood는 “추론 시대를 위한 첫 TPU”로 소개됐습니다. Google Cloud 문서 기준 TPU7x, 즉 Ironwood는 칩당 HBM 192GiB와 약 7.38TB/s HBM 대역폭을 제공합니다. 이전 세대 Trillium의 칩당 HBM 32GiB와 비교하면 용량이 6배로 커졌습니다.

하지만 구글의 다음 메시지는 더 직접적입니다. 2026년 4월 구글은 8세대 TPU로 알려진 TPU 8t와 TPU 8i를 공개한 것으로 보도됐습니다. TPU 8t는 학습용, TPU 8i는 추론용입니다. 보도 기준 TPU 8t superpod는 9,600칩 규모에서 약 2PB HBM을 제공하고, TPU 8i는 1,152칩 pod에서 총 331.8TB HBM을 제공합니다. TPU 8i 한 칩에는 288GB HBM과 384MB 온칩 SRAM이 조합됩니다.

Ironwood가 “추론에도 고용량 HBM이 필요하다”는 신호였다면, TPU 8i는 “추론용 칩을 따로 설계해야 한다”는 쪽에 가깝습니다. 에이전트형 AI, 긴 컨텍스트, MoE 모델, KV 캐시는 모두 메모리를 먹습니다. 연산 성능이 아무리 높아도 데이터를 제때 먹이지 못하면 실제 토큰 처리량은 나오지 않습니다.

여기에 2026년 7월에는 Frozen v2 보도도 나왔습니다. Data Center Dynamics가 The Information을 인용한 내용에 따르면, Frozen v2는 Gemini 모델의 의사결정 일부를 실리콘에 더 직접 반영해 데이터 이동 단계를 줄이는 방향의 칩으로 알려졌습니다. 보도에서는 현재 TPU 대비 6~10배 효율 개선 가능성, 2028년 배치 가능성, TPU를 대체하기보다 별도 분기로 운영될 가능성이 언급됐습니다.

Frozen v2는 아직 구글 공식 스펙으로 확정된 이야기는 아닙니다. 그래서 본문에서는 Ironwood와 TPU 8i/8t 같은 공개된 TPU 흐름과 분리해서 봐야 합니다. 그래도 방향성은 분명합니다. 구글은 범용 AI 가속기만이 아니라, 특정 모델 구조와 데이터 이동까지 칩 설계에 더 깊게 반영하려 하고 있습니다.

모델 회사도 칩을 만든다: OpenAI와 Broadcom의 Jalapeño

구글 Frozen v2 보도가 흥미로운 이유는 단지 구글의 차세대 칩 이름 때문만은 아닙니다. 같은 흐름이 모델 회사 쪽에서도 나타나고 있습니다. 2026년 6월 OpenAI와 Broadcom은 LLM 추론에 맞춘 커스텀 inference processor를 공개했고, 보도에서는 코드명 Jalapeño가 언급됐습니다. Tom’s Hardware는 이 칩을 OpenAI의 첫 칩이자 reticle-sized ASIC으로 소개하며, 약 9개월이라는 짧은 개발 주기도 함께 보도했습니다.

여기서 중요한 것은 “OpenAI도 반도체 회사가 된다”는 식의 단순한 해석이 아닙니다. 더 본질적인 변화는 모델 아키텍처와 칩 설계의 거리가 좁아진다는 점입니다. Google Frozen v2가 Gemini 구조를 실리콘에 더 직접 반영하려는 방향으로 보도됐다면, OpenAI/Broadcom의 Jalapeño는 모델 회사가 자기 추론 비용을 줄이기 위해 ASIC 설계에 들어가는 사례입니다.

이 흐름은 메모리 관점에서도 중요합니다. 대형 LLM 추론에서는 연산량만이 아니라 데이터 이동이 비용과 지연시간을 크게 좌우합니다. 모델에 맞춘 칩은 HBM 용량을 늘리는 것과 별개로, 어떤 데이터를 어디에 두고 얼마나 자주 이동시킬지를 더 공격적으로 최적화할 수 있습니다. 앞으로의 추론칩 경쟁은 “누가 더 큰 HBM을 붙였나”와 함께 “누가 모델 구조에 맞게 데이터 이동을 줄였나”의 경쟁이 될 가능성이 큽니다.

AWS: Trainium3, 토큰 경제성을 메모리로 밀어붙이다

AWS는 Trainium3 기반 EC2 Trn3 UltraServers를 발표하며 “차세대 에이전트, reasoning, 동영상 생성 애플리케이션의 token economics”를 전면에 세웠습니다. 공개 스펙에서 Trainium3 한 칩은 144GB HBM3e와 4.9TB/s 메모리 대역폭을 제공합니다. AWS는 Trainium2 대비 메모리 용량은 1.5배, 대역폭은 1.7배 증가했다고 설명합니다.

UltraServer 단위로 보면 변화가 더 큽니다. Trn3 UltraServer는 최대 144개 Trainium3 칩으로 확장되고, 완전 구성 시 최대 20.7TB HBM3e와 706TB/s 집계 메모리 대역폭을 제공합니다.

AWS가 긴 컨텍스트, MoE, reasoning 모델을 함께 언급하는 이유도 여기에 있습니다. 추론 비용을 낮추려면 단순히 연산기를 많이 붙이는 것으로는 부족합니다. 모델 상태와 캐시를 더 많이 올려두고, 병렬화된 칩 사이에서 데이터를 빠르게 주고받아야 합니다. Trainium3의 메시지도 결국 메모리 용량과 대역폭입니다.

마이크로소프트: Maia 200과 AMD Helios를 같이 쓴다

마이크로소프트는 2023년 Maia 100을 공개하며 Copilot과 Azure OpenAI Service를 포함한 자사 AI 서비스에 자체 실리콘을 투입하겠다고 밝혔습니다. 2026년 1월에는 Maia 200을 “추론을 위해 만들어진 AI accelerator”로 소개했습니다.

Maia 200의 스펙은 메모리 관점에서 꽤 공격적입니다. TSMC 3nm 공정, FP8/FP4 tensor core, 216GB HBM3e, 7TB/s 메모리 대역폭, 272MB 온칩 SRAM을 내세웁니다. 마이크로소프트는 Maia 200이 GPT-5.2 모델을 포함한 여러 모델을 서비스하고, Microsoft Foundry와 Microsoft 365 Copilot의 성능당 비용 개선에 쓰인다고 설명했습니다.

여기까지만 보면 Microsoft도 구글·AWS처럼 자체 추론칩을 키우는 흐름입니다. 그런데 2026년 7월 발표를 보면 전략이 더 넓습니다. Microsoft는 Azure AI·HPC 인프라 확장 발표에서 AMD의 Helios AI platform과 차세대 EPYC 데이터센터 프로세서를 Azure에 도입한다고 밝혔습니다.

이 발표에는 세 가지 Azure 상품이 함께 나옵니다.

HDv2 VM: AI 데이터 처리, 검색, 강화학습, 에이전트 조율
HXv2 VM: 반도체 설계, EDA, 기술 컴퓨팅
ND MI455X v7 VM: AI 추론 워크로드

특히 ND MI455X v7은 AMD Helios rackscale solution 기반으로, Microsoft는 reasoning, search, agentic workloads를 위한 추론 인프라라고 설명했습니다.

이 대목이 중요합니다. Microsoft는 Maia 200으로 자체 추론칩을 만들면서도, AMD Helios를 Azure에 올립니다. 즉 하이퍼스케일러의 실제 선택지는 “자체칩이냐 외부 GPU냐”가 아닙니다. 자체 실리콘은 내부 반복 비용을 줄이고, 외부 랙스케일 플랫폼은 고객과 다양한 워크로드에 선택지를 제공합니다. 결국 Azure는 Maia와 Helios를 모두 품는 이기종 AI 인프라로 가고 있습니다.

AMD Helios: 자체칩은 아니지만, 메모리 경쟁을 더 키운다

AMD Helios는 하이퍼스케일러가 직접 설계한 자체 추론칩은 아닙니다. 하지만 Microsoft가 Azure에 도입하겠다고 밝힌 순간, 하이퍼스케일러 추론 인프라 경쟁에서 빼기 어려운 축이 됐습니다.

Helios는 AMD Instinct MI455X GPU, 6세대 EPYC Venice CPU, Pensando 네트워킹, ROCm 소프트웨어를 묶은 랙스케일 AI 플랫폼으로 소개됩니다. 단일 GPU 카드 판매가 아니라, NVIDIA NVL 계열처럼 랙 단위로 AI 학습·추론·파인튜닝·에이전트 워크로드를 처리하겠다는 접근입니다.

보도와 기술 분석 자료 기준으로 Helios는 72개 MI455X GPU를 하나의 랙스케일 시스템에 담고, MI455X 한 개당 432GB HBM4를 탑재하는 구조로 알려져 있습니다. 이 경우 시스템 단위 총 HBM4 용량은 약 31TB가 됩니다.

물론 이 세부 수치는 조심해서 써야 합니다. Microsoft 공식 블로그는 Helios 기반 ND MI455X v7을 Azure 추론 워크로드에 쓰겠다는 점을 확인해 주지만, MI455X의 HBM4 용량과 랙 총량을 모두 공식 Azure 발표 안에 적어둔 것은 아닙니다. 따라서 432GB HBM4, 72 GPU, 약 31TB HBM4 같은 숫자는 MLQ, StorageReview 등 보도·분석 자료 기준으로 제한해 읽어야 합니다.

그럼에도 Helios가 보여주는 방향은 뚜렷합니다. 추론 인프라는 칩 한 개의 메모리 용량 경쟁을 넘어 랙 하나가 수십 TB의 HBM을 제공하는 구조로 이동하고 있습니다. AI 모델이 길게 생각하고, 여러 에이전트가 협업하고, 검색과 reasoning을 반복할수록 랙 단위 메모리 풀은 점점 더 중요해질 수밖에 없습니다.

NVIDIA Vera Rubin: 비교 기준도 이미 랙 단위다

AMD Helios를 이야기하려면 NVIDIA를 비교 기준선으로 짧게 짚을 필요가 있습니다. 이 글의 목적은 “NVIDIA 대체론”이 아니라, 경쟁 단위가 GPU 카드에서 랙스케일 시스템으로 이동하고 있다는 점을 설명하는 데 있습니다.

NVIDIA의 Vera Rubin NVL72는 그 기준선을 보여줍니다. NVIDIA 공식 제품 페이지와 기술 블로그 기준으로 Vera Rubin NVL72는 Rubin GPU, Vera CPU, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU, Spectrum-X Ethernet 등을 묶은 랙스케일 플랫폼입니다. 단일 GPU가 아니라, AI factory 안에서 학습·후학습·agentic inference를 처리하는 하나의 시스템에 가깝습니다.

메모리 숫자도 이 방향을 확인시켜 줍니다. NVIDIA 기술 블로그는 Vera Rubin NVL72가 랙당 최대 20.7TB HBM4와 1.6PB/s 메모리 대역폭을 제공한다고 설명합니다. 공식 제품 페이지는 CPU 메모리로 54TB LPDDR5X도 언급합니다. 즉 NVIDIA 역시 HBM4만 보는 것이 아니라 HBM, CPU 메모리, NVLink, 네트워크, DPU를 함께 묶어 랙 단위 추론 처리량을 끌어올리는 구조입니다.

이 기준에서 보면 AMD Helios의 의미도 더 분명해집니다. Helios는 NVIDIA Vera Rubin식 랙스케일 통합에 맞서는 AMD의 대안입니다. Microsoft가 Helios를 Azure에 올리는 것은 단지 AMD GPU를 더 사겠다는 의미가 아니라, Azure 안에 NVIDIA 외의 랙스케일 AI 시스템 선택지를 추가하겠다는 뜻에 가깝습니다.

메타: MTIA는 HBM이 아니라 LPDDR·SRAM으로 간다

메타의 MTIA는 구글, AWS, 마이크로소프트, AMD Helios와 조금 다르게 읽어야 합니다. 메타가 2024년 공개한 차세대 MTIA는 대형 LLM 전용 HBM 칩이라기보다 추천·광고 모델 추론에 초점을 둔 내부 가속기입니다.

첫 세대 대비 차세대 MTIA는 온칩 메모리를 128MB에서 256MB로 늘렸고, 오프칩 LPDDR5도 64GB에서 128GB로 키웠습니다. 로컬 PE 메모리는 128KB에서 384KB로 늘었고, 온칩 메모리 대역폭도 800GB/s에서 2.7TB/s로 올라갔습니다.

이 사례는 중요한 균형점을 줍니다. 모든 추론이 HBM으로만 해결되는 것은 아닙니다. 추천·랭킹처럼 배치가 작고 지연시간이 민감한 워크로드에서는 SRAM, LPDDR, 온칩 네트워크 구조를 조합해 활용률을 높이는 설계가 더 적합할 수 있습니다. 메모리 경쟁은 HBM만의 이야기가 아니라, 워크로드별 메모리 계층을 어떻게 짜느냐의 문제입니다.

모든 추론이 같은 메모리를 요구하지 않는다

회사별 칩 이름보다 더 중요한 것은 워크로드입니다. 실시간 챗봇 추론은 낮은 지연시간과 KV 캐시 관리가 중요합니다. 긴 컨텍스트와 에이전트 워크로드는 중간 상태, 검색 결과, 툴 호출 기록을 오래 붙잡아야 합니다. MoE 모델은 전문가 라우팅과 칩 간 통신이 병목이 되기 쉽습니다. 영상 생성과 멀티모달 모델은 큰 중간 텐서와 높은 메모리 대역폭을 요구합니다. 추천·광고 모델은 Meta MTIA처럼 작은 배치와 낮은 지연시간에 맞춘 SRAM·LPDDR 구성이 더 적합할 수 있습니다.

그래서 “추론칩”이라는 단어 하나로 모든 시장을 묶으면 오해가 생깁니다. Google TPU 8i, AWS Trainium3, Microsoft Maia 200, AMD Helios, NVIDIA Vera Rubin, Meta MTIA는 모두 AI 추론을 겨냥하지만, 실제로 최적화하는 병목은 조금씩 다릅니다. 공통점은 그 병목이 대부분 데이터 이동과 메모리 계층에서 드러난다는 점입니다.

공통점: 추론칩 스펙표가 메모리 중심으로 바뀐다

각 회사의 접근은 다릅니다.

Google Ironwood/TPU 8i: Ironwood는 칩당 192GiB HBM, TPU 8i는 보도 기준 칩당 288GB HBM과 384MB SRAM
AWS Trainium3: 칩당 144GB HBM3e, UltraServer당 최대 20.7TB HBM3e
Microsoft Maia 200: 칩당 216GB HBM3e와 272MB SRAM
AMD Helios on Azure: 보도 기준 72개 MI455X, GPU당 432GB HBM4, 시스템당 약 31TB HBM4
NVIDIA Vera Rubin NVL72: 공식 기술 블로그 기준 랙당 최대 20.7TB HBM4와 1.6PB/s 메모리 대역폭
Meta MTIA: 128GB LPDDR5와 256MB 온칩 SRAM
CXL 메모리: HBM 밖에서 용량 확장을 맡는 새로운 메모리 계층

서로 다른 설계지만 공통점은 분명합니다. 추론칩의 스펙표가 FLOPS/TOPS만으로 설명되지 않습니다. 메모리 용량, 메모리 대역폭, 온칩 SRAM, 칩 간 인터커넥트, 랙 단위 확장이 핵심 항목이 됐습니다.

Google TPU, OpenAI Jalapeño, AWS Trainium3, Microsoft Maia 200, AMD Helios, NVIDIA Vera Rubin, Meta MTIA의 메모리 구조 비교표

대형 모델 서비스에서는 연산기가 놀지 않게 데이터를 계속 공급해야 합니다. 메모리가 작거나 느리면 이론 성능은 실제 토큰 처리량으로 이어지지 않습니다. 그래서 하이퍼스케일러들은 자체칩이든 외부 랙스케일 플랫폼이든, 더 큰 메모리 풀과 더 빠른 데이터 이동을 추론 인프라의 중심에 놓고 있습니다.

메모리 업계에는 어떤 질문이 남나

이 흐름은 HBM 수요에 우호적입니다. 구글 Ironwood와 TPU 8i, AWS Trainium3, Microsoft Maia 200은 모두 고용량 HBM 또는 HBM3e를 전면에 내세웁니다. 여기에 AMD Helios처럼 HBM4를 앞세운 외부 랙스케일 플랫폼까지 Azure에 들어오면, 하이퍼스케일러의 선택지는 “자체칩만”이 아니라 “자체칩과 고용량 GPU 랙을 병렬로 운용”하는 쪽으로 넓어집니다.

특히 긴 컨텍스트, reasoning, 에이전트, 동영상 생성이 늘어날수록 칩당·랙당 메모리 용량은 더 중요한 판매 포인트가 됩니다. 모델을 더 크게 만들기 위해서만 메모리가 필요한 것이 아닙니다. 이미 만들어진 모델을 더 싸고 빠르게 서비스하기 위해서도 메모리가 필요합니다.

다만 “HBM만 보면 된다”는 결론은 위험합니다. 메타 MTIA처럼 LPDDR과 SRAM을 키우는 설계도 있고, 앞으로는 CXL 기반 메모리 확장도 AI 서버의 계층 구조 안에서 더 중요해질 수 있습니다. 메모리 수요는 HBM, LPDDR, SRAM, CXL, SSD까지 이어지는 계층형 구조로 봐야 합니다.

HBM만으로 끝나지 않는다: CXL과 메모리 계층화

HBM은 AI 추론의 가장 뜨거운 메모리입니다. 하지만 HBM만으로 모든 용량 문제를 풀 수는 없습니다. HBM은 빠르지만 비싸고, GPU나 가속기 패키지 가까이에 붙어야 하며, 용량 확장에도 물리적 한계가 있습니다. 그래서 다음 질문은 “HBM 밖의 메모리 계층을 어떻게 붙일 것인가”입니다.

최근 CXL 관련 움직임이 이 질문과 연결됩니다. TrendForce는 2026년 7월 보도에서 Samsung Electronics와 SK hynix가 AI 시스템을 위한 CXL 기술을 개발하고 있다고 전했습니다. 보도에 따르면 CXL 메모리는 GPU나 CPU를 추가하지 않고도 별도 메모리 계층으로 용량을 확장할 수 있고, Samsung의 CXL Memory Module-DRAM 3.0은 CXL 3.2 기반 양산 계획이 언급됐습니다. SK hynix는 CXL hybrid memory를 HBM/DDR과 SSD 사이에 두는 IMTE 구조를 제안한 것으로 보도됐습니다.

이 관점에서 보면 AI 서버의 메모리 계층은 더 입체적입니다. SRAM은 칩 안에서 지연시간을 줄입니다. HBM은 모델 가중치와 KV 캐시를 가까운 곳에서 빠르게 먹입니다. LPDDR은 특정 추론 워크로드에서 전력과 비용의 균형을 잡습니다. CXL은 HBM 밖의 대용량 확장 계층을 맡을 수 있습니다. SSD와 스토리지는 검색, 벡터 DB, 장기 컨텍스트의 기반이 됩니다.

SRAM, HBM, LPDDR·DDR, CXL, SSD로 이어지는 AI 추론 서버 메모리 계층 구조도

따라서 메모리 산업 관점에서 이 주제는 “HBM 수요가 좋다”로 끝나지 않습니다. 더 정확히는 AI 추론이 서버 안의 메모리 계층 전체를 다시 설계하게 만들고 있다는 이야기입니다.

정리

하이퍼스케일러의 자체 추론칩 경쟁은 엔비디아를 단번에 대체하는 이야기가 아닙니다. 더 정확히는 AI 서비스가 커질수록 각 회사가 자기 워크로드에 맞는 비용 구조를 직접 설계하려는 움직임입니다.

구글은 TPU 8i와 Frozen v2 보도를 통해 모델 맞춤형 추론칩의 방향을 보여주고 있습니다. OpenAI와 Broadcom의 Jalapeño는 모델 회사도 추론 ASIC 설계에 들어간다는 신호입니다. AWS는 Trainium3로 토큰 경제성을 밀어붙이고 있습니다. Microsoft는 Maia 200이라는 자체칩과 AMD Helios라는 외부 랙스케일 플랫폼을 동시에 Azure 안으로 끌어들이고 있습니다. NVIDIA Vera Rubin은 랙스케일 통합의 기준선을 제시하고, Meta는 HBM이 아닌 LPDDR·SRAM 중심으로 추천 추론을 최적화합니다.

결국 다음 AI 인프라 경쟁의 질문은 이것입니다.

“어느 칩이 더 빠른가”가 아니라, “어느 시스템이 더 많은 모델 상태를 더 싸고 빠르게 토큰으로 바꿀 수 있는가.”

그 답은 점점 메모리 용량, 메모리 대역폭, 랙 단위 설계에서 갈리고 있습니다.