QSike Tech Notes

AI 추론칩 경쟁 총정리: 하이퍼스케일러부터 세레브라스, 한국 NPU까지

Google TPU 8i, AWS Trainium3, Microsoft Maia 200, AMD Helios, NVIDIA Vera Rubin, 세레브라스 WSE, 한국 NPU까지 — 추론칩 경쟁이 왜 메모리 용량·대역폭·랙 단위 설계와 토큰당 비용 중심으로 이동하는지 하나로 정리합니다.

발행 2026-07-21 수정 2026-08-22 AI 인프라 #AI 인프라#추론칩#HBM#HBM4#TPU#Trainium#Maia#Helios#Vera Rubin#CXL#MTIA#NPU#세레브라스

랙스케일 AI 추론 시스템과 HBM·D램·스토리지 메모리 계층을 연결한 기술 일러스트

AI 인프라 경쟁을 아직도 “GPU를 누가 더 많이 확보했나”로만 보면 중요한 변화를 놓치기 쉽습니다. 2026년 현재 구글, AWS, 마이크로소프트, 메타는 모두 자체 AI 가속기 또는 자체 최적화 칩을 키우고 있습니다. 여기에 Microsoft가 Azure에 AMD Helios 같은 외부 랙스케일 AI 플랫폼까지 올리기 시작하면서, 추론 인프라의 경쟁축은 더 선명해졌습니다.

핵심은 단순히 더 빠른 칩이 아닙니다.

이제 질문은 “그 칩이 얼마나 많은 모델 상태를 품을 수 있는가”, “그 메모리를 얼마나 빨리 토큰으로 바꿀 수 있는가”, “랙 단위로 얼마나 효율적으로 묶을 수 있는가”로 바뀌고 있습니다. 추론칩 경쟁은 결국 메모리 경쟁으로 번지고 있습니다.

참고: 이 글은 2026년 6~7월에 각각 발행된 추론칩 관련 글 세 편(하이퍼스케일러 추론칩과 메모리, NVIDIA 밖의 추론 칩과 한국 NPU, 세레브라스와 엔비디아 비교)을 하나의 가이드로 재구성했습니다.

왜 추론칩 경쟁이 커졌나

대형 AI 모델은 한 번 학습하면 끝나는 제품이 아닙니다. 사용자가 질문할 때마다, Copilot이 문서를 요약할 때마다, 검색·광고·추천 시스템이 결과를 고를 때마다 추론이 반복됩니다. 학습은 큰 이벤트지만, 추론은 매일 발생하는 운영비입니다.

비용 구조가 이렇게 바뀌면서 추론 요청의 성격 자체도 무거워지고 있습니다.

  • 사용자가 늘어날수록 추론 요청이 늘어난다.
  • 컨텍스트 길이가 길어질수록 KV 캐시와 메모리 비용이 커진다.
  • 에이전트 워크플로가 늘어날수록 한 번의 사용자 요청 안에서 여러 번의 모델 호출이 발생한다.
  • 멀티모달 입력과 실시간 응답 요구는 지연시간과 전력 예산을 더 빡빡하게 만든다.

사용자 요청이 데이터센터와 특화 가속기, 메모리 모듈을 거쳐 토큰 스트림으로 처리되는 추론 비용 구조 일러스트레이션 추론 경쟁의 핵심은 최고 연산 성능만이 아니라, 반복 호출되는 토큰을 얼마나 낮은 비용·전력·지연시간으로 처리하느냐에 있다.

하이퍼스케일러 입장에서는 이 반복 비용이 너무 큽니다. 외부 GPU를 많이 사는 것만으로는 공급, 전력, 냉각, 랙 설계, 소프트웨어 최적화까지 모두 통제하기 어렵습니다. 그래서 구글은 TPU를 Gemini와 Google Cloud에 맞춰 발전시키고, AWS는 Trainium/Inferentia를 EC2와 Bedrock의 가격 성능 축으로 키우고 있습니다. 마이크로소프트는 Maia를 Copilot·Azure OpenAI·Foundry와 연결하고, 메타는 MTIA를 추천·광고 추론에 맞춰 최적화합니다.

다만 현실은 “자체칩이 외부 GPU를 대체한다”처럼 단순하지 않습니다. 마이크로소프트 사례가 잘 보여줍니다. Microsoft는 Maia 200이라는 자체 추론칩을 공개했지만, 동시에 AMD Helios 기반 ND MI455X v7을 Azure 추론 인프라에 도입하겠다고 발표했습니다. 실제 클라우드 전략은 자체 실리콘, 상용 GPU, 랙스케일 시스템을 워크로드별로 섞는 이기종 인프라에 가깝습니다.

NVIDIA는 여전히 중심이다

먼저 분명히 해야 할 점이 있습니다. 이런 경쟁이 벌어진다고 해서 NVIDIA가 당장 밀려나는 이야기는 아닙니다. NVIDIA의 강점은 칩 하나가 아니라 시스템 전체입니다.

  • CUDA와 cuDNN, TensorRT, Triton Inference Server 등 소프트웨어 생태계
  • H100, H200, B200/GB200 등 고성능 GPU 라인업
  • HBM 기반 고대역폭 메모리 구조
  • NVLink, NVSwitch, InfiniBand/Ethernet 네트워킹
  • DGX, HGX, Grace Blackwell 같은 시스템 레퍼런스
  • 개발자·프레임워크·운영 경험의 누적

AI 반도체에서 진짜 어려운 것은 칩을 만드는 것만이 아닙니다. 모델이 돌아가야 하고, 컴파일러가 최적화해야 하며, 런타임이 안정적이어야 하고, 클러스터 스케줄러와 서빙 엔진이 붙어야 합니다. 고객은 논문상 TOPS보다 “내 모델이 실제로 얼마나 안정적으로, 싸게, 빠르게 도는가”를 봅니다.

그래서 NVIDIA 밖의 추론 칩은 NVIDIA를 정면으로 한 번에 대체한다기보다, 특정 워크로드와 특정 고객 환경에서 비용·전력·지연시간을 줄이는 보완재로 출발하는 경우가 많습니다. 이 기준을 염두에 두고 각 진영을 하나씩 보겠습니다.

시장은 세 부류로 나뉜다

여러 종류의 추론 가속기와 데이터센터·엣지 장치로 분기되는 AI 인프라 일러스트레이션

NVIDIA 밖의 추론 칩 시장은 크게 세 부류로 나눠볼 수 있습니다.

첫째, 하이퍼스케일러가 자체 서비스와 클라우드 비용을 줄이기 위해 만드는 자체 칩입니다. Google TPU, AWS Trainium/Inferentia, Microsoft Maia, Meta MTIA가 여기에 속합니다.

둘째, LLM 추론이나 특정 AI 워크로드에 특화한 독립 AI 칩 업체입니다. Groq, Cerebras, SambaNova, Tenstorrent 같은 회사들이 각자 다른 구조로 접근합니다.

셋째, 국가·지역별 AI 인프라 자립을 겨냥한 로컬 AI 반도체입니다. 중국의 Huawei Ascend이 대표적이고, 한국의 Rebellions, FuriosaAI, HyperAccel 등도 이 축에서 움직입니다.

구글: Ironwood에서 TPU 8i, 그리고 Frozen v2까지

구글의 흐름은 가장 길고 선명합니다. 2025년 공개된 Ironwood는 “추론 시대를 위한 첫 TPU”로 소개됐습니다. Google Cloud 문서 기준 TPU7x, 즉 Ironwood는 칩당 HBM 192GiB와 약 7.38TB/s HBM 대역폭을 제공합니다. 이전 세대 Trillium의 칩당 HBM 32GiB와 비교하면 용량이 6배로 커졌습니다.

하지만 구글의 다음 메시지는 더 직접적입니다. 2026년 4월 구글은 8세대 TPU로 알려진 TPU 8t와 TPU 8i를 공개한 것으로 보도됐습니다. TPU 8t는 학습용, TPU 8i는 추론용입니다. 보도 기준 TPU 8t superpod는 9,600칩 규모에서 약 2PB HBM을 제공하고, TPU 8i는 1,152칩 pod에서 총 331.8TB HBM을 제공합니다. TPU 8i 한 칩에는 288GB HBM과 384MB 온칩 SRAM이 조합됩니다.

Ironwood가 “추론에도 고용량 HBM이 필요하다”는 신호였다면, TPU 8i는 “추론용 칩을 따로 설계해야 한다”는 쪽에 가깝습니다. 에이전트형 AI, 긴 컨텍스트, MoE 모델, KV 캐시는 모두 메모리를 먹습니다. 연산 성능이 아무리 높아도 데이터를 제때 먹이지 못하면 실제 토큰 처리량은 나오지 않습니다.

여기에 2026년 7월에는 Frozen v2 보도도 나왔습니다. Data Center Dynamics가 The Information을 인용한 내용에 따르면, Frozen v2는 Gemini 모델의 의사결정 일부를 실리콘에 더 직접 반영해 데이터 이동 단계를 줄이는 방향의 칩으로 알려졌습니다. 보도에서는 현재 TPU 대비 6~10배 효율 개선 가능성, 2028년 배치 가능성, TPU를 대체하기보다 별도 분기로 운영될 가능성이 언급됐습니다.

Frozen v2는 아직 구글 공식 스펙으로 확정된 이야기는 아닙니다. 그래서 본문에서는 Ironwood와 TPU 8i/8t 같은 공개된 TPU 흐름과 분리해서 봐야 합니다. 그래도 방향성은 분명합니다. 구글은 범용 AI 가속기만이 아니라, 특정 모델 구조와 데이터 이동까지 칩 설계에 더 깊게 반영하려 하고 있습니다.

모델 회사도 칩을 만든다: OpenAI와 Broadcom의 Jalapeño

구글 Frozen v2 보도가 흥미로운 이유는 단지 구글의 차세대 칩 이름 때문만은 아닙니다. 같은 흐름이 모델 회사 쪽에서도 나타나고 있습니다. 2026년 6월 OpenAI와 Broadcom은 LLM 추론에 맞춘 커스텀 inference processor를 공개했고, 보도에서는 코드명 Jalapeño가 언급됐습니다. Tom’s Hardware는 이 칩을 OpenAI의 첫 칩이자 reticle-sized ASIC으로 소개하며, 약 9개월이라는 짧은 개발 주기도 함께 보도했습니다.

여기서 중요한 것은 “OpenAI도 반도체 회사가 된다”는 식의 단순한 해석이 아닙니다. 더 본질적인 변화는 모델 아키텍처와 칩 설계의 거리가 좁아진다는 점입니다. Google Frozen v2가 Gemini 구조를 실리콘에 더 직접 반영하려는 방향으로 보도됐다면, OpenAI/Broadcom의 Jalapeño는 모델 회사가 자기 추론 비용을 줄이기 위해 ASIC 설계에 들어가는 사례입니다.

OpenAI는 클라우드 사업자가 아니라 모델과 서비스를 운영하는 회사입니다. 그런 회사에게 중요한 것은 범용 GPU 벤치마크가 아니라 자사 모델과 자사 추론 시스템에서의 실제 비용입니다. 특정 모델 구조, 디코딩 패턴, 배치 처리 방식, 서빙 스케줄러에 맞춰 칩을 설계하면 범용 GPU 대비 비용 우위를 만들 여지가 생깁니다. 물론 칩 설계, 제조, 수율, 패키징, 컴파일러, 런타임, 데이터센터 통합까지 모두 필요하기 때문에 Broadcom 같은 ASIC 파트너의 역할이 큽니다.

이 흐름은 메모리 관점에서도 중요합니다. 대형 LLM 추론에서는 연산량만이 아니라 데이터 이동이 비용과 지연시간을 크게 좌우합니다. 모델에 맞춘 칩은 HBM 용량을 늘리는 것과 별개로, 어떤 데이터를 어디에 두고 얼마나 자주 이동시킬지를 더 공격적으로 최적화할 수 있습니다. 앞으로의 추론칩 경쟁은 “누가 더 큰 HBM을 붙였나”와 함께 “누가 모델 구조에 맞게 데이터 이동을 줄였나”의 경쟁이 될 가능성이 큽니다.

AWS: Trainium3, 토큰 경제성을 메모리로 밀어붙이다

AWS는 Trainium3 기반 EC2 Trn3 UltraServers를 발표하며 “차세대 에이전트, reasoning, 동영상 생성 애플리케이션의 token economics”를 전면에 세웠습니다. 공개 스펙에서 Trainium3 한 칩은 144GB HBM3e와 4.9TB/s 메모리 대역폭을 제공합니다. AWS는 Trainium2 대비 메모리 용량은 1.5배, 대역폭은 1.7배 증가했다고 설명합니다.

UltraServer 단위로 보면 변화가 더 큽니다. Trn3 UltraServer는 최대 144개 Trainium3 칩으로 확장되고, 완전 구성 시 최대 20.7TB HBM3e와 706TB/s 집계 메모리 대역폭을 제공합니다.

AWS는 학습용 Trainium과 별도로 Inferentia라는 추론 전용 라인도 함께 운영합니다. AWS 입장에서 추론 칩은 클라우드 상품입니다. 고객이 EC2에서 모델을 돌릴 때 NVIDIA GPU보다 낮은 비용으로 충분한 성능을 제공할 수 있다면 AWS의 클라우드 경쟁력이 됩니다. Inferentia의 핵심도 NVIDIA를 모든 영역에서 이기는 것이 아니라, AWS 안에서 반복적으로 발생하는 대규모 추론 워크로드를 더 싸게 처리하는 데 있습니다.

AWS가 긴 컨텍스트, MoE, reasoning 모델을 함께 언급하는 이유도 여기에 있습니다. 추론 비용을 낮추려면 단순히 연산기를 많이 붙이는 것으로는 부족합니다. 모델 상태와 캐시를 더 많이 올려두고, 병렬화된 칩 사이에서 데이터를 빠르게 주고받아야 합니다. Trainium3의 메시지도 결국 메모리 용량과 대역폭입니다.

마이크로소프트: Maia 200과 AMD Helios를 같이 쓴다

마이크로소프트는 2023년 Maia 100을 공개하며 Copilot과 Azure OpenAI Service를 포함한 자사 AI 서비스에 자체 실리콘을 투입하겠다고 밝혔습니다. 2026년 1월에는 Maia 200을 “추론을 위해 만들어진 AI accelerator”로 소개했습니다.

Maia 200의 스펙은 메모리 관점에서 꽤 공격적입니다. TSMC 3nm 공정, FP8/FP4 tensor core, 216GB HBM3e, 7TB/s 메모리 대역폭, 272MB 온칩 SRAM을 내세웁니다. 마이크로소프트는 Maia 200이 GPT-5.2 모델을 포함한 여러 모델을 서비스하고, Microsoft Foundry와 Microsoft 365 Copilot의 성능당 비용 개선에 쓰인다고 설명했습니다.

Microsoft에게 자체 칩은 단순히 반도체 사업 진출이 아니라 Azure, Copilot, GitHub Copilot, Office, Windows를 관통하는 AI 서비스 원가 구조를 통제하려는 시도입니다. 최근 보도에서는 Microsoft가 Anthropic에 Maia 칩 공급을 검토한다는 내용도 나왔습니다. 이것이 현실화된다면 하이퍼스케일러 자체 칩이 내부용을 넘어 외부 AI 모델 회사의 인프라 선택지로 확장되는 신호가 될 수 있습니다.

여기까지만 보면 Microsoft도 구글·AWS처럼 자체 추론칩을 키우는 흐름입니다. 그런데 2026년 7월 발표를 보면 전략이 더 넓습니다. Microsoft는 Azure AI·HPC 인프라 확장 발표에서 AMD의 Helios AI platform과 차세대 EPYC 데이터센터 프로세서를 Azure에 도입한다고 밝혔습니다.

이 발표에는 세 가지 Azure 상품이 함께 나옵니다.

  • HDv2 VM: AI 데이터 처리, 검색, 강화학습, 에이전트 조율
  • HXv2 VM: 반도체 설계, EDA, 기술 컴퓨팅
  • ND MI455X v7 VM: AI 추론 워크로드

특히 ND MI455X v7은 AMD Helios rackscale solution 기반으로, Microsoft는 reasoning, search, agentic workloads를 위한 추론 인프라라고 설명했습니다.

이 대목이 중요합니다. Microsoft는 Maia 200으로 자체 추론칩을 만들면서도, AMD Helios를 Azure에 올립니다. 즉 하이퍼스케일러의 실제 선택지는 “자체칩이냐 외부 GPU냐”가 아닙니다. 자체 실리콘은 내부 반복 비용을 줄이고, 외부 랙스케일 플랫폼은 고객과 다양한 워크로드에 선택지를 제공합니다. 결국 Azure는 Maia와 Helios를 모두 품는 이기종 AI 인프라로 가고 있습니다.

AMD Helios: 자체칩은 아니지만, 메모리 경쟁을 더 키운다

AMD Helios는 하이퍼스케일러가 직접 설계한 자체 추론칩은 아닙니다. 하지만 Microsoft가 Azure에 도입하겠다고 밝힌 순간, 하이퍼스케일러 추론 인프라 경쟁에서 빼기 어려운 축이 됐습니다.

Helios는 AMD Instinct MI455X GPU, 6세대 EPYC Venice CPU, Pensando 네트워킹, ROCm 소프트웨어를 묶은 랙스케일 AI 플랫폼으로 소개됩니다. 단일 GPU 카드 판매가 아니라, NVIDIA NVL 계열처럼 랙 단위로 AI 학습·추론·파인튜닝·에이전트 워크로드를 처리하겠다는 접근입니다.

보도와 기술 분석 자료 기준으로 Helios는 72개 MI455X GPU를 하나의 랙스케일 시스템에 담고, MI455X 한 개당 432GB HBM4를 탑재하는 구조로 알려져 있습니다. 이 경우 시스템 단위 총 HBM4 용량은 약 31TB가 됩니다.

물론 이 세부 수치는 조심해서 써야 합니다. Microsoft 공식 블로그는 Helios 기반 ND MI455X v7을 Azure 추론 워크로드에 쓰겠다는 점을 확인해 주지만, MI455X의 HBM4 용량과 랙 총량을 모두 공식 Azure 발표 안에 적어둔 것은 아닙니다. 따라서 432GB HBM4, 72 GPU, 약 31TB HBM4 같은 숫자는 MLQ, StorageReview 등 보도·분석 자료 기준으로 제한해 읽어야 합니다.

그럼에도 Helios가 보여주는 방향은 뚜렷합니다. 추론 인프라는 칩 한 개의 메모리 용량 경쟁을 넘어 랙 하나가 수십 TB의 HBM을 제공하는 구조로 이동하고 있습니다. AI 모델이 길게 생각하고, 여러 에이전트가 협업하고, 검색과 reasoning을 반복할수록 랙 단위 메모리 풀은 점점 더 중요해질 수밖에 없습니다.

NVIDIA Vera Rubin: 비교 기준도 이미 랙 단위다

AMD Helios를 이야기하려면 NVIDIA를 비교 기준선으로 짧게 짚을 필요가 있습니다. 이 글의 목적은 “NVIDIA 대체론”이 아니라, 경쟁 단위가 GPU 카드에서 랙스케일 시스템으로 이동하고 있다는 점을 설명하는 데 있습니다.

NVIDIA의 Vera Rubin NVL72는 그 기준선을 보여줍니다. NVIDIA 공식 제품 페이지와 기술 블로그 기준으로 Vera Rubin NVL72는 Rubin GPU, Vera CPU, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU, Spectrum-X Ethernet 등을 묶은 랙스케일 플랫폼입니다. 단일 GPU가 아니라, AI factory 안에서 학습·후학습·agentic inference를 처리하는 하나의 시스템에 가깝습니다.

메모리 숫자도 이 방향을 확인시켜 줍니다. NVIDIA 기술 블로그는 Vera Rubin NVL72가 랙당 최대 20.7TB HBM4와 1.6PB/s 메모리 대역폭을 제공한다고 설명합니다. 공식 제품 페이지는 CPU 메모리로 54TB LPDDR5X도 언급합니다. 즉 NVIDIA 역시 HBM4만 보는 것이 아니라 HBM, CPU 메모리, NVLink, 네트워크, DPU를 함께 묶어 랙 단위 추론 처리량을 끌어올리는 구조입니다.

이 기준에서 보면 AMD Helios의 의미도 더 분명해집니다. Helios는 NVIDIA Vera Rubin식 랙스케일 통합에 맞서는 AMD의 대안입니다. Microsoft가 Helios를 Azure에 올리는 것은 단지 AMD GPU를 더 사겠다는 의미가 아니라, Azure 안에 NVIDIA 외의 랙스케일 AI 시스템 선택지를 추가하겠다는 뜻에 가깝습니다.

메타: MTIA는 HBM이 아니라 LPDDR·SRAM으로 간다

메타의 MTIA는 구글, AWS, 마이크로소프트, AMD Helios와 조금 다르게 읽어야 합니다. 메타가 2024년 공개한 차세대 MTIA는 대형 LLM 전용 HBM 칩이라기보다 추천·광고 모델 추론에 초점을 둔 내부 가속기입니다.

첫 세대 대비 차세대 MTIA는 온칩 메모리를 128MB에서 256MB로 늘렸고, 오프칩 LPDDR5도 64GB에서 128GB로 키웠습니다. 로컬 PE 메모리는 128KB에서 384KB로 늘었고, 온칩 메모리 대역폭도 800GB/s에서 2.7TB/s로 올라갔습니다.

메타는 Facebook, Instagram, WhatsApp, Threads를 통해 추천, 광고, 피드 랭킹, 콘텐츠 이해, 생성형 AI 기능을 대규모로 운영합니다. 이런 회사에게 추론 칩은 “판매할 반도체”라기보다 “서비스 원가를 낮추는 내부 인프라”에 가깝습니다. 매일 처리하는 요청의 규모를 고려하면 작은 전력 효율 개선도 전체 비용에는 큰 차이를 만들 수 있습니다.

이 사례는 중요한 균형점을 줍니다. 모든 추론이 HBM으로만 해결되는 것은 아닙니다. 추천·랭킹처럼 배치가 작고 지연시간이 민감한 워크로드에서는 SRAM, LPDDR, 온칩 네트워크 구조를 조합해 활용률을 높이는 설계가 더 적합할 수 있습니다. 메모리 경쟁은 HBM만의 이야기가 아니라, 워크로드별 메모리 계층을 어떻게 짜느냐의 문제입니다.

세레브라스: 아예 다른 길, 웨이퍼 스케일

하이퍼스케일러 자체칩과 또 다른 방향에 세레브라스가 있습니다. 세레브라스는 WSE, 즉 Wafer Scale Engine이라는 이름 그대로 웨이퍼 스케일 칩을 만듭니다. Cerebras는 WSE-3가 46,225mm² 면적, 4조 개 트랜지스터, 90만 개 AI 최적화 코어, 125페타플롭스(FP16 기준) AI 연산 성능을 제공한다고 밝힙니다. 같은 칩 위에 약 44GB의 온칩 SRAM을 탑재해, 데이터를 칩 내부에서 보관하고 처리하는 구조입니다.

일반적인 반도체는 웨이퍼 위에 여러 개의 작은 칩을 만들고 잘라서 패키징합니다. 세레브라스는 웨이퍼 수준의 거대한 실리콘을 하나의 프로세서처럼 쓰려는 전략입니다. 이렇게 하면 여러 GPU를 오가며 데이터를 주고받을 때 생기는 통신 비용을 줄일 수 있고, 온칩 메모리와 온칩 네트워크를 크게 활용할 수 있습니다. 다만 모델이 온칩 메모리보다 큰 경우, 세레브라스는 MemoryX라는 외부 메모리 시스템을 통해 가중치를 스트리밍하는 방식으로 확장합니다.

칩 내부 통합형 구조 vs 다중 GPU 분산 구조를 한눈에 비교한 본문 인포그래픽

물론 웨이퍼 스케일은 쉬운 선택이 아닙니다. 웨이퍼 위에는 결함이 생길 수밖에 없고, 초대형 칩은 수율 관리가 어렵습니다. 세레브라스는 이를 결함을 완전히 피하는 방식이 아니라, 여분 코어와 여분 라우팅을 두고 결함 영역을 우회하는 fail-in-place 구조로 풀었다고 설명합니다.

엔비디아와의 차이를 한 문장으로 줄이면 이렇습니다. 엔비디아는 작은 단위를 강하게 만들고, 그것을 아주 잘 연결해 확장합니다. Blackwell B200이 2,080억 개 트랜지스터를 두 개의 레티클 한계 다이로 나누고, 다이 사이를 10TB/s 인터커넥트로 묶는 것도 같은 설계입니다. 세레브라스는 처음부터 매우 큰 단위를 만들고, 칩 내부에서 통신과 연산을 해결하려 합니다.

엔비디아 방식은 표준화된 서버와 클러스터에 잘 맞고 기존 ML 소프트웨어 생태계를 활용하기 좋습니다. 세레브라스 방식은 대형 모델 학습이나 초고속 추론처럼 통신 병목을 줄이는 것이 중요한 영역에서 매력적일 수 있습니다. 세레브라스는 CUDA와 정면승부하기보다 클라우드형 추론 서비스와 대형 모델 실행 최적화, 단순한 배포 경험으로 이 격차를 좁히려 합니다. 어떤 쪽이 우위인가는 워크로드 조건에 따라 달라지는 문제입니다.

그 밖의 도전자들: Groq부터 중국까지

세 부류 중 독립 AI 칩 업체에는 세레브라스 외에도 여러 방향이 있습니다.

Groq는 LPU, Language Processing Unit을 전면에 내세웁니다. 메시지는 명확합니다. LLM 추론을 빠르고 저렴하게 하겠다는 것입니다. 실시간 질의응답, 음성 에이전트, 인터랙티브 코딩 어시스턴트처럼 응답 지연이 사용자 경험에 직접 영향을 주는 영역에서 강점을 노립니다.

SambaNova는 RDU, Reconfigurable Dataflow Unit을 내세우며 엔터프라이즈 AI와 특정 모델 최적화에 초점을 맞춰 왔습니다. Tenstorrent는 AI 가속기와 RISC-V 기반 접근을 결합하면서 GPU 독점 구조 밖의 대안으로 거론됩니다. Qualcomm은 모바일·엣지 AI의 강자지만, 전력 효율과 메모리 대역폭 효율을 앞세워 데이터센터 추론 쪽 메시지도 강화하고 있습니다.

중국에서는 Huawei Ascend이 NVIDIA 대체재로 가장 중요합니다. 미국의 AI 반도체 수출 규제가 강화되면서, 중국 AI 인프라는 자국산 가속기와 소프트웨어 생태계 구축을 더 강하게 밀고 있습니다. Cambricon, Biren 같은 업체들도 있지만, 이 축은 글로벌 시장 경쟁이라기보다 중국 내 정책·수요·규제 환경과 강하게 묶여 있습니다. 기술 경쟁이면서 동시에 공급망·지정학 경쟁입니다.

한국의 추론 칩은 어디에 있나

한국 지도를 중심으로 메모리, 패키징, 데이터센터, 공공·기업 서버, 제조 엣지 장치가 연결된 NPU 생태계 일러스트레이션 한국 NPU의 현실적인 기회는 단일 칩 성능보다 메모리·패키징·데이터센터·고객 적용 레퍼런스를 함께 묶는 시스템 역량에서 나온다.

한국은 NVIDIA를 정면으로 대체할 범용 GPU 플랫폼을 만드는 쪽보다는, NPU·저전력 추론·특정 산업 적용에서 기회를 찾고 있습니다. 한국의 강점은 메모리와 제조 생태계이고, 약점은 CUDA 같은 범용 소프트웨어 플랫폼과 초대형 클라우드 고객 기반입니다.

따라서 한국 AI 반도체를 볼 때는 “NVIDIA를 이길 수 있나”보다 “어떤 추론 워크로드에서 실사용 레퍼런스를 만들 수 있나”를 봐야 합니다.

Rebellions과 Sapeon: 데이터센터 NPU 축

Rebellions는 한국 AI 반도체에서 가장 중요한 이름 중 하나입니다. 데이터센터 추론용 NPU를 지향하며 ATOM, REBEL 계열로 알려져 있습니다. 최근 보도에서는 SK텔레콤, Arm과 함께 AI inference data center 인프라를 개발하는 협력도 언급됐고, 금융권 AI 인프라 적용 사례도 나오고 있습니다.

Sapeon은 SK 계열 AI 반도체 프로젝트로 출발해 X220 등 추론용 AI 반도체를 내세웠고, 이후 Rebellions과의 통합 흐름 속에서 한국 데이터센터 NPU 진영의 규모를 키우는 방향으로 재편됐습니다. CNBC 보도 기준으로 Rebellions는 Samsung을 제조·공급망 파트너로 확보했고, 약 4억 달러 규모의 투자를 유치하며 규모를 키우고 있습니다.

AI 반도체는 칩 하나만으로 승부하기 어렵습니다. 고객, 자본, 소프트웨어, 데이터센터 적용 경험이 필요합니다. Rebellions과 Sapeon의 결합은 한국 NPU 진영이 단편적인 칩 개발을 넘어 실제 인프라 적용으로 가기 위한 규모 확보 시도로 볼 수 있습니다.

FuriosaAI: NPU 추론 플랫폼의 또 다른 축

FuriosaAI도 빼놓을 수 없습니다. Warboy, RNGD(Renegade) 계열로 알려져 있으며, RNGD는 이미 양산 단계에 진입한 것으로 보도됐습니다. 최근에는 LG CNS와 공공 AX용 NPU 서비스 협력, Broadcom과 차세대 AI 추론 플랫폼 개발 협력 보도가 있었습니다.

특히 Broadcom과의 협력은 단순한 스타트업 칩 개발을 넘어 글로벌 반도체 인프라 기업과의 연결 가능성을 보여준다는 점에서 의미가 있습니다. The Register와 TrendForce 보도에 따르면, Broadcom과의 협력 칩은 TSMC 2nm 공정 기반으로 추정되며 2028년 상반기 샘플링이 예상됩니다. FuriosaAI에서 기술적으로 확인할 질문은 “국산 NPU가 실제 엔터프라이즈·공공 AI 서비스에 얼마나 들어갈 수 있는가”입니다.

HyperAccel과 엣지 NPU

HyperAccel은 LPU를 내세우며 LLM 추론 비용 절감을 강조하는 회사입니다. Groq가 글로벌 시장에서 LPU를 강조한다면, HyperAccel은 한국에서 LLM 추론 비용을 낮추려는 접근으로 볼 수 있습니다. LLM 서비스가 늘어날수록 기업들은 “GPU를 몇 장 살 것인가”뿐 아니라 “이 서비스를 월 얼마에 운영할 수 있는가”를 묻게 됩니다. HyperAccel 같은 회사의 기회는 바로 이 지점에 있습니다.

Mobilint와 DEEPX는 데이터센터 LLM 추론보다 엣지 AI NPU 쪽에 가깝게 봐야 합니다. 카메라 영상 분석, 로봇과 드론, 제조 장비의 이상 감지, 스마트팩토리, 온디바이스 AI처럼 이 영역의 워크로드는 ChatGPT류 대형 LLM과 다릅니다. 전력, 발열, 가격, 실시간성, 오프라인 동작이 중요합니다. 따라서 이들을 AWS Inferentia와 1:1로 비교하는 것은 적절하지 않고, “추론 칩 시장이 데이터센터와 엣지로 나뉘고 있다”는 맥락에서 봐야 합니다.

한국의 기회와 한계

한국의 AI 반도체 논의는 자주 HBM으로 수렴합니다. 실제로 HBM은 중요하고, SK하이닉스와 삼성전자는 AI 데이터센터 공급망에서 핵심 위치를 차지합니다. 하지만 한국의 기회를 HBM만으로 보면 부족합니다. AI 인프라는 HBM과 고급 패키징, 데이터센터 전력과 냉각, 전력반도체, 네트워크 스위치와 광 인터커넥트, 추론용 NPU와 ASIC, 컴파일러와 런타임, 모델 서빙 엔진, 산업별 AI 적용 레퍼런스까지 이어지는 시스템 경쟁이 되고 있습니다.

예를 들어 금융권, 통신사, 공공, 제조 현장처럼 한국 기업이 실제 고객과 가까운 영역에서는 국산 NPU가 실사용 레퍼런스를 만들 수 있습니다. 삼성전자·SK하이닉스의 메모리·패키징 역량, 통신사의 데이터센터 운영 경험, SI 기업의 엔터프라이즈 고객 접점을 결합하면 단순 칩 판매보다 현실적인 전략이 됩니다.

반대로 한계도 분명합니다. 첫째, 소프트웨어 생태계입니다. NVIDIA의 진짜 해자는 CUDA입니다. 개발자가 이미 쓰고 있는 프레임워크와 라이브러리가 있고, 문제가 생겼을 때 해결할 수 있는 레퍼런스가 많습니다. 새로운 NPU가 아무리 전력 효율이 좋아도 모델 포팅과 운영이 어렵다면 고객은 쉽게 옮기지 않습니다.

둘째, 대규모 앵커 고객의 부족입니다. Google, AWS, Microsoft, Meta, OpenAI는 자기 내부에 막대한 AI 워크로드가 있어 자체 칩을 시험하고 개선할 실전 무대가 있습니다. 한국 AI 반도체 기업은 이런 초대형 내부 수요를 갖기 어렵기 때문에 통신사, 금융, 공공, 제조와의 레퍼런스 확보가 더 중요합니다.

셋째, 시스템 통합입니다. AI 칩은 단품이 아니라 서버, 냉각, 네트워크, 스토리지, 컴파일러, 런타임, 모니터링, 서빙 API까지 함께 가야 합니다. 고객은 칩을 사는 것이 아니라 “AI 서비스를 안정적으로 운영할 수 있는 인프라”를 삽니다. 넷째, 시장 포지셔닝입니다. 모든 모델을 다 돌리는 범용 GPU가 되려 하면 NVIDIA와 정면 충돌합니다. 한국 업체들은 오히려 특정 워크로드, 특정 산업, 특정 비용 구조에서 이기는 전략이 현실적입니다.

모든 추론이 같은 메모리를 요구하지 않는다

회사별 칩 이름보다 더 중요한 것은 워크로드입니다. 실시간 챗봇 추론은 낮은 지연시간과 KV 캐시 관리가 중요합니다. 긴 컨텍스트와 에이전트 워크로드는 중간 상태, 검색 결과, 툴 호출 기록을 오래 붙잡아야 합니다. MoE 모델은 전문가 라우팅과 칩 간 통신이 병목이 되기 쉽습니다. 영상 생성과 멀티모달 모델은 큰 중간 텐서와 높은 메모리 대역폭을 요구합니다. 추천·광고 모델은 Meta MTIA처럼 작은 배치와 낮은 지연시간에 맞춘 SRAM·LPDDR 구성이 더 적합할 수 있습니다.

그래서 “추론칩”이라는 단어 하나로 모든 시장을 묶으면 오해가 생깁니다. Google TPU 8i, AWS Trainium3, Microsoft Maia 200, AMD Helios, NVIDIA Vera Rubin, Meta MTIA, 세레브라스 WSE, 한국 NPU는 모두 AI 추론을 겨냥하지만, 실제로 최적화하는 병목은 조금씩 다릅니다. 공통점은 그 병목이 대부분 데이터 이동과 메모리 계층에서 드러난다는 점입니다.

공통점: 추론칩 스펙표가 메모리 중심으로 바뀐다

각 회사의 접근은 이렇게 정리됩니다.

  • Google Ironwood/TPU 8i: Ironwood는 칩당 192GiB HBM, TPU 8i는 보도 기준 칩당 288GB HBM과 384MB SRAM
  • AWS Trainium3: 칩당 144GB HBM3e, UltraServer당 최대 20.7TB HBM3e
  • Microsoft Maia 200: 칩당 216GB HBM3e와 272MB SRAM
  • AMD Helios on Azure: 보도 기준 72개 MI455X, GPU당 432GB HBM4, 시스템당 약 31TB HBM4
  • NVIDIA Vera Rubin NVL72: 공식 기술 블로그 기준 랙당 최대 20.7TB HBM4와 1.6PB/s 메모리 대역폭
  • Meta MTIA: 128GB LPDDR5와 256MB 온칩 SRAM
  • Cerebras WSE-3: 44GB 온칩 SRAM과 MemoryX 스트리밍
  • CXL 메모리: HBM 밖에서 용량 확장을 맡는 새로운 메모리 계층

서로 다른 설계지만 공통점은 분명합니다. 추론칩의 스펙표가 FLOPS/TOPS만으로 설명되지 않습니다. 메모리 용량, 메모리 대역폭, 온칩 SRAM, 칩 간 인터커넥트, 랙 단위 확장이 핵심 항목이 됐습니다.

Google TPU, OpenAI Jalapeño, AWS Trainium3, Microsoft Maia 200, AMD Helios, NVIDIA Vera Rubin, Meta MTIA의 메모리 구조 비교표

대형 모델 서비스에서는 연산기가 놀지 않게 데이터를 계속 공급해야 합니다. 메모리가 작거나 느리면 이론 성능은 실제 토큰 처리량으로 이어지지 않습니다. 그래서 하이퍼스케일러들은 자체칩이든 외부 랙스케일 플랫폼이든, 더 큰 메모리 풀과 더 빠른 데이터 이동을 추론 인프라의 중심에 놓고 있습니다.

HBM만으로 끝나지 않는다: CXL과 메모리 계층화

HBM은 AI 추론의 가장 뜨거운 메모리입니다. 하지만 HBM만으로 모든 용량 문제를 풀 수는 없습니다. HBM은 빠르지만 비싸고, GPU나 가속기 패키지 가까이에 붙어야 하며, 용량 확장에도 물리적 한계가 있습니다. 그래서 다음 질문은 “HBM 밖의 메모리 계층을 어떻게 붙일 것인가”입니다.

최근 CXL 관련 움직임이 이 질문과 연결됩니다. TrendForce는 2026년 7월 보도에서 Samsung Electronics와 SK hynix가 AI 시스템을 위한 CXL 기술을 개발하고 있다고 전했습니다. 보도에 따르면 CXL 메모리는 GPU나 CPU를 추가하지 않고도 별도 메모리 계층으로 용량을 확장할 수 있고, Samsung의 CXL Memory Module-DRAM 3.0은 CXL 3.2 기반 양산 계획이 언급됐습니다. SK hynix는 CXL hybrid memory를 HBM/DDR과 SSD 사이에 두는 IMTE 구조를 제안한 것으로 보도됐습니다.

이 관점에서 보면 AI 서버의 메모리 계층은 더 입체적입니다. SRAM은 칩 안에서 지연시간을 줄입니다. HBM은 모델 가중치와 KV 캐시를 가까운 곳에서 빠르게 먹입니다. LPDDR은 특정 추론 워크로드에서 전력과 비용의 균형을 잡습니다. CXL은 HBM 밖의 대용량 확장 계층을 맡을 수 있습니다. SSD와 스토리지는 검색, 벡터 DB, 장기 컨텍스트의 기반이 됩니다.

SRAM, HBM, LPDDR·DDR, CXL, SSD로 이어지는 AI 추론 서버 메모리 계층 구조도

따라서 메모리 산업 관점에서 이 주제는 “HBM 수요가 좋다”로 끝나지 않습니다. 더 정확히는 AI 추론이 서버 안의 메모리 계층 전체를 다시 설계하게 만들고 있다는 이야기입니다.

정리

하이퍼스케일러의 자체 추론칩 경쟁은 엔비디아를 단번에 대체하는 이야기가 아닙니다. 더 정확히는 AI 서비스가 커질수록 각 회사가 자기 워크로드에 맞는 비용 구조를 직접 설계하려는 움직임입니다.

구글은 TPU 8i와 Frozen v2 보도를 통해 모델 맞춤형 추론칩의 방향을 보여주고 있습니다. OpenAI와 Broadcom의 Jalapeño는 모델 회사도 추론 ASIC 설계에 들어간다는 신호입니다. AWS는 Trainium3로 토큰 경제성을 밀어붙이고 있습니다. Microsoft는 Maia 200이라는 자체칩과 AMD Helios라는 외부 랙스케일 플랫폼을 동시에 Azure 안으로 끌어들이고 있습니다. NVIDIA Vera Rubin은 랙스케일 통합의 기준선을 제시하고, Meta는 HBM이 아닌 LPDDR·SRAM 중심으로 추천 추론을 최적화합니다. 세레브라스는 웨이퍼 스케일이라는 전혀 다른 설계 철학으로 통신 병목 자체를 줄이려 하고, 한국 NPU는 데이터센터와 엣지 사이의 틈에서 실사용 레퍼런스를 만들려 하고 있습니다.

결국 다음 AI 인프라 경쟁의 질문은 이것입니다.

“어느 칩이 더 빠른가”가 아니라, “어느 시스템이 더 많은 모델 상태를 더 싸고 빠르게 토큰으로 바꿀 수 있는가.”

그 답은 점점 메모리 용량, 메모리 대역폭, 랙 단위 설계에서 갈리고 있습니다. 그리고 그 경쟁에서는 소프트웨어 최적화와 하드웨어 최적화가 따로 가지 않습니다.

이 글은 AI 인프라와 반도체 기술 구조를 이해하기 위한 QSike Tech Notes 기술 해설입니다. 특정 기업이나 제품의 성능을 보증하지 않으며, 공개 발표와 보도 기준 정보는 실제 도입 환경과 측정 조건에 따라 달라질 수 있습니다.

다음에 읽을 글

추론칩이 메모리 계층과 만나는 지점을 더 깊게 보려면 AI 서버 메모리 병목 지도: HBM의 역할과 XPU, HBF·HBS, CXL까지를 함께 읽으면 좋습니다. 메모리 병목을 계층으로 이해한 뒤에는 AI 가속기의 다음 병목: HBM 스택과 첨단 패키징 총정리가 공급망의 다음 단계를 이어서 설명합니다. 학습·추론·에이전트가 메모리 수요를 어떻게 바꾸는지는 학습·추론·Agent가 바꾸는 메모리 수요에서 다룹니다.

체크포인트

  • 학습용 가속기와 추론용 가속기의 요구 조건을 구분하고 있는가
  • 칩 사양뿐 아니라 소프트웨어 스택, 컴파일러, 서빙 엔진까지 함께 보고 있는가
  • 자체칩과 외부 랙스케일 플랫폼이 대체가 아니라 병존하는 구조인지 이해했는가
  • 엔비디아의 확장 방식과 세레브라스의 웨이퍼 스케일 방식을 설계 철학의 차이로 설명할 수 있는가
  • 한국 NPU가 어느 워크로드에서 현실적인 강점을 가질 수 있는지 따져봤는가
  • NVIDIA 대체 가능성과 보완 가능성을 구분했는가

확인한 출처 / 근거

참고: 기업 발표와 보도에 포함된 성능·효율 수치는 독립 벤치마크가 아니라 각 회사가 제시한 목표 또는 자체 측정값이며, 실제 워크로드별 성능은 모델 크기·배치 크기·정밀도·소프트웨어 최적화에 따라 달라집니다.

NEXT READING

같은 주제와 태그를 공유하면서, 이 글의 판단 범위를 다음 단계로 넓혀 주는 해설입니다.

AI 인프라 학습·추론·에이전트·멀티모달: AI 사용량을 메모리 수요로 환산하는 방법 학습 가중치, 추론 KV 캐시, 에이전트 루프, 영상 생성까지 같은 계산 틀로 환산하고, 뉴스의 숫자만으로 특정 메모리 수요를 단정할 수 없는 이유를 설명합니다. AI 인프라 칩보다 AI 인프라가 중요해진 이유: 비용·전력·기가와트 데이터센터까지 AI 경쟁은 GPU와 HBM 확보만으로 끝나지 않습니다. 인프라 비용이 어디에 쓰이는지, 전력과 냉각이 왜 병목이 되는지, 기가와트급 데이터센터 프로젝트가 무엇을 바꾸는지 하나의 가이드로 정리합니다. AI 인프라 메타 클라우드, AI 에이전트 병목을 풀까 메타가 AI 연산 자원을 외부에 제공하는 클라우드 사업을 검토 중이다. AI 에이전트 시대의 추론 처리 용량 부족을 일부 완화할 수 있을지, GPU와 HBM 메모리 병목은 별개 문제로 남을 가능성을 기술 관점에서 분석한다.