QSike Tech Notes

OpenAI의 Jalapeño에서 한국 NPU까지: 추론 칩 경쟁은 어디로 가나

NVIDIA가 AI 반도체의 중심이지만, 추론 비용이 핵심 경쟁 요소가 되면서 시장이 분화하고 있습니다. OpenAI·Broadcom의 Jalapeño부터 Google TPU, AWS Inferentia, 그리고 한국의 Rebellions, FuriosaAI까지 추론 칩 경쟁의 구조를 정리합니다.

여러 종류의 추론 가속기와 데이터센터·엣지 장치로 분기되는 AI 인프라 일러스트레이션

이 글은 AI 추론 칩과 데이터센터 인프라 구조를 이해하기 위한 QSike Tech Notes 기술 해설입니다. 특정 기업이나 제품의 성능을 보증하지 않으며, 공개 발표와 보도 기준 정보는 실제 도입 환경과 측정 조건에 따라 달라질 수 있습니다.

AI 반도체 경쟁을 이야기할 때 가장 먼저 떠오르는 이름은 여전히 NVIDIA다. CUDA 생태계, HBM을 얹은 고성능 GPU, NVLink와 InfiniBand를 포함한 네트워킹, 그리고 학습부터 추론까지 이어지는 소프트웨어 스택까지 고려하면 NVIDIA의 지위는 단순한 칩 회사 이상이다. 오늘날 대규모 AI 데이터센터의 기본 단위는 사실상 NVIDIA 플랫폼이라고 해도 과장이 아니다.

그런데 최근 AI 인프라 경쟁의 초점이 조금씩 바뀌고 있다. 더 큰 모델을 학습하는 경쟁만큼이나, 이미 배포된 모델을 매일 수억 번 호출하는 추론 비용이 중요해지고 있기 때문이다.

OpenAI와 Broadcom이 2026년 6월 24일 공식 발표한 자체 추론 칩 Jalapeño는 이 흐름을 잘 보여준다. 이것은 단순히 “OpenAI도 칩을 만든다”는 뉴스가 아니다. AI 서비스의 병목이 학습용 GPU 확보에서, 실제 사용자 요청을 처리하는 토큰당 비용·전력·지연시간으로 내려오고 있다는 신호다.

지난 글에서 다룬 DeepSeek의 DSpark가 소프트웨어와 서빙 엔진으로 추론을 빠르게 만드는 접근이었다면, OpenAI·Broadcom의 추론 칩은 같은 문제를 하드웨어 레벨에서 풀려는 시도다. 결국 질문은 하나로 모인다.

앞으로 AI 인프라 경쟁은 NVIDIA GPU 하나로 설명될 수 있을까?

답은 “아직 NVIDIA가 중심이지만, 추론 시장은 점점 더 쪼개질 가능성이 크다”에 가깝다.

왜 지금 추론 칩인가

AI 모델 개발 초기에는 학습이 가장 큰 병목처럼 보였다. 수조 개 토큰으로 모델을 학습하고, 수만 장의 GPU를 동원하고, 학습 한 번에 수천억 원이 들어간다는 이야기가 시장의 관심을 끌었다.

하지만 ChatGPT, Copilot, Gemini, Claude 같은 서비스가 일상이 되면서 비용 구조는 달라진다. 학습은 크고 비싼 이벤트지만, 추론은 사용자가 질문할 때마다 반복된다.

  • 사용자가 늘어날수록 추론 요청이 늘어난다.
  • context length가 길어질수록 KV cache와 메모리 비용이 커진다.
  • agent workflow가 늘어날수록 한 번의 사용자 요청 안에서 여러 번의 모델 호출이 발생한다.
  • 멀티모달 입력과 실시간 응답 요구는 latency와 전력 예산을 더 빡빡하게 만든다.

즉 AI 서비스가 커질수록 “모델을 한 번 학습하는 비용”보다 “매일 모델을 호출하는 비용”이 더 구조적인 문제가 된다.

이때 범용 GPU는 여전히 강력하다. 하지만 모든 추론 workload에 대해 항상 가장 싼 답은 아닐 수 있다. 충분히 반복적이고 규모가 큰 workload라면, 특정 모델·특정 연산 패턴·특정 서비스에 맞춘 전용 칩이 경제성을 가질 수 있다.

추론 칩 경쟁은 바로 이 지점에서 시작된다.

사용자 요청이 데이터센터와 특화 가속기, 메모리 모듈을 거쳐 토큰 스트림으로 처리되는 추론 비용 구조 일러스트레이션 추론 경쟁의 핵심은 최고 연산 성능만이 아니라, 반복 호출되는 토큰을 얼마나 낮은 비용·전력·지연시간으로 처리하느냐에 있다.

NVIDIA는 여전히 중심이다

먼저 분명히 해야 할 점이 있다. NVIDIA가 당장 밀려난다는 이야기는 아니다.

NVIDIA의 강점은 칩 하나가 아니라 시스템 전체다.

  • CUDA와 cuDNN, TensorRT, Triton Inference Server 등 소프트웨어 생태계
  • H100, H200, B200/GB200 등 고성능 GPU 라인업
  • HBM 기반 고대역폭 메모리 구조
  • NVLink, NVSwitch, InfiniBand/Ethernet 네트워킹
  • DGX, HGX, Grace Blackwell 같은 시스템 레퍼런스
  • 개발자·프레임워크·운영 경험의 누적

AI 반도체에서 진짜 어려운 것은 칩을 만드는 것만이 아니다. 모델이 돌아가야 하고, 컴파일러가 최적화해야 하며, 런타임이 안정적이어야 하고, 클러스터 스케줄러와 서빙 엔진이 붙어야 한다. 고객은 논문상 TOPS보다 “내 모델이 실제로 얼마나 안정적으로, 싸게, 빠르게 도는가”를 본다.

그래서 NVIDIA 밖의 추론 칩은 NVIDIA를 정면으로 한 번에 대체한다기보다, 특정 workload와 특정 고객 환경에서 비용·전력·지연시간을 줄이는 보완재로 출발하는 경우가 많다.

NVIDIA 밖의 추론 칩 지도

추론 칩 시장은 크게 세 부류로 나눠볼 수 있다.

첫째, hyperscaler가 자체 서비스와 클라우드 비용을 줄이기 위해 만드는 자체 칩.
둘째, LLM 추론이나 특정 AI workload에 특화한 독립 AI 칩 업체.
셋째, 국가·지역별 AI 인프라 자립을 겨냥한 로컬 AI 반도체다.

Google TPU: 가장 오래된 자체 AI 가속기 축

Google TPU는 NVIDIA 밖 AI 가속기의 대표 사례다. TPU는 학습과 추론 모두에 쓰이지만, Google 검색, YouTube, 광고, Gemini, Google Cloud를 모두 고려하면 내부 workload와 클라우드 고객을 동시에 겨냥한 플랫폼이다.

Google의 강점은 칩만이 아니다. TensorFlow, XLA, JAX, TPU Pod, Google Cloud까지 이어지는 자체 생태계를 갖고 있다. 이는 NVIDIA CUDA 생태계를 외부에서 정면 대체한다기보다, Google 내부와 Google Cloud라는 통제된 환경에서 최적화를 쌓는 방식이다.

AWS Inferentia: 클라우드 추론 비용을 낮추는 칩

AWS는 Trainium과 Inferentia를 분리해서 가져간다. Trainium은 학습, Inferentia는 이름 그대로 추론에 초점을 둔다.

AWS 입장에서 추론 칩은 클라우드 상품이다. 고객이 EC2에서 모델을 돌릴 때, NVIDIA GPU보다 낮은 비용으로 충분한 성능을 제공할 수 있다면 AWS의 클라우드 경쟁력이 된다. 특히 이미 AWS에 데이터를 두고 있는 고객에게는 “모델을 어디서 서빙할 것인가”가 곧 클라우드 비용 문제다.

Inferentia의 핵심은 NVIDIA를 모든 영역에서 이기는 것이 아니라, AWS 안에서 반복적으로 발생하는 대규모 추론 workload를 더 싸게 처리하는 데 있다.

Microsoft Maia: Azure와 Copilot을 위한 자체 가속기

Microsoft도 Maia라는 자체 AI 가속기를 개발해 왔다. Microsoft에게 AI 추론 비용은 Azure, Copilot, GitHub Copilot, Office, Windows, 그리고 OpenAI·Anthropic과의 협력까지 모두 연결되는 문제다.

Microsoft가 자체 칩을 갖는다는 것은 단순히 반도체 사업에 진출한다는 뜻이 아니다. Azure 위에서 돌아가는 AI 서비스의 원가 구조를 통제하려는 시도다. OpenAI와의 관계를 생각하면, Microsoft가 NVIDIA GPU만으로 모든 수요를 처리하는 구조에서 벗어나려는 동기는 충분하다.

최근 보도에서는 Microsoft가 Anthropic에 Maia 칩 공급을 검토한다는 내용도 나왔다. 이것이 현실화된다면 hyperscaler 자체 칩이 내부용을 넘어 외부 AI 모델 회사의 인프라 선택지로 확장되는 신호가 될 수 있다.

Meta MTIA: 광고·추천·생성형 AI를 위한 내부 최적화

Meta의 MTIA는 외부 클라우드 판매보다 내부 workload 최적화 성격이 강하다. Meta는 Facebook, Instagram, WhatsApp, Threads를 통해 추천, 광고, 피드 랭킹, 콘텐츠 이해, 생성형 AI 기능을 대규모로 운영한다.

이런 회사에게 추론 칩은 “판매할 반도체”라기보다 “서비스 원가를 낮추는 내부 인프라”에 가깝다. Meta가 매일 처리하는 추천·광고·AI 요청의 규모를 고려하면, 작은 전력 효율 개선도 전체 비용에는 큰 차이를 만들 수 있다.

OpenAI·Broadcom Jalapeño: 모델 회사가 직접 칩을 맞추는 시대

OpenAI와 Broadcom은 2026년 6월 24일 자체 추론 칩 Jalapeño를 공식 발표했다. OpenAI는 클라우드 사업자가 아니라 모델과 서비스를 운영하는 회사다. 그런 회사가 자체 추론 칩을 공개했다는 것은, 추론 비용이 모델 회사의 핵심 경쟁력이 되었다는 뜻이다.

Tom’s Hardware 보도에 따르면, Jalapeño는 reticle limit 규격의 대형 ASIC로 설계되었으며 약 9개월의 개발 사이클을 거쳤다. OpenAI 입장에서 중요한 것은 범용 GPU benchmark가 아니라 자사 모델과 자사 inference system에서의 실제 비용이다. 특정 모델 구조, decoding 패턴, batch 처리 방식, serving scheduler에 맞춰 칩을 설계하면, 범용 GPU 대비 비용 우위를 만들 여지가 생긴다.

물론 이 접근은 쉽지 않다. 칩 설계, 제조, 수율, 패키징, 컴파일러, 런타임, 데이터센터 통합까지 모두 필요하다. 그래서 Broadcom 같은 ASIC 파트너가 중요하다. Broadcom은 hyperscaler용 커스텀 ASIC과 네트워킹에서 강점을 가진 회사다.

Jalapeño의 의미는 “NVIDIA의 끝”이 아니라, 대형 AI 서비스 기업이 자신만의 추론 workload에 맞춘 실리콘을 원하고 실제로 만들어 내놓기 시작했다는 데 있다.

Groq LPU: 저지연 LLM 추론에 집중

Groq는 LPU, Language Processing Unit을 전면에 내세운다. 메시지는 명확하다. LLM 추론을 빠르고 저렴하게 하겠다는 것이다.

Groq의 강점은 낮은 latency와 빠른 토큰 생성 경험이다. 실시간 질의응답, 음성 에이전트, interactive coding assistant처럼 응답 지연이 사용자 경험에 직접 영향을 주는 영역에서는 latency가 매우 중요하다.

다만 Groq 역시 NVIDIA 전체 생태계를 대체한다기보다, 특정 추론 workload에서 강점을 가지는 대안으로 보는 편이 맞다.

Cerebras: wafer-scale 접근

Cerebras는 wafer-scale chip으로 유명하다. 일반적인 칩 여러 개를 묶는 대신, 웨이퍼 규모의 거대한 칩에 연산과 메모리를 집적하는 접근이다.

이 방식은 기존 GPU 클러스터와 완전히 다른 철학을 가진다. 대형 모델 학습과 추론 모두를 겨냥하지만, 특히 on-chip memory와 대역폭을 강조한다. 다만 데이터센터 표준 생태계와 얼마나 잘 결합되는지, 비용과 공급 측면에서 얼마나 확장 가능한지가 관건이다.

SambaNova, Tenstorrent, Qualcomm

SambaNova는 RDU, Reconfigurable Dataflow Unit을 내세우며 엔터프라이즈 AI와 특정 모델 최적화에 초점을 맞춰 왔다. Tenstorrent는 AI 가속기와 RISC-V 기반 접근을 결합하면서 GPU 독점 구조 밖의 대안으로 거론된다. Qualcomm은 모바일·엣지 AI의 강자지만, 전력 효율과 메모리 대역폭 효율을 앞세워 데이터센터 추론 쪽 메시지도 강화하고 있다.

이들의 공통점은 NVIDIA와 같은 범용 GPU 플랫폼이 아니라, 각자 다른 방식으로 AI workload의 일부를 더 효율적으로 처리하려 한다는 점이다.

Huawei Ascend와 중국 AI 가속기

중국에서는 Huawei Ascend가 NVIDIA 대체재로 가장 중요하다. 미국의 AI 반도체 수출 규제가 강화되면서, 중국 AI 인프라는 자국산 가속기와 소프트웨어 생태계 구축을 더 강하게 밀고 있다.

Cambricon, Biren 같은 업체들도 있지만, 글로벌 시장에서의 경쟁이라기보다 중국 내 정책·수요·규제 환경과 강하게 묶여 있다. 이 축은 기술 경쟁이면서 동시에 공급망·지정학 경쟁이다.

한국의 추론 칩은 어디에 있나

한국 지도를 중심으로 메모리, 패키징, 데이터센터, 공공·기업 서버, 제조 엣지 장치가 연결된 NPU 생태계 일러스트레이션 한국 NPU의 현실적인 기회는 단일 칩 성능보다 메모리·패키징·데이터센터·고객 적용 레퍼런스를 함께 묶는 시스템 역량에서 나온다.

한국은 NVIDIA를 정면으로 대체할 범용 GPU 플랫폼을 만드는 쪽보다는, NPU·저전력 추론·특정 산업 적용에서 기회를 찾고 있다. 한국의 강점은 메모리와 제조 생태계이고, 약점은 CUDA 같은 범용 소프트웨어 플랫폼과 초대형 클라우드 고객 기반이다.

따라서 한국 AI 반도체를 볼 때는 “NVIDIA를 이길 수 있나”보다 “어떤 추론 workload에서 실사용 레퍼런스를 만들 수 있나”를 봐야 한다.

Rebellions와 Sapeon: 데이터센터 NPU 축

Rebellions는 한국 AI 반도체에서 가장 중요한 이름 중 하나다. 데이터센터 추론용 NPU를 지향하며 ATOM, REBEL 계열로 알려져 있다. 최근 보도에서는 SK텔레콤, Arm과 함께 AI inference data center 인프라를 개발하는 협력도 언급됐다. 금융권 AI 인프라 적용 사례도 나오고 있다.

Sapeon은 SK 계열 AI 반도체 프로젝트로 출발했다. X220 등 추론용 AI 반도체를 내세웠고, 이후 Rebellions와의 통합 흐름 속에서 한국 데이터센터 NPU 진영의 규모를 키우는 방향으로 재편됐다.

이 흐름은 중요하다. AI 반도체는 칩 하나만으로 승부하기 어렵다. 고객, 자본, 소프트웨어, 데이터센터 적용 경험이 필요하다. CNBC 보도 기준으로 Rebellions는 Samsung을 제조·공급망 파트너로 확보했고, 약 4억 달러 규모의 투자를 유치하며 규모를 키우고 있다. Rebellions와 Sapeon의 결합은 한국 NPU 진영이 단편적인 칩 개발을 넘어 실제 인프라 적용으로 가기 위한 규모 확보 시도로 볼 수 있다.

FuriosaAI: NPU inference platform의 또 다른 축

FuriosaAI도 한국 AI 반도체에서 빼놓을 수 없다. Warboy, RNGD(Renegade) 계열로 알려져 있으며, NPU 기반 inference platform을 지향한다. RNGD는 이미 양산 단계에 진입한 것으로 보도되었다.

최근에는 LG CNS와 공공 AX용 NPU 서비스 협력, Broadcom과 차세대 AI inference platform 개발 협력 보도가 있었다. 특히 Broadcom과의 협력은 단순한 스타트업 칩 개발을 넘어 글로벌 반도체 인프라 기업과의 연결 가능성을 보여준다는 점에서 의미가 있다. The Register와 TrendForce 보도에 따르면, Broadcom과의 협력 칩은 TSMC 2nm 공정 기반으로 추정되며 2028년 상반기 샘플링이 예상된다.

FuriosaAI에서 기술적으로 확인할 질문은 “국산 NPU가 실제 엔터프라이즈·공공 AI 서비스에 얼마나 들어갈 수 있는가”다.

HyperAccel: 한국형 LPU 접근

HyperAccel은 LPU를 내세우며 LLM 추론 비용 절감을 강조하는 회사다. Groq가 글로벌 시장에서 LPU를 강조한다면, HyperAccel은 한국에서 LLM inference cost를 낮추려는 접근으로 볼 수 있다.

LLM 서비스가 늘어날수록 기업들은 “GPU를 몇 장 살 것인가”뿐 아니라 “이 서비스를 월 얼마에 운영할 수 있는가”를 묻게 된다. HyperAccel 같은 회사의 기회는 바로 이 지점에 있다. 범용 GPU보다 특정 LLM 추론 workload에서 비용 효율을 보여줄 수 있다면, 국내 AI 서비스와 엔터프라이즈 시장에서 역할을 만들 수 있다.

Mobilint와 DEEPX: 엣지 AI NPU

Mobilint와 DEEPX는 데이터센터 LLM 추론보다는 엣지 AI NPU 쪽에 가깝게 봐야 한다.

이 영역의 workload는 ChatGPT류 대형 LLM과 다르다.

  • 카메라 영상 분석
  • 로봇과 드론
  • 제조 장비의 이상 감지
  • 스마트팩토리
  • 자동차·산업용 엣지 디바이스
  • 온디바이스 AI

엣지 AI는 데이터센터와 다른 제약을 가진다. 전력, 발열, 가격, 실시간성, 오프라인 동작이 중요하다. 따라서 Mobilint와 DEEPX를 OpenAI Jalapeño나 AWS Inferentia와 1:1로 비교하는 것은 적절하지 않다. 대신 “추론 칩 시장이 데이터센터와 엣지로 나뉘고 있다”는 맥락에서 봐야 한다.

한국의 기회: HBM만이 전부는 아니다

한국의 AI 반도체 논의는 자주 HBM으로 수렴한다. 실제로 HBM은 중요하다. SK하이닉스와 삼성전자는 AI 데이터센터 공급망에서 핵심 위치를 차지한다. 고성능 GPU와 AI 가속기는 HBM 없이는 성능을 내기 어렵다.

하지만 한국의 기회를 HBM만으로 보면 부족하다. AI 인프라는 점점 더 시스템 경쟁이 되고 있다.

  • HBM과 고급 패키징
  • 데이터센터 전력 공급과 냉각
  • 전력반도체
  • 네트워크 스위치와 광 interconnect
  • 추론용 NPU와 ASIC
  • 컴파일러와 런타임
  • 모델 서빙 엔진
  • 산업별 AI 적용 레퍼런스

한국 기업들이 잡아야 할 지점은 “NVIDIA를 대체할 하나의 칩”이 아니라, 이 가치사슬 안에서 특정 영역의 강한 조합을 만드는 것이다.

예를 들어 금융권, 통신사, 공공, 제조 현장처럼 한국 기업이 실제 고객과 가까운 영역에서는 국산 NPU가 실사용 레퍼런스를 만들 수 있다. 삼성전자·SK하이닉스의 메모리·패키징 역량, 통신사의 데이터센터 운영 경험, SI 기업의 엔터프라이즈 고객 접점을 결합하면 단순 칩 판매보다 현실적인 전략이 된다.

한국의 한계: 칩보다 생태계가 어렵다

반대로 한계도 분명하다.

첫째, 소프트웨어 생태계다. NVIDIA의 진짜 해자는 CUDA다. 개발자가 이미 쓰고 있는 프레임워크와 라이브러리가 있고, 문제가 생겼을 때 해결할 수 있는 레퍼런스가 많다. 새로운 NPU가 아무리 전력 효율이 좋아도, 모델 포팅과 운영이 어렵다면 고객은 쉽게 옮기지 않는다.

둘째, 대규모 anchor customer의 부족이다. Google, AWS, Microsoft, Meta, OpenAI는 자기 내부에 막대한 AI workload가 있다. 그래서 자체 칩을 만들어도 시험하고 개선할 실전 무대가 있다. 한국 AI 반도체 기업은 이런 초대형 내부 수요를 갖기 어렵다. 따라서 통신사, 금융, 공공, 제조 등과의 레퍼런스 확보가 더 중요하다.

셋째, 시스템 통합이다. AI 칩은 단품이 아니라 서버, 냉각, 네트워크, 스토리지, 컴파일러, 런타임, 모니터링, 서빙 API까지 함께 가야 한다. 고객은 칩을 사는 것이 아니라 “AI 서비스를 안정적으로 운영할 수 있는 인프라”를 산다.

넷째, 시장 포지셔닝이다. 모든 모델을 다 돌리는 범용 GPU가 되려 하면 NVIDIA와 정면 충돌한다. 한국 업체들은 오히려 특정 workload, 특정 산업, 특정 비용 구조에서 이기는 전략이 현실적이다.

추론 칩 경쟁의 본질은 토큰당 비용이다

AI 반도체 경쟁은 점점 “최고 성능”보다 “토큰당 비용”으로 이동하고 있다.

사용자 입장에서는 모델이 빠르게 응답하면 된다. 기업 입장에서는 같은 품질의 답변을 더 낮은 비용과 전력으로 제공해야 한다. 데이터센터 입장에서는 제한된 전력과 공간 안에서 더 많은 요청을 처리해야 한다.

이 관점에서 보면 DSpark, Jalapeño, Inferentia, Groq LPU, Rebellions NPU는 서로 다른 층위의 같은 문제를 풀고 있다.

  • DSpark는 소프트웨어적으로 불필요한 target model 호출을 줄이려 한다.
  • Jalapeño는 OpenAI의 추론 workload에 맞춘 전용 실리콘으로 공식 발표됐다.
  • Inferentia는 AWS 클라우드 안에서 추론 단가를 낮추려 한다.
  • Groq와 HyperAccel은 LLM 추론 latency와 비용을 줄이려 한다.
  • Rebellions와 FuriosaAI는 한국형 데이터센터·엔터프라이즈 AI 인프라에 들어갈 NPU를 만들려 한다.
  • Mobilint와 DEEPX는 엣지 디바이스에서 저전력 추론을 노린다.

겉으로는 모두 “AI 칩”이지만, 실제로는 각자 다른 병목을 겨냥한다.

결론: NVIDIA 대체가 아니라 추론 시장의 분화

오늘의 AI 반도체 시장을 “NVIDIA냐 아니냐”로만 보면 흐름을 놓치기 쉽다. NVIDIA는 여전히 중심이고, 특히 대규모 학습과 범용 AI 인프라에서는 압도적인 생태계를 갖고 있다.

하지만 추론 시장은 더 복잡하다. 대규모 클라우드 추론, 초저지연 LLM 추론, 기업 내부 전용 모델 추론, 공공·금융 AI 서비스, 제조 현장 엣지 AI는 모두 요구사항이 다르다.

그래서 앞으로의 경쟁은 NVIDIA를 한 번에 대체하는 싸움이 아니라, 추론 workload가 쪼개지면서 각 영역에 맞는 칩과 시스템이 등장하는 방향에 가까울 것이다.

한국의 추론 칩도 이 틈에서 기회를 찾을 수 있다. 단, 칩 하나만으로는 부족하다. 모델, 컴파일러, 런타임, 서버, 데이터센터, 고객 workload까지 묶어야 한다.

AI 인프라 경쟁의 다음 장은 더 큰 GPU만의 이야기가 아니다. 더 싼 토큰, 더 낮은 전력, 더 짧은 지연시간을 만들기 위한 추론 시스템 전체의 경쟁이다.

그리고 그 경쟁에서는 소프트웨어 최적화와 하드웨어 최적화가 따로 가지 않는다. DSpark 같은 추론 엔진과 Jalapeño 같은 추론 칩은 결국 같은 방향을 가리킨다.

AI 모델 경쟁의 다음 질문은 “누가 더 똑똑한 모델을 만들었는가”가 아니라, “누가 그 똑똑함을 더 싸고 빠르게 제공할 수 있는가”다.

다음에 읽을 글

추론 칩 경쟁을 이해했다면, 칩 성능이 실제 서비스 속도로 이어지기 위해 필요한 서빙 엔진도 함께 봐야 합니다. DeepSeek의 DSpark: 모델을 바꾸지 않고 추론 속도를 끌어올리는 법은 speculative decoding과 스케줄링이 추론 비용을 줄이는 방식을 설명합니다.

체크포인트

  • 학습용 가속기와 추론용 가속기의 요구 조건을 구분하고 있는가
  • 칩 사양뿐 아니라 소프트웨어 스택, 컴파일러, 서빙 엔진까지 함께 보고 있는가
  • 한국 NPU가 어느 워크로드에서 현실적인 강점을 가질 수 있는지 따져봤는가
  • NVIDIA 대체 가능성과 보완 가능성을 구분했는가

확인한 출처 / 근거

기업 발표에 포함된 성능·효율 수치는 독립 벤치마크가 아니라 각 회사가 제시한 목표 또는 자체 측정값입니다.