Kimi K3와 메모리의 다음 수요
Kimi K3의 2.8조 파라미터를 정밀도별 원시 가중치 용량으로 환산하고, 64개 이상 가속기 권장 구성에서 실제 배포 판단에 필요한 수치를 구분합니다.
AI 모델 뉴스를 볼 때 우리는 보통 “성능이 얼마나 좋아졌나”부터 봅니다. 그런데 인프라 관점에서는 질문이 하나 더 필요합니다. 이 모델이 실제로 많이 쓰이면, 어떤 메모리가 더 필요해질까?
Moonshot AI가 공개한 Kimi K3는 그 질문을 다시 꺼내게 만드는 모델입니다. Kimi 공식 블로그에 따르면 Kimi K3는 2.8조 파라미터 규모의 오픈 3T급 모델이고, 네이티브 비전 기능과 100만 토큰 컨텍스트 윈도우를 갖췄습니다. Kimi.com, Kimi Work, Kimi Code, Kimi API에서 제공되며, 전체 모델 가중치는 2026년 7월 27일까지 공개될 예정이라고 설명했습니다.
겉으로는 “중국 AI 모델이 미국 모델을 얼마나 따라왔나”의 뉴스처럼 보입니다. CNBC는 Moonshot AI가 Kimi K3를 두고 OpenAI·Anthropic의 상위 모델과 격차를 좁혔다고 보도했습니다. 다만 Kimi 공식 설명에서도 전체 성능에서는 Claude Fable 5와 GPT 5.6 Sol 같은 최상위 비공개 모델에는 아직 뒤처진다고 밝히고 있습니다.
이 지점이 중요합니다. Kimi K3의 의미는 단순히 “최고 성능 모델 등장”이 아닙니다. 더 큰 의미는 대형 모델 경쟁이 지속되고 있고, 그 경쟁의 비용 구조가 메모리 쪽으로 더 선명하게 이동하고 있다는 점입니다.
왜 메모리 이슈인가
Kimi K3의 핵심 키워드는 세 가지입니다. 2.8조 파라미터, 100만 토큰 컨텍스트, 그리고 코딩·에이전트 작업입니다.
파라미터가 커지면 모델 가중치를 저장하고 불러오는 부담이 커집니다. 컨텍스트가 길어지면 추론 중간에 유지해야 하는 데이터, 즉 KV 캐시 부담이 커집니다. 코딩 에이전트처럼 긴 작업을 이어가는 모델은 챗봇보다 훨씬 더 많은 문맥을 유지해야 합니다.
이건 추측이 아닙니다. Kimi 개발사 자체가 공식 블로그에서 “Kimi K3는 64개 이상의 가속기를 묶은 supernode 구성에서 배포할 것을 권장한다”고 밝혔고, 학습 단계부터 MXFP4 가중치·MXFP8 활성화 양자화를 적용해 메모리 효율을 끌어올렸다고 설명합니다. 모델이 커질수록 대규모 메모리 계층과 고대역폭 통신망이 필수라는 점을 모델 개발사가 먼저 인정한 셈입니다.
2.8조 파라미터를 용량으로 환산하면
파라미터 수에 파라미터당 비트 수를 곱하면 원시 가중치의 이론적 하한을 계산할 수 있습니다. 2.8조×4비트÷8은 약 1.4조 바이트, 즉 1.4TB입니다.
| 가중치 정밀도 가정 | 원시 가중치 용량 | 64개에 균등 분할할 때 개당 하한 |
|---|---|---|
| 4비트 | 약 1.4TB | 약 21.9GB |
| 8비트 | 약 2.8TB | 약 43.8GB |
| 16비트 | 약 5.6TB | 약 87.5GB |
이 표는 저장해야 할 가중치만 계산합니다. 실제 실행에는 양자화 스케일과 메타데이터, 활성값, KV 캐시, 통신 버퍼, 라우터와 런타임 작업 공간이 더 필요합니다. MoE 모델은 토큰마다 일부 전문가만 활성화해 연산량을 줄일 수 있지만, 전체 전문가 가중치를 여러 가속기에 저장·분산해야 한다는 문제는 남습니다.
따라서 “64개 이상”은 정확한 서버 견적이 아니라 배포 규모의 하한을 읽는 단서입니다. 가속기당 메모리 용량, 노드 간 대역폭과 모델 병렬화 방식이 공개되지 않으면 실제 필요한 노드 수와 비용은 계산할 수 없습니다.
가중치를 여러 장치에 나누면 다음 병목은 장치 사이 통신입니다. 한 토큰을 처리할 때 필요한 전문가가 다른 가속기에 있다면 데이터가 노드 사이를 이동해야 합니다. 이 때문에 메모리 용량뿐 아니라 가속기 내부 대역폭과 supernode 인터커넥트가 함께 중요합니다.
100만 토큰 컨텍스트는 별도의 변수입니다. 모델 가중치가 같아도 사용자 수와 실제 컨텍스트 길이가 늘면 KV 캐시가 커집니다. 다만 Kimi K3의 레이어 수, KV 헤드 수와 캐시 정밀도가 모두 공개되지 않았으므로 “100만 토큰당 몇 GB”를 임의 계산하지 않았습니다.
자체 배포 전에 필요한 네 가지 수치
오픈 가중치라는 이유만으로 기업이 곧바로 자체 배포할 수 있는 것은 아닙니다. Kimi K3의 배포 가능성을 판단하려면 다음 값을 같은 조건으로 맞춰야 합니다.
| 판단 항목 | 필요한 값 | 빠지면 생기는 오류 |
|---|---|---|
| 메모리 수용량 | 가중치·KV 캐시·작업 공간의 합 | 가중치만 보고 장치 수를 과소 산정 |
| 통신 | 노드 내부·노드 간 대역폭과 지연 | MoE 전문가 통신 시간을 누락 |
| 처리량 | 입력 길이별 prefill·decode 속도 | 짧은 벤치마크를 장문 서비스에 적용 |
| 동시성 | 피크 요청 수와 캐시 정책 | 1인 테스트 결과를 운영 용량으로 오해 |
Kimi Delta Attention, Attention Residuals와 MoE는 효율을 높이기 위한 설계입니다. 하지만 효율 개선이 어떤 하드웨어에서 얼마만큼의 비용 절감으로 이어지는지는 공개 벤치마크의 조건을 확인해야 합니다. 특히 100만 토큰 최대치를 모든 요청이 사용한다고 가정하는 것도, 아무도 사용하지 않는다고 가정하는 것도 모두 잘못입니다.
이 계산으로 말할 수 있는 것과 없는 것
2.8조 파라미터를 4비트로만 저장해도 원시 가중치는 약 1.4TB입니다. 이 수치는 Kimi가 64개 이상 가속기 구성을 권장하는 이유를 이해하는 데 도움이 됩니다. 반면 이 계산만으로 Kimi K3의 토큰당 비용, 실제 HBM 탑재량, 동시 사용자 수 또는 특정 메모리 업체의 수혜를 알 수는 없습니다.
Kimi K3가 던지는 인프라 질문은 “AI가 메모리를 많이 쓴다”가 아닙니다. 1.4TB 이상의 가중치와 장문 캐시를 어느 장치에 어떻게 나누고, 전문가 사이의 데이터를 어느 속도로 교환할 것인가입니다. 이후 공개될 전체 가중치, 런타임 구성과 조건별 처리량이 나와야 실제 운영비 비교가 가능해집니다.
확인한 출처 / 근거
- Kimi 공식 블로그: Kimi K3 (Open Frontier Intelligence) — 파라미터, 컨텍스트, 양자화, supernode 권장 구성을 확인한 개발사 원문.
- CNBC — China’s Moonshot AI unveils Kimi K3 that rivals OpenAI, Anthropic — 공개 일정과 중국의 연산 제약에 관한 시장 평가를 교차 확인한 보도.
- MarkTechPost — Moonshot AI Releases Kimi K3
- Tom’s Hardware — China’s 2.8-trillion-parameter Kimi K3 benchmark coverage
- Reuters — China’s Moonshot unveils world’s largest open AI model