(출처: 문샷 AI)
마이크로소프트가 비용을 절감하기 위해 딥시크 V4 모델 도입을 검토하고 있다는 보도가 나간 후 이번에는 중국 문샷 AI의 키미 K3를 애저 클라우드 서비스를 통해 제공하고 코파일럿에도 젹용하는 일을 검토하고 있다는 보도가 나오고 있습니다.
현재 코파일럿 코워크(Copilot Cowork)는 코파일럿의 기업 관련 기능과 오픈AI 및 앤스로픽(Anthropic)의 고급 AI 모델을 결합하여 에이전트 기반 AI 워크플로우를 구축하고 있습니다. 하지만 여기에 컴퓨팅 리소스를 적게 잡아먹는 중국산 모델을 사용하면 비용을 절감하고 자체적으로 서비스가 가능해지는 것입니다.
사실 키미 K3의 추론 비용은 오픈 소스 모델치고는 결코 저렴하지 않습니다. 지능 지수(Intelligence Index) 작업당 평균 비용이 0.94달러 로 , GPT-5.6 Terra의 0.55달러, GPT-5.6 Sol의 1.04달러보다 높으며, 이는 최대 추론 기능을 활성화했을 때의 비용입니다. 게다가 키미 K3는 더 많은 추론을 수행하는 경향이 있어 추가 토큰을 소모합니다.
하지만 키미 K3는 KV 캐시 크기를 대폭 줄이고 토큰별 메모리 사용량을 최적화하기 위해 내장된 기능을 활용해 매우 효율적으로 실행됩니다. 이러한 최적화는 896개의 전문가를 다수의 GPU에 분산 배치한 덕분입니다. 마이크로소프트는 코파일럿을 키미 K3 모델로 전환함으로써 추론 비용을 최대 6억 달러까지 절감할 수 있을 것으로 추산하고 있습니다.
참고로 키미 K3는 MoE 모델을 사용하기 때문에 모델을 올리기 위해 메모리는 많이 사용하지만, 연산은 일부만 하는 방식으로 동일 하드웨어에서 더 많은 토큰을 생성할 수 있습니다.
이런 차이는 실제로 로컬에서 모델을 돌려보면 느낄 수 있습니다. 예를 들어 저는 주로 Gemma 4 26B A4B QAT 모델과 Qwen 3.6 35B A3B를 사용하는데 모델을 올리기 위해 필요한 메모리는 덴스 (Dense) 모델인 Gemma4 12B나 Qwen 3.6 27B보다 크지만, 연산 속도가 훨씬 빨라 결국 동일 하드웨어로 훨씬 많은 토큰을 생성합니다.
키미 K3 역시 이런 방식으로 모델을 올리는데 여러 개의 AI GPU가 필요하지만 토큰 생성 속도로 보면 오히려 비용을 절감할 수 있습니다. 좀 더 구체적인 기전에 대해 제미나이로 요약 정리했습니다.
실제로 MoE(Mixture of Experts) 모델은 전체 매개변수가 수백억~수조 개에 달하기 때문에, 전체 모델 가중치(Weights)를 탑재하려면 엄청난 양의 GPU VRAM(메모리)과 여러 대의 GPU 서버 클러스터가 필요합니다. 그럼에도 불구하고 기업이나 서비스 제공자 입장에서 비용 절감(토큰당 추론 비용 절감)이 가능한 이유는 '메모리 용량'과 '토큰 처리 연산량(FLOPs)'의 작동 방식 차이 때문입니다.
이를 이해하기 위한 핵심 원리는 다음과 같습니다.
1. MoE의 핵심: "메모리는 많이 잡지만, 연산은 극히 일부분만 한다"
희소 활성화(Sparse Activation) 구조: MoE는 문장(토큰) 하나를 처리할 때 수백~수천 개의 전문가(Expert) 레이어 중 매우 일부(예: Kimi K3의 경우 896개 중 16개)만 골라서 활성화시킵니다.
추론 계산 비용(FLOPs)의 절감: 비록 2.8조 개(2.8T)의 매개변수가 VRAM에 올라가 있더라도, 토큰 하나를 연산할 때 사용되는 '실제 활성 파라미터(Active Parameters)'는 약 500억 개(50B) 수준에 불과합니다.
연산 전력 및 시간 절감: GPU를 가동할 때 전기료와 시간이 많이 드는 핵심 원인은 GPU 코어(Tensor Core)가 수행하는 '연산량(FLOPs)'입니다. 활성 파라미터가 적기 때문에 동일한 성능을 내는 단일 대형 모델(Dense Model) 대비 토큰 당 전력 소모와 GPU 연산 시간이 크게 줄어듭니다.
2. High Batch Size(대규모 동시 처리)에서의 효율 극대화
마이크로소프트 Copilot처럼 매초 수만~수십만 명의 사용자가 동시에 요청을 보내는 대규모 서비스 환경에서는 MoE가 빛을 발합니다.
GPU 여러 대에 전체 모델을 올려두는 '초기 메모리 상주 비용(Fixed Cost)'은 비싸지만, 수많은 요청을 동시에 처리할 때(High Batching) GPU의 메모리 대역폭을 100%에 가깝게 활용할 수 있습니다.
결과적으로 "전체 GPU 1대당 처리할 수 있는 초당 토큰 수(Throughput)"가 Dense 모델 대비 수 배 이상 높아지므로, 토큰 1개를 생성하는 데 드는 단위당 단가(Marginal Cost)는 훨씬 저렴해집니다.
3. 양산형 양자화(Quantization) 및 FP4/FP8 인퍼런스
Kimi K3와 같은 최신 중국계 대형 MoE 모델들은 MXFP4(4비트 가중치) / MXFP8(8비트 활성화)과 같은 초고율 양자화 기법 기획 단계부터 설계됩니다.
가중치 용량을 1.4TB 수준으로 압축하여 메모리 대역폭 병목을 줄이고, GPU 간 데이터 전송(NVLink) 병목을 획기적으로 낮춤으로써 하드웨어 활용 효율을 극대화했습니다.
4. API 제공 단가 및 상용 모델 대비 가격 구조 (비즈니스적 요인)
OpenAI(GPT계열)나 Anthropic(Claude계열)의 독점 모델들은 높은 R&D 비용, 마진율, 미국 내 비싼 인프라 운영비 등이 반영되어 API 및 인퍼런스 단가가 높게 책정되어 있습니다.
반면, Kimi K3를 만든 문샷 AI(Moonshot AI)나 중국계 인프라는 상대적으로 저렴한 전력 및 운용 비용, 경쟁적인 API 단가 체계를 갖고 있습니다.
마이크로소프트 입장에서는 타사 독점 API 호출 비용(또는 자사 서빙 타사 모델 단가)을 지급하는 것보다, MoE의 고효율 토큰 처리 속도 + 오픈 웨이트/상대적으로 저렴한 Kimi K3 인프라를 채택하는 것이 고정비 대비 가변비를 대폭 낮추는 길이 됩니다.
💡 요약하자면
MoE는 "초기 하드웨어 장비(GPU 메모리) 구축 비용은 높지만, 가동할 때 들어가는 연산 전력과 시간(토큰당 처리 비용)이 압도적으로 저렴한 모델"입니다.
Copilot처럼 초대형 글로벌 트래픽을 다루는 서비스에서는 초기 GPU 배치 비용보다 '토큰 1개당 처리 단가'가 전체 비용의 90% 이상을 차지하므로, MoE 구조의 Kimi K3를 도입함으로써 수억 달러 규모의 비용 절감이 가능해집니다.
사실 현재 엄청난 투자가 이뤄지는 것과 대조적으로 정작 AI 서비스로 돈을 버는 기업은 별로 없는 상황입니다. 따라서 앞으로는 인프라 투자보다 결국 비용 절감이 중요한 이슈가 될 것으로 보이는데, 미국의 제재로 구할 수 있는 하드웨어가 제한적인 중국 모델이 오히려 이런 상황에서 더 힘을 발휘할 가능성이 높습니다. 상대적으로 낮은 성능의 하드웨어에서 돌아가게 만들었기 때문입니다.
이런 점을 생각하면 결국 저렴한 중국 모델은 키미 K3가 전부가 아니라 앞으로 계속될 것임을 알 수 있습니다. 막대한 투자 대비 수익이 적은 빅테크 입장에서는 상당히 매력적 대안인 셈입니다.
물론 이러한 움직임은 트럼프 행정부의 심기를 불편하게 할 가능성이 높습니다. 비록 지난 3개월 동안 두 번째 미국 AI 보안 책임자가 사임하면서, 미국의 전반적인 AI 전략은 현재 혼란에 빠져 있긴 하나 미국 빅테크들의 중국산 모델 적용이 늘어날수록 논란이 커질 것은 불을 보듯 뻔합니다.
애플의 CXMT, YMTC 메모리 도입에서 나오는 논란을 감안하면 마이크로소프트 역시 예외가 될 순 없습니다. 비용 절감이라는 장점에도 불구하고 실제 채택이 가능할지 의구심이 드는 대목입니다. 과연 진짜 도입할 수 있을지 궁금합니다.
(AI 정리 추가: Kimi K3는 앤스로픽 클라우드의 증류 모델인지?
핵심을 요약하자면 "앤스로픽 등 미국 AI 기업들은 Kimi K3를 자사 모델(Claude)의 데이터 추출/증류 공격을 받아 만들어진 모델이라고 주장하고 있지만, Kimi K3 자체는 단순한 소형 증류 모델이 아닌 2.8조(2.8T) 파라미터급 초대형 자율 모델"로 보는 것이 정확합니다.
이와 관련하여 논란이 되는 주요 지점들은 다음과 같습니다.
1. 앤스로픽(Anthropic)의 공식 주장: "무단 증류(Distillation) 공격"
앤스로픽은 문샷 AI(Moonshot AI)를 비롯한 일부 중국계 AI 스타트업들이 Claude 모델의 API를 대량으로 호출하여 데이터 및 응답(Thought/Reasoning 패턴 포함)을 무단 추출하는 '증류 공격(Distillation Attack)'을 감행했다고 공식적으로 비판한 바 있습니다.
증류(Distillation)의 원리: Claude 같은 최상위 프론티어 모델에 수많은 질문을 던지고, 그 최고 품질의 답변 데이터를 모아 자사 모델의 사후 학습(Post-training / RLHF / SFT) 데이터셋으로 활용하는 방식입니다.
미국 AI 업계에서는 "앤스로픽이 수조 원을 들여 구축한 고성능 논리·코딩 응답 패턴을 짧은 시간과 적은 비용으로 복제해 간 불공정 행위"라고 주장합니다.
2. Kimi K3를 "단순 증류 모델"로만 부르기 어려운 이유
일반적으로 '증류 모델(Distilled Model)'이라고 하면, 대형 스승 모델(Teacher)의 지식을 압축하여 만든 '소형(Small) 모델'을 뜻합니다. 하지만 Kimi K3는 구조상 단순 압축 모델이 아닙니다.
2.8조(2.8T) 파라미터의 거대 규모: Kimi K3는 총 파라미터 수만 2.8조 개에 달하는 세계 최대 수준의 오픈 웨이트(Open-weight) 모델 중 하나입니다. 이는 Claude의 최신 모델(Claude Opus 등)의 추정 규모보다 비슷하거나 오히려 더 큰 수준입니다.
자체적인 MoE 아키텍처 및 기술 혁신: Kimi K3는 896개의 전문가 중 16개만 활성화하는 MoE 구조, Kimi Delta Attention, 100만 토큰 컨텍스트 등 Moonshot AI 고유의 하드웨어/자연어 처리 알고리즘 설계가 적용되어 있습니다.
데이터 학습의 보조적 활용: 설령 Claude의 데이터를 활용(증류)했더라도, 이는 모델의 기초 지능을 새로 만든 것이 아니라 코딩, 에이전트, 추론 능력을 고도화하기 위한 '사후 학습(Post-training) 데이터'로 활용되었을 가능성이 큽니다.
3. 시장에서의 반응 및 구도
클로드(Claude)와의 유사성: 실제 사용자들과 AI 벤치마크 평가단 사이에서는 Kimi K3의 텍스트 스타일, 코드 생성 논리, 문제 해결 절차가 Claude(특히 Claude Fable 5나 Opus 계열)와 놀라울 정도로 유사하다는 평이 많습니다.
중국 측 및 Moonshot의 입장: 데이터 정제 기술과 자체 아키텍처 효율화(Scaling Law)를 통해 이뤄낸 기술적 성과라는 입장이며, 단순 복제가 아닌 독자적인 프론티어급 AI 개발임을 강조하고 있습니다.
💡 결론
"Kimi K3가 Claude의 증류 모델인가?"라는 질문에 대한 답은 "Claude의 출력 데이터를 사후 학습(Distillation/RL)에 깊게 활용했다는 의혹과 정황은 강하게 존재하지만, Kimi K3의 거대한 규모(2.8T)와 MoE 아키텍처 자체는 Moonshot AI가 자체 개발한 초대형 프론티어 모델"이라고 이해하시는 것이 가장 accurate합니다.
참고
댓글
댓글 쓰기