중국 AI Kimi K3가 AI 프로세서를 자체 설계하다.

 (출처: 문샷 AI)

​

중국 문샷 AI가 ChatGPT 5.6 Sol 이나 Fable 5와 경쟁할 수 있는 고성능 모델인 Kimi K3를 공개했습니다. 코딩 및 복잡한 작업에서 Kimi K3는 고성능 프론티어 모델과 경쟁할 수 있는 성능을 보여주면서도 가격은 훨씬 저렴하게 책정되어 시장에 큰 반응을 불러 일으키고 있습니다.

​

Kimi K3에서 가장 눈에 띄는 특징은 총 2.8조 개(2.8 Trillion)의 매개변수(파라미터)를 가진 초거대 Frontier AI 모델이라는 것입니다. 반올림하여 '3조급(3T-class)'으로 분류되며, 오픈 가중치(Open Weights) 모델 중에서는 세계 최초로 이 규모에 도달했습니다.

​

아키텍처 면에서는 'Stable LatentMoE' 프레임워크를 기반으로 하며, 총 896명의 전문가 중 토큰당 16개만 활성화하는 하이브리드 선형 메커니즘(Kimi Delta Attention 등)을 적용해 효율성을 전작 대비 2.5배 높였습니다.100만(1M) 토큰의 컨텍스트 윈도우와 네이티브 시각 이해(Multimodal) 능력을 제공합니다. 가격은 백만 토큰당 $3 / $15 (입력/출력)으로 기존의 중국산 모델에 비해 꽤 비싼 편이지만, 서구 모델과 비교해서는 훨씬 저렴해 충격을 주고 있습니다.

​

Kimi K3는 API 데뷔 후 불과 36시간 만에 글로벌 AI 성능 평가 플랫폼인 Arena.ai의 웹 개발(WebDev) 및 코딩(Code) 리더보드에서 1,679점을 기록하며, 미국 빅테크의 최신 모델(Anthropic Fable 5, OpenAI GPT-5.6 Sol 등)을 제치고 1위에 올랐습니다. 여기에 더 놀라운 일은 단순한 코드 생성을 넘어 공간 구성, 동적 조명 등이 가미된 맥OS 데스크톱 환경이나 문명 VI 스타일의 복잡한 대화형 웹 게임 디자인을 깔끔하게 프로덕션급으로 컴파일해 내어 개발자들을 놀라게 했습니다

​

가장 충격적인 대목은 설계 과정에서 사람의 개입 없이 48시간 만에 자체 아키텍처를 사용하여 실제 작동하는 칩을 설계했다는 대목입니다. 설계, 최적화, 검증, 타이밍 및 시뮬레이션을 모두 자체적으로 처리했습니다. 그 결과 생성된 칩(면적 4mm², Nangate 45nm 라이브러리, 오픈 소스 EDA 도구 사용)은 시뮬레이션에서 초당 8,700개 이상의 토큰 디코딩 처리량을 달성했습니다. AI가 AI칩을 스스로 설계한 최초 사례로 앞으로 AI가 만드는 AI가 점점 현실로 가까워지고 있음을 보여준 사례입니다.

​

또 Kimi K3는 GPU 컴파일러를 처음부터 직접 했으며 벤치마크 테스트에서 NVIDIA의 공식 Triton 컴파일러 일부 기능과 동등하거나 그 이상의 성능을 보이는 것으로 알려져 있습니다. 그리고 전문적인 편집 기술을 활용하여 자체적으로 영상 제작도 가능합니다. 심지어는 게임 제작도 스스로 할 수 있는데, 이미 유튜브에는 해당 기능을 활용한 결과물들이 올라오고 있습니다.

​

​

다만 Kimi K3는 2.8조 파라미터의 거대한 모델로 가장 효율적인 데이터 압축 방식(예: 4비트 양자화)을 적용해 용량을 줄이더라도, 최소 1.4TB(테라바이트) 이상의 VRAM이 필요합니다. 압축하지 않은 상태(FP16)라면 5.6TB 이상의 메모리가 필요합니다. 따라서 하나의 AI GPU에 올릴 수 없어 클러스터 된 노드가 필요합니다.

​

모델을 공개했다는 이야기는 메타(Meta)의 라마(Llama) 시리즈처럼 가중치를 공개함으로써, 자체적인 초대형 데이터 센터(인프라)를 보유한 빅테크 기업, 연구소, 대형 클라우드 기업들이 직접 서버에 배포 및 파인튜닝(미세조정)하여 맞춤형 서비스를 만들 수 있도록 생태계를 확장하려는 전략입니다. Kimi K3는 무로 플랜도 존재하기는 하나 일반 사용자가 모델을 직접 다운로드 해서 사용하기는 어려운 크기입니다.

​

여기서 흥미로운 대목은 현재 GPU 금수 조치에 있는 중국에서 이렇게 대량의 메모리가 필요한 MoE 모델을 어떻게 서비스하느냐는 것입니다. 앞서 소개한 것처럼 MoE 구조는 오히려 메모리 사용량을 더 늘리는 방식입니다.

​

이전 포스트: https://blog.naver.com/jjy0501/224335783399

​

그럼에도 불구하고 서비스에 들어갈 수 있다는 것은 이런 큰 모델을 돌릴 수 있는 인프라가 있다는 것인데, 과연 이 인프라를 어떻게 구축했는지가 궁금해지는 대목입니다. 문샷 AI는 알리바바에서 자금을 지원받고 있으며 알리바바의 클라우드 인프라를 통해 Kimi K3를 훈련한 것으로 알려져 있습니다. 구체적으로 어떤 GPU를 통해 서비스를 하고 있는지는 공개하지 않았지만, 중국 수출 버전인 H20과 밀수를 통해 수입한 AI GPU, 그리고 아마도 중국산 자체 GPU를 혼용해 서비스하는 것으로 추정됩니다.

​

아무튼 이제 중국산 AI가 훨씬 적은 투자 비용에도 미국 AI 시장을 뒤흔들면서 이 부분에서 경쟁이 더 심화될 것으로 예상됩니다.

​

​

참고

​

​

https://wccftech.com/kimi-k3-built-a-chip-in-48-hours-over-8700-tokens-s-as-china-delivers-2-8-trillion-ai-model/