기본 콘텐츠로 건너뛰기

문샷 AI 키미 K3.1 프로 공개

 



(출처: 문샷 AI)

​

​

문샷 AI(Moonshot AI, 중국어: 月之暗面)가 Kimi K3.1 Pro를 공개했습니다. 키미 K3 프로는 키미 K3 모델의 아키텍처 요소를 유지하면서 3D 합성, 고급 금융 모델링 및 에이전트 워크플로에 최적화된 대폭 확장된 학습 후 컴퓨팅 프레임워크를 통해 성능을 대폭 높였습니다.

​

키미 K3.1 프로는 키미 K3 프로와 마찬가지로 2조 8천억 개의 파라미터를 지니고 있으며 활성 매개변수는 토큰 당 1040억 개에 달합니다. 가격은 입력/출력/캐시 적중 토큰 100만 건당 각각 2달러/10달러/0.20달러이며, 이는 Kimi K3보다 세 가지 요금 모두 33% 저렴합니다. 오픈 웨이트는 11월 4일에 공개됩니다.

​

키미 K3 3.1 프로 모델은 기본적으로 두 가지 핵심 요소로 구성된 일련의 변환 블록으로 이루어져 있습니다.

​

- 어텐션 레이어(Attention Layer)는 문장 내 단어들이 서로 어떻게 연결되는지 살펴봅니다. 예를 들어, 모델에 "파리는 프랑스의 수도입니다"라는 프롬프트를 입력하면, 어텐션 레이어는 '수도'와 '프랑스'를 연결하여 '파리'를 정답으로 식별합니다. 하지만 이 레이어는 '프랑스'나 '파리'가 정확히 무엇을 의미하는지는 알지 못하며, 이러한 연결 정보를 지식 기반(KV) 캐시에 저장합니다. 문맥이 풍부해질수록 KV 캐시의 용량도 증가합니다.

​

- 피드포워드 네트워크(Feed-Forward Network, FFN)는 모델의 모든 정보를 가중치 형태로 저장하며, 이 계층에서 심층적인 수학 공식을 사용하여 각 단어에 담긴 의미를 추출합니다. 이는 일반적으로 활성화 또는 은닉 상태라고 불리며, 토큰이 여러 변환 계층을 거치면서 모델이 생성하는 내부적인 수학적 표현을 구성합니다. 예를 들어, 모델은 '프랑스'라는 단어를 접하면 프랑스 국가 백과사전을 활성화하여 해당 단어의 의도된 의미를 추출합니다.

​

기존의 2차 어텐션 방식에서는 KV 캐시가 주어진 컨텍스트에 따라 선형적으로 확장되는 것과 달리, Kimi K3.1 Pro는 하이브리드 선형 어텐션 메커니즘인 Kimi Delta Attention(KDA)을 채택하고 , 순환 상태와 하이브리드 인터리빙 상태를 3:1 비율로 사용합니다.

​

일반적으로 컨텍스트가 증가함에 따라 KV 캐시가 커져 모델의 전반적인 처리 속도가 느려집니다. 하지만 Kimi K3.1 Pro는 세 개의 어시스턴트(반복 상태)를 활용하는 방식을 채택하고 있으며, 각 어시스턴트는 정말 중요한 정보를 하나의 페이지에 지속적으로 요약하여 저장합니다. 아무리 내용이 길어지더라도, 오래되고 진부한 정보가 지워지기 때문에 요약 페이지의 크기는 늘어나지 않습니다. 이런 압축 기술을 통해 메모리를 절약하고 성능을 높이는 것입니다.

​

결론적으로 키미 K3.1 프로는 인공지능 분석 지수에서 GPT-6 Astra와 Claude Fable 5.1보다 우수한 성능을 보였습니다. 이 모델은 인공지능 분석 지수(AAI)에서 55점을 기록했는데, 이는 Anthropic의 Claude Fable 5.1과 OpenAI의 GPT-6이 얻은 53점보다 높은 점수이며, Claude Opus 5.5, Claude Sonnet 5.5, Meta의 Muse Wonder Full 바로 아래에 위치합니다. 또한 Code Arena에서는 Claude Opus 5와 동일한 8위를 기록했습니다 .

​

하지만 사실 더 중요한 대목은 더 이상 증류를 못하겠다고 막겠다면서 방어체계를 강화했다는 앤스로픽 대응이 거이 통하지 않았다는 것입니다. 이는 증류를 막지 못했다는 뜻이 아니라 그것만으로 중국 모델의 성장을 방해하긴 어렵다는 뜻입니다.

​

왜냐하면 기본적으로 2.8조개의 파라미터를 증류만으로 만들기는 쉽지 않기 때문입니다. 증류가 도움을 줄 수 있을지언정 증류만으로 모델을 만든 건 아니라서 증류가 막혔어도 개발을 막긴 어렵습니다. 여기에 전문가들도 중국 모델이 프런티어에 가까워질수록 증류의 상대적 영향력이 줄어들고 RL(강화학습) 중심으로 이동한다고 지적한 바 있습니다.

​

결국 중국 모델의 추격을 뿌리치기는 쉽지 않아진 상황인데, 어떻게 앞서갈 수 있을지 미국 프런티어 모델의 고민이 더 깊어질 것으로 생각됩니다.

​

​

참고

​

​

https://wccftech.com/kimi-k3-1-pro-is-now-the-strongest-model-out-of-china-cyber-data-stripped-from-its-training-but-that-barely-holds-its-potential-back/

​

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

중등도 코로나 19 환자에서 제한적인 효과만을 확인한 렘데시비르

   현재 렘데시비르는 인공 호흡기 치료가 필요한 환자 등 중증 코로나 19 환자의 치료제로 사용되고 있습니다. 다만 공급이 부족해서 갑자가 중증 코로나 19 환자가 늘어날 경우 수급 문제가 불거질 수밖에 없습니다. 따라서 이를 중등도 코로나 19 환자 (경증이나 무증상은 당연히 치료가 필요없거나 대증 요법 정도) 사용한다는 것은 지금 당장에 급한 연구는 아니지만, 나중에 수급량이 많아지고 가격이 낮아질 때를 생각하면 의미 있는 연구 결과입니다.   렘데시비르 제조사인 길리어드 사이언스의 다아애나 브레이너드 박사 ( Dr. Diana Brainard of Gilead Sciences )는 병원에 입원이 필요했던 중등도 코로나 19 환자 584명을 렘데시비르 5일, 10일 투여 실험군과 위약을 투여한 대조군으로 나눠 임상 경과, 사망 등 중요한 합병증 발생 등에서 차이를 보이는지 조사했습니다. 연구 대상자의 40% 이상은 당뇨 같은 만성 질환이 있었으며 평균 연령은 57세였습니다.   연구 결과 대조군의 2%, 5일 투여군의 2%, 10일 투여군의 1%가 사망했으나 사망자 수가 4명, 3명, 2명 정도로 통계적 차이를 판단하기에는 사망자 수가 적어 결론을 내리기 어려웠습니다. 연구팀은 5일 투여군에서 임상 경과가 다소 호전되는 것을 판단했으나 10일 투여군에서는 통계적 차이를 검증할 수 없었습니다. 결론적으로 말해 중등도 코로나 19 환자에서 렘데시비르 투여는 확실한 임상적 이득이 없었습니다.     5일 투여량만 해도 가격이 3120달러라는 점을 감안할 때 중등도 환자에서 렘데시비르 투여는 설령 공급이 원활하다고 해도 적절한 치료법이 아닌 것으로 판단됩니다. 더구나 지금처럼 공급이 불안해 중증 환자 투여 물량 확보가 아쉬운 상황에서는 말할 것도 없습니다.  이번 연구는 렘데시비르보다 효과가 뛰어나면서 저렴한 차세대 항바이러스 치료제의 필요성을 다시 보여준 것으로 생각됩니다....
댓글 쓰기
자세한 내용 보기

비타민 D - 우울증 예방 효과는 없다

   다른 비타민과 마찬가지로 비타민 D는 사람이 살아가는데 반드시 필요한 비타민입니다. 비타민 D가 부족한 경우 뼈에 심각한 문제가 생길 수 있습니다. 그런데 한 가지 더 흥미로운 사실은 여러 질병에서 비타민 D 부족이 관찰된다는 것입니다. 예를 들어 우울증의 경우에도 비타민 D 부족이 보고된 바 있습니다. 일부 연구자들은 햇빛을 받아 생성되는 비타민 D 부족이 계절성 우울증 장애 (seasonal affective disorder)의 원인일지 모른다고 생각해왔습니다.   하지만 하버드 의대와 메사추세스 종합 병원(MGH)의 연구팀은 비타민 D3 (cholecalciferol) 보충제를 사용한 대규모 임상 시험에서 비타민 D 복용이 우울증 예방에 특별한 효과가 없다는 사실을 확인했습니다. 이 연구는 종합 비타민제 혹은 단독으로 사용되는 비타민 D 보충제가 질병 예방에 효과가 있는지를 알아보기 위한 것으로 평균 67세의 건강한 성인 남녀 18,353명을 대상으로 진행되었습니다. 연구 참여자들은 두 그룹으로 나뉘어 콜레칼시페롤 (비타민 D3) 2000 IU 혹은 위약을 받아 5년간 복용했습니다. 우울증의 정도는 8-item Patient Health Questionnaire depression scale [PHQ-8]로 측정했습니다.   이 연구에서는 분명한 비타민 D 결핍증이 있는 경우는 제외했는데, 의학적으로 보충이 필요한 정도의 결핍이라면 치료를 하는 게 맞지 위약을 5년이나 주는 것은 윤리적으로 문제가 있기 때문입니다. 따라서 연구의 목표는 비타민이 부족하지 않은 건강한 사람에서 비타민 보충제가 혹시 우울증 예방에 효과가 있는지를 알아보려는 것입니다.   연구 결과 실험군과 대조군 사이에는 통계적으로 유의한 차이가 없었습니다. 우울증 발생률은 두 그룹에서 별로 차이가 없었으며 연구 시작과 종료 시점에 그룹 내에서도 별 차이가 없었습니다. 따라서 비타민 D가 부족하지 않...
댓글 쓰기
자세한 내용 보기

코로나 19 감염 위험성이 큰 동물은?

  ( A new genomic study ranks the potential of the SARS-CoV-2 spike protein to bind to the ACE2 receptor site in 410 vertebrate animals. Old World primates and great apes, which have identical amino acids at the binding site as humans, are predicted to have a very high propensity for binding ACE2 and are likely susceptible to SARS-CoV-2 infection. Credit: Matt Verdolivo/UC Davis )    코로나 19를 일으키는  SARS-CoV-2는 사스 및 메르스와 마찬가지로 박쥐를 자연 숙주로 삼는 베타 코로나바이러스 계통입니다. 따라서 본래 박쥐에 살던 바이러스가 중간 단계를 거쳐 사람으로 넘어온 것으로 추정됩니다. 그런데 이 이야기는 SARS-CoV-2 역시 사람에만 감염되는 것이 아니라 종을 넘어 다른 포유류나 조류, 혹은 척추동물에 감염될 수 있음을 시사합니다. 코로나 바이러스가 침투하는 경로인 ACE2 수용체는 다른 척추동물에서도 볼 수 있기 때문입니다. 다만 SARS-CoV-2와 ACE2 수용체의 결합 수준은 동물마다 큰 차이가 있어 감염 위험도는 모두 다를 수밖에 없습니다.   캘리포니아 대학 데이비스 캠퍼스 (UC Davis)의 조안나 다마스 (Joana Damas)와 그 동료들은 410종의 척추동물에서 ACE2 수용체 유전자를 조사해 코로나 19 감염 위험도를 조사했습니다. 연구팀에 따르면 ACE2 수용체 전체가 아니라 25개의 아미노산 배열이 특히 결합력에 큰 영향을 미쳐 감염 가능성을 결정합니다.   연구 결과 쉽게 예상할 수 있듯이 사람과 가까운 침팬치, 고릴라, 보노보...
댓글 쓰기
자세한 내용 보기