(출처: 딥시크)
중국 딥시크가 V4.0 버전을 내놓은지 얼마 되지도 않아 아키텍처를 대폭 개선한 DeepSeek V4.1 플래시를 선보였습니다. V4.1 플래시는 코딩 및 사이버 보안 측면에서 OpenAI의 GPT-5.6 Sol이나 앤스로픽 클로드 오푸스 5 같은 모델을 상당히 따라잡았습니다. 벤치 결과를 요약하면
주요 강점 영역 (코딩·에이전틱·사이버보안):
Terminal-Bench 2.1: 90.6 (Opus 5 89.1, GPT-5.6 Sol 88.8, 이전 V4 Flash 82.7) — 최고 수준.
DeepSWE v1.1 (실제 GitHub 이슈 해결): 74.2 (Opus 5 74.0, Sol 73.0) — 약간 우위.
CyberGym: 88.1 (Sol·GLM-5.3 84.5, Kimi K3 80.0) — 사이버보안에서 선두.
Automation-Bench: 54.8 (Opus 5 50.3, Sol 45.8).
Agent’s Last Exam: 31.8 (Opus 5 28.6, Sol 26.7).
Codeforces Rating: 3471 (이전 모델 대비 상승).
Vals.ai 독립 평가: 오픈웨이트 모델 중 Vals Index 1위 (57.86%), Code Migration·SkillsBench에서도 상위. 이전 V4 Flash 대비 큰 향상, 비용 대비 성능 우수.
상대적으로 약한 영역:
Terminal-Bench 3.0/4.0 (더 긴 호라이즌): 30.0 / 31.2 (Opus 5가 43.3 / 51.8로 우위).
ProgramBench, NL2Repo-Bench, SEC-Bench Pro, ExploitGym 등에서 Opus 5나 Sol에 뒤처짐.
GPQA Diamond: 90.9 (Sol 94.1, Opus 5 93.4로 약간 낮음).
HLE: 36.8 (도구 사용 시 63.9로 경쟁력 있음).
(그록 요약)
놀라운 대목은 V4.0 프로 버전도 코딩, 에이전틱 임무에서 눌렀다는 것으로 이로 인해 앞으로 프로 버전은 그냥 플래시 버전 가격을 받는다고 합니다. 동시에 과거 인상했던 플래시 가격 역시 인상 전 수준까지 낮추면서 다시 한 번 최강의 가성비 모델이 됐습니다.
이전 시가: https://blog.naver.com/jjy0501/224378196193
딥시크 V 4.1 플래시의 가격은 백만 토큰 당 입력 기준 0.3/0.15 달러 (피크/일반 시간대) 출력 기준 1.2/0.6달러, 캐시 힛 입력 당 0.006/0.003달러로 일부 프론티어 모델 대비 86배나 저렴하다는 것이 딥시크의 주장입니다.
이렇게 성능은 높이고 가격은 낮춘 비결은 혁신적인 아키텍처를 새로 도입한 덕분입니다. 다른 중국 모델과 비슷하게 기본적으로 멀티모달 전문가 혼합 모델(MoE)인데, 단순히 이전 아키텍처를 답습하는 대신 새로운 구성을 택했습니다. Causal Encoder-Decoder (CED)가 바로 그것입니다. CED는 20개 레이어의 인과적 인코더와 그 뒤에 20개 레이어의 디코더가 이어지는 구조(인과적 인코더-디코더 또는 CED)로 40개 레이어 트랜스포머로 되어 있습니다.
모델이 인코더는 방대한 프롬프트를 효율적으로 읽고 이해하는 20개의 레이어로 구성되어 있으며, 단 80억 개의 파라미터(모델의 두뇌 세포라고도 함)만 활성화합니다. 그 다음 디코더가 20개의 레이어가 답을 도출하며, 160억 개의 매개변수를 활성화하여 핵심적인 작업을 수행합니다. 마지막으로 KV에 이 내용을 전달하는 방식으로 메모리 사용량을 대폭 절감했습니다.
복잡한 내용이지만, wccftech의 설명이 잘 내용을 설명한 것으로 보여 소개드립니다.
_____________________________________________________________________
: 학교에서 역사 수업 때문에 1,000페이지가 넘는 방대한 책을 읽고, 그 책에 대한 40개의 과제(레이어)를 완료해야 한다고 상상해 보세요. 일반적인 AI 모델에서는 각 레이어가 책 전체를 처음부터 읽고 방대한 양의 포스트잇(KV 캐시)을 작성합니다. 이는 당연히 엄청난 양의 공책(메모리)을 필요로 할 것입니다.
이러한 제약을 극복하기 위해 DeepSeek은 압축 희소 어텐션 2(CSA2)를 사용합니다. 모든 단어에 메모하는 대신, 모델은 "라이트닝 인덱서"를 사용하여 책을 빠르게 읽고 가장 중요한 페이지만 강조 표시합니다. AI가 질문에 답해야 할 때, 전체 내용을 다시 읽는 대신 가장 관련성이 높은 상위 K개의 강조 표시된 부분만 확인합니다. 이것이 바로 "압축"이라는 용어의 의미입니다.
다음으로, 40개의 모든 레이어가 이러한 하이라이트의 자체 복사본을 만드는 대신, CSA2는 각 레이어에 세 가지 작업 중 하나를 할당하여 작업 부하를 분산시킵니다.
전체 모드: 첫 번째 레이어가 핵심 작업을 수행합니다. 문맥을 파악하고, 중요한 부분을 강조 표시하고, 주요 메모를 기록합니다.
재색인 모드: 다음 단계는 마스터 노트를 보고 "나는 내 노트를 따로 작성하지 않고, 당신의 노트를 그대로 사용할 거야! 하지만 내 과제에 중요한 부분에는 내가 직접 포스트잇을 붙일 거야."라고 말하는 것과 같습니다.
재사용 모드: 하위 레이어는 이전 레이어를 살펴보고 "네 노트와 포스트잇이 완벽해 보이네. 숙제를 그대로 복사해야겠다."라고 말합니다.
마지막으로 SWA Bounded Replay가 있습니다. DeepSeek의 V4.1 플래시 모델은 전역 어텐션 상태와 지역 어텐션 상태를 모두 저장합니다.
글로벌 어텐션(메인 KV 캐시): 이 부분은 전체 컨텍스트 윈도우(최대 100만 토큰)에 걸쳐 장기적인 종속성과 과거 데이터를 캡처합니다. 이 데이터는 CSA2(Compressed Sparse Attention) 및 FP4 정밀도와 같은 초고속 압축 기술을 사용하여 초고대역폭 메모리(HBM)에 영구적으로 저장됩니다.
로컬 어텐션(SWA KV 캐시): 이는 최근 128개 토큰으로 구성된 로컬 윈도우에만 집중하여 세부적이고 즉각적인 컨텍스트를 처리합니다.
기존의 장기 컨텍스트 모델에서는 수천 명의 동시 사용자에 대한 전역 및 로컬 어텐션 상태를 모두 저장해야 하므로 막대한 저장 공간이 필요합니다. DeepSeek는 SWA 제한 재생(SWA Bounded Replay)을 사용하여 이 문제를 해결합니다. 사용자가 세션을 일시 중지하고 서버의 임시 RAM 풀에서 로컬 128개 토큰의 SWA 상태가 지워지더라도 시스템은 세션이 일시 중지된 위치를 파악하기 위해 전체 100만 개 토큰의 프롬프트를 다시 계산하지 않습니다. 대신, 모델은 입력의 마지막 128개 토큰만 재생하여 현재 상태를 파악합니다.
이러한 모든 혁신 기술을 결합하여 DeepSeek은 V4.1 플래시 메모리의 KV 캐시 크기를 V4 플래시 모델 대비 3.9배 줄여 토큰당 890바이트로 제한할 수 있었습니다! 이는 놀라운 수준의 메모리 최적화로, V4 플래시 모델 대비 HBM 요구 사항을 3.9배, SSD 관련 요구 사항을 8배까지 대폭 줄여줍니다 .
매니폴드 제약 하이퍼 커넥션(mHC)
고속도로를 달리고 있다고 상상해 보세요. DeepSeek의 매니폴드 제약 하이퍼 커넥션(mHC)은 고속도로의 폭을 4차선으로 확장하여 정보가 여러 채널을 통해 흐르고 동적으로 차선을 전환할 수 있도록 합니다. 차량 충돌이나 차선 불균형을 방지하기 위해 엄격한 수학적 속도 제한(싱크혼-크노프 알고리즘을 통한 이중 확률 행렬)을 적용하여 정보 신호가 정체되지 않도록 합니다.
하지만 이러한 속도 제한은 플래시급 모델에 불리하게 작용합니다. 이를 해결하기 위해 DeepSeek은 각 모델 레이어가 이전 레이어가 남긴 명령어를 사용하여 "고속도로"에서 데이터를 읽는 단일 패스 mHC를 도입했습니다. 모델은 차선을 어떻게 혼합해야 하는지 미리 알고 있기 때문에 칩은 나머지 어텐션 연산을 수행하는 동시에 차선 혼합 연산도 계산할 수 있어 대기 시간을 없앨 수 있습니다.
기본적으로 mHC가 모델을 더욱 스마트하게 만드는 매우 안정적인 4차선 고속도로라면, 단일 통과 mHC는 교통(정보)이 멈추지 않고 4개 차선을 모두 즉시 통과할 수 있도록 최적화된 요금소와 같습니다.
- 엔그램 조건부 메모리를 사용
엔그램 메모리는 기본적으로 주머니에 넣을 수 있는 노트와 비슷하며, 원시 지식, 일반적인 구문 및 사실(예: 아부다비는 아랍에미리트의 수도이다)로 채워진 방대한 고정 조회 테이블로 구성됩니다.
DeepSeek V4.1 Flash는 텍스트를 읽을 때 작은 단어 그룹(N-그램) 단위로 읽습니다. 인식 가능한 패턴을 발견하면, 그 의미를 깊이 생각하지 않고 즉시 해시 검사(사전 색인에서 단어를 찾는 것과 유사)를 수행하여 노트북(엔그램 메모리)에서 정확한 의미를 즉시 추출합니다. 이러한 구조를 더욱 최적화하기 위해 DeepSeek는 조건문 또는 컨텍스트 게이트를 도입했습니다. 이 게이트는 모델이 현재 수행 중인 작업을 살펴보고 "이 과거 정보가 사용자가 지금 묻는 질문에 실제로 유용한가?"라고 판단합니다. 유용하다면 해당 메모리 정보를 불러오고, 그렇지 않다면 노트북을 닫아둡니다.
딥시크 V4.1 플래시 모델의 엔그램 테이블은 1,960억 개의 파라미터를 가진 거대한 테이블이라는 점에 유의하십시오. 이를 고가의 GPU 메모리(HBM)에 저장하는 것은 빠르고 저렴한 모델에는 불가능합니다. 하지만 엔그램은 단순한 조회 테이블이기 때문에 딥시크 엔지니어들은 1,960억 개의 파라미터로 이루어진 전체 테이블을 표준형 저가 컴퓨터 RAM(DRAM)에 저장했습니다.
- DSpark 추측 디코딩
일반적으로 AI 모델은 작은 초안 모델을 사용하여 다음에 출력될 몇 단어를 예측합니다. 그런 다음 "큰" 모델이 모든 출력을 한 번에 확인하고 오류를 수정합니다. 이 과정은 "큰" 모델이 한 번에 한 단어/토큰씩 출력을 예측하도록 하는 것보다 훨씬 빠릅니다.
하지만 DeepSeek은 작은 초안 모델이 예측 능력이 매우 떨어진다는 사실을 발견했습니다. 첫 번째와 두 번째 단어는 정확하게 예측할 수 있지만, 세 번째, 네 번째, 다섯 번째 단어는 대개 완전히 의미 없는 단어로 변질되어 접미사 붕괴(Suffix Decay) 현상이 발생합니다. 이러한 문제를 해결하기 위해 DSpark는 작은 순차 모듈을 사용합니다. 초안 작성자가 단어 블록을 입력할 때, 각 추측은 바로 직전에 예측한 단어를 기반으로 순위를 매깁니다. 이렇게 하면 접미사 붕괴를 방지하여 5개 토큰으로 이루어진 추측의 끝부분이 매우 일관성 있게 유지되고, "큰" 모델이 실제로 받아들이는 단어의 수가 크게 증가합니다.
이 프로세스는 또한 신뢰도 기반 검증 방식을 사용하는데, 작성자가 결과물의 정확성에 대해 확신이 서지 않을 경우 예측값을 동적으로 조정하여 "빅" 모델이 예측의 정확성을 검증하기 위해 수행해야 하는 작업량을 줄입니다.
이러한 구조 덕분에 DeepSeek V4.1 Flash는 매우 높은 리소스 효율성을 유지하면서도 (최적의 하드웨어에서 최대 120 토큰/초) 일관되게 초고속 추론 속도를 달성할 수 있습니다.
덕분에 DeepSeek의 V4.1 Flash는 5,520억 개의 파라미터( 총 7,180억 개의 파라미터 : 5,520억 개의 백본 파라미터 + 1,960억 개의 엔그램)만을 사용하지만, 훨씬 더 큰 규모의 OpenAI GPT-5.6 Sol과 Anthropic Claude Opus 5를 여러 코딩 및 사이버 보안 벤치마크 에서 능가할 수 있습니다 .
______________________________________________________________________________
요약하면 522B의 기본 파라미터에 참고할 수 있는 N-gram 파라미터 196B를 지니고 있는 모델로 활성 파라미터는 입력(prefill) 8B, 출력(decode) 16B로 비대칭 설계를 지니고 있습니다. 참고로 N-gram 임베딩 기술은 Qwen 3.8 플래시 넥스트에서도 사용한 기술로 요약하면 "단어 하나만 보고 뜻을 찾는 대신, 자주 쓰이는 2~3단어 조합(숙어·숙어구)을 '통째로 외운 단어장'을 따로 만들어 두는 방식"입니다. 예를 들어 have, a, dream을 따로 암기하는 것이 아니라 have a dream처럼 관용구로 암기하는 것입니다.
이전 포스트: https://blog.naver.com/jjy0501/224393338918
N 그램 임베딩은 D램이나 SSD에 저장할 수 있는 만큼 연산과 메모리 자원이 부족한 중국 AI 모델에서 새로운 돌파구가 될 것으로 보입니다. 이외에 위에서 소개한 CED 아키텍처나 Compressed Sparse Attention 2 (CSA2), FP4, SWA Bounded Replay, mHC 덕분에 성능은 높이면서도 하드웨어 의존도는 크게 낮춰 비용을 대폭 절감할 수 있는 것으로 보입니다.
딥시크는 사실 올해 가격을 대폭 낮추면서 토큰 소모량 기준 2위까지 올랐는데, V4.1 플래시에서 다시 가격을 원래 수준으로 낮추면서 서구 프론티어 모델의 강력한 경쟁자가 될 것으로 보입니다. 솔직히 좀 놀랍다는 느낌입니다.
참고
https://www.deepseek.com/en/news/deepseek-v4-1-flash/
https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf
댓글
댓글 쓰기