(출처: 알리바바)
중국 알리바바의 Qwen 3.8 Flash Next가 공개됐습니다. Qwen은 대중적인 인지도는 뉴스를 많이 탄 딥시크나 문샷 AI의 키미 K3보다 못하지만, 소형 로컬 LLM의 강자로 최근 등장한 Qwen 3.8 27B는 소형 모델 가운데 최고의 성능을 보여주고 있습니다. 현재 최고 성능의 프론티어 모델을 뛰어넘지는 못하지만, 근접한 수준의 놀라운 코딩 및 에이전틱 임무 수행 능력을 보여줘 신선한 충격 가져왔습니다. 앞서 영상에서도 소개한 바 있습니다.
Qwen 3.8 27B가 프론티어에 근접한 수준의 소형 로컬 LLM이라면 이번에 공개한 Qwen 3.8 플래시 넥스트는 서버나 고성능 워크스테이션에서 구동 가능한 빠른 MoE 모델로 성능에서 Qwen 3.8 Max와 견줄 수 있습니다. 흥미로운 대목은 앞으로 나올 Qwen 4에 대한 프리뷰로 메인 모델 125B 파라미터 + N-gram 임베딩 51B 파라미터이라는 독특한 구성을 하고 있습니다.
N-gram 임베딩을 한마디로 요약하면 "단어 하나만 보고 뜻을 찾는 대신, 자주 쓰이는 2~3단어 조합(숙어·숙어구)을 '통째로 외운 단어장'을 따로 만들어 두는 방식"입니다. 예를 들어 have, a, dream을 따로 암기하는 것이 아니라 have a dream처럼 관용구로 암기하는 것입니다.
이렇게 해서 문장을 만들면 신경망 레이어를 통과하며 복잡한 수학 연산을 하는 것이 아니라, 이미 만들어진 테이블에서 "자료 찾기(Lookup)"만 수행해 연산 부담은 거의 늘리지 않으면서 속도를 높일 수 있습니다. 또 굳이 GPU VRAM에 넣지 않고 시스템 메모리에 올려두어도 상관 없습니다. 덕분에 총 176B 파라미터인데 125B 파라미터 모델처럼 올릴 수 있습니다. 여기에 활성 파라미터가 6B 밖에 되지 않아도 51B 단어장 덕분에 훨씬 큰 활성 파라미터를 지닌 것처럼 답변할 수 있습니다.
6B에 불과한 활성화 파라미터 덕분에 속도는 엄청나게 빠르면서도 N-gram 임베딩과 다른 기술적 혁신으로 인해 성능은 프론티어 모델급으로 높아져 복잡한 코드베이스 수정(SWE-bench Pro: 62.5) 및 장기 오피스 작업 처리(CoWorkBench: 73.9, JobBench: 55.7) 분야에서 상용 프론티어 모델인 Claude-Opus-4.6을 명확하게 앞섭니다. 물론 Qwen 3.8 27B도 좀 더 앞서는 것은 물론입니다. 심지어 일단 메모리에 올릴 수 있으면 속도도 사실 6B MoE 모델이라 더 빠릅니다.
Qwen 3.8 플래시 넥스트의 주요 벤치 결과는 아래와 같습니다.
주요 기술적 이점을 요약하면 아래와 같습니다. (제미나이 요약)
① GDN + QSA 하이브리드 어텐션 (Attention)
GDN (Gated DeltaNet): 4개 레이어 중 3개 레이어에 적용되며, 이전 문맥 정보를 고정 크기 상태(fixed-size state)로 효율적으로 지속 압축("기억" 담당).
QSA (Qwen Sparse Attention): 나머지 1개 레이어에 적용되며, 전체 문맥에서 필요한 정보를 정확하게 검색("인덱싱/인출" 담당).
QSA의 동작 원리: 기존 방식(DSA 등)은 토큰 단위 인덱서를 사용해 초장문에서 인덱서 자체가 연산 병목이 되었습니다. QSA는 가벼운 인덱서가 시퀀스를 마이크로 블록(micro-block) 단위로 1차 집계한 뒤 블록 수준 중요도를 추정하여 어텐션을 수행합니다.
효과: 1M 토큰 환경에서 Prefill 연산 속도 최대 7.6배, Decode 속도 4.9배 향상 (Prefix Cache 히트율 90% 시 Prefill 처리량 8.6배 증대).
② 게이티드 레지듀얼 (Gated Residual, GR)
기존 트랜스포머는 단일 레지듀얼 스트림을 모든 레이어가 공유하여 깊은 레이어로 갈수록 초기 신호가 희석되는 한계가 있었습니다.
GR은 레지듀얼 스트림을 4개의 병렬 분기(Branches)로 확장하고, 동적 게이트(Dynamic Gate)를 통해 각 레이어가 얼마만큼 읽고 쓸지 제어합니다.
특정 분기는 첫 번째 어텐션 레이어의 신호를 후반부 레이어까지 직접 연결하는 장거리 통로로 작동하여, 활성화 이상치(outliers)를 억제하고 학습 안정성을 높였습니다.
③ N-gram 임베딩 (N-gram Embedding)
단일 토큰 단위 조회 외에도, 인접한 토큰들의 국소 문맥(N-gram)을 조합하여 자주 쓰이는 관용 요소를 별도 테이블로 조회합니다.
51B 파라미터를 추가하면서도 토큰당 추가 연산량은 거의 없습니다. 룩업 위치가 미리 계산 가능하므로 GPU 메모리를 상시 점유하지 않고 Host Memory(RAM)에 저장한 뒤 연산과 비동기 프리페칭(Asynchronous Prefetching)하여 효율을 극대화했습니다.
④ Muon 최적화기 및 학습 제어 (Optimization)
주 가중치(Attention, GDN, MoE Experts)에는 Muon 최적화기를, Embeddings, Router, GR 저순위 파라미터에는 AdamW를 분할 적용했습니다.
아키텍처 재설계에 맞춰 Scaling Law를 새로 피팅하여 더 큰 러닝레이트(LR)와 배치 사이즈를 안정적으로 수용했습니다.
대규모 학습의 관행이었던 Batch Size Warmup 과정이 불필요함을 밝혀내어 오버헤드를 줄였습니다.
이런 방식으로 입력 토큰 1M 당 0.16달러, 출력 토큰 1M당 0.47달러라는 저렴한 가격으로 서비스가 가능하며 누구나 다운로드 받아 로컬로 사용도 가능합니다. Qwen 4 이후엔 얼마나 성능이 좋아질지 궁금해지는 소식이 아닐 수 없습니다.
참고
https://qwen.ai/blog?id=qwen3.8-flash-next
댓글
댓글 쓰기