고든의 블로그 구글 분점

  (출처: 알리바바) ​ ​ 중국 알리바바의 Qwen 3.8 Flash Next가 공개됐습니다. Qwen은 대중적인 인지도는 뉴스를 많이 탄 딥시크나 문샷 AI의 키미 K3보다 못하지만, 소형 로컬 LLM의 강자로 최근 등장한 Qwen 3.8 27B는 소형 모델 가운데 최고의 성능을 보여주고 있습니다. 현재 최고 성능의 프론티어 모델을 뛰어넘지는 못하지만, 근접한 수준의 놀라운 코딩 및 에이전틱 임무 수행 능력을 보여줘 신선한 충격 가져왔습니다. 앞서 영상에서도 소개한 바 있습니다. ​ ​ Qwen 3.8 27B가 프론티어에 근접한 수준의 소형 로컬 LLM이라면 이번에 공개한 Qwen 3.8 플래시 넥스트는 서버나 고성능 워크스테이션에서 구동 가능한 빠른 MoE 모델로 성능에서 Qwen 3.8 Max와 견줄 수 있습니다. 흥미로운 대목은 앞으로 나올 Qwen 4에 대한 프리뷰로 메인 모델 125B 파라미터 + N-gram 임베딩 51B 파라미터이라는 독특한 구성을 하고 있습니다. ​ N-gram 임베딩을 한마디로 요약하면 "단어 하나만 보고 뜻을 찾는 대신, 자주 쓰이는 2~3단어 조합(숙어·숙어구)을 '통째로 외운 단어장'을 따로 만들어 두는 방식"입니다. 예를 들어 have, a, dream을 따로 암기하는 것이 아니라 have a dream처럼 관용구로 암기하는 것입니다. ​ 이렇게 해서 문장을 만들면 신경망 레이어를 통과하며 복잡한 수학 연산을 하는 것이 아니라, 이미 만들어진 테이블에서 "자료 찾기(Lookup)"만 수행해 연산 부담은 거의 늘리지 않으면서 속도를 높일 수 있습니다. 또 굳이 GPU VRAM에 넣지 않고 시스템 메모리에 올려두어도 상관 없습니다. 덕분에 총 176B 파라미터인데 125B 파라미터 모델처럼 올릴 수 있습니다. 여기에 활성 파라미터가 6B 밖에 되지 않아도 51B 단어장 덕분에 훨씬 큰 활성 파라미터를 지닌 것처럼 답변할 수 있습니다. ​ 6B에 불과한 활성화 파...