(출처: 엔비디아)
엔비디아가 30B MoE 구조의 로컬 LLM 모델인 네모트론 3.5 라이트닝을 공개했습니다. 네모트론 3.5 라이트닝은 이름처럼 속도에 초점을 맞춘 모델입니다. 엔비디아의 주장에 따르면 현재 로컬 LLM에서 가장 주력 모델이라고 할 수 있는 Qwen 3.6 35B A3B와 Gemma 4 26B A4B와 견줄 수 있는 성능과 빠른 속도가 장점입니다. 다만 실제 코딩 등 복잡한 작업에서 Qwen이나 Gemma 보다 뛰어나지는 않은 것으로 보입니다. 그럼에도 엔비디아 하드웨어에서 GPU에 다 올릴 수 있다면 상당히 빠른 토큰 속도를 보장할 수 있습니다.
네모트론 3.5 라이트닝의 빠른 속도의 비결은 다음 네 가지입니다.
하이브리드 맘바-트랜스포머 (Hybrid Mamba-Transformer): 트랜스포머 구조가 가진 '깊은 문맥 이해 능력'과 맘바(상태 공간 모델)가 가진 '하드웨어 효율적이고 빠른 처리 속도'를 결합했습니다.
다중 토큰 예측 (Multi-Token Prediction, MTP): 단어를 한 번에 하나씩 예측하던 기존 방식에서 벗어나, 여러 개의 토큰을 동시에 예측하여 텍스트 생성 시간을 대폭 단축합니다.
잠재 전문가 혼합 (Latent MoE): 추론 과정에서 활용 가능한 '전문가' 네트워크를 동적으로 확장하여, 막대한 연산량 증가 없이도 특정 작업에 가장 적합한 네트워크를 할당해 성능을 높입니다.
추측 해독 (Speculative Decoding): 더 작고 빠른 '초안(Draft)' 모델이 먼저 답변 텍스트를 추측하고 메인 모델이 이를 즉각적으로 검증하는 방식으로 처리량(Throughput)을 극대화합니다.
이를 통해 비슷한 모델 대비 속도를 크게 높였다는 것인데, 빠른 반응 속도가 필요한 작업에서 상당한 강점이 있을 수 있습니다. 다만 4배 빠른 속도와 비교해서, 여러 AI가 협력해 복잡한 문제를 푸는 '에이전트 작업(Agentic Tasks)'의 실제 속도 향상은 30%에 머물렀습니다.
이는 단순히 AI가 글자를 빨리 뱉어내는 것만으로는 한계가 있다는 것을 시사합니다. 여러 특화된 AI 에이전트들에게 작업을 나누고, 순서를 정해주며, 결과를 다음 에이전트에게 넘겨주는 조율 과정, 즉 '오케스트레이션(Orchestration)' 소프트웨어 계층이 여전히 AI 작업 처리의 가장 큰 병목 지점으로 남아있기 때문입니다. 참고로 경쟁 모델과 비교해서 성능과 속도 비교는 아래와 같습니다.
네모트론 3.5 라이트닝은 NVFP4 (4비트 양자화 버전)을 지원하는 엔비디아 GPU에서 독보적인 속도를 자랑합니다. 따라서 반복 업무 등에서 매우 큰 장점이 있습니다.
개인적으로 사용하는 RTX 4080은 아쉽지만 이 모델의 성능을 100% 활용하기 어렵습니다. RTX 5080(Blackwell)은 FP4 전용 텐서 코어를 내장하여 FP8 대비 2배 이상의 연산 속도를 내지만, RTX 4080(Ada Lovelace)은 FP8/INT4 수준까지만 하드웨어 가속이 효율적으로 지원되기 때문입니다. 여기에 GDDR6x와 GDDR7의 속도 차이로 인해 토크 속도는 두 배 정도 차이가 날 수밖에 없습니다.
하지만 요즘 시대에 RTX 4080도 감사한 게 사실입니다. GPU 가격 정상화는 언제나 가능할지 아쉬운 대목입니다.
참고
댓글
댓글 쓰기