(출처: 엔비디아)
엔비디아에 인수된 그록(Groq)이 차세대 칩에 SRAM 대신 3D 적층형 DRAM 메모리 기술을 적용하여 속도보다 용량을 우선 확보하는 변형을 시도할 수 있다는 주장이 제기됐습니다.
그록 LPU (Language Processing Unit, 언어처리장치)는 거대언어모델(LLM)의 실시간 텍스트 추론 및 토큰 생성 속도를 극대화하기 위해 설계된 전용 AI 가속기로 HBM보다 더 빠른 150TB/s 대역폭을 이용해 매우 빠른 응답속도와 토큰 생산량을 자랑합니다.
엔비디아의 베라 루빈은 대규모 컨텍스트 프리필(Prefill)은 GPU가 담당하고 실제 빠른 토큰 디코딩(Decode)은 LPU가 분담하는 하이브리드 추론 방식을 사용해 속도를 크게 높였습니다. 그록 LPX 랙은 올해 8월에 본격적인 생산에 들어갔으며 초기 결과에 따르면 NVL72 서버와 함께 사용했을 때 초당 3,400개의 토큰이라는 기록적인 성능을 보여주었습니다.
최신 그록 LPU는 150TB/s 대역폭을 지닌 500MB의 SRAM을 탑재했습니다, 베라 루빈 NVL 72 랙에는 이러한 칩이 256개 장착되어 총 128GB의 SRAM 용량과 640TB/s의 확장 대역폭을 제공합니다. 각 그록 LPU는 개별적으로 1.20 PFLOPs의 FP8 연산 성능을 발휘합니다.
하지만 SRAM은 속도가 빠른 대신 용량이 너무 작다는 단점도 지니고 있습니다. ZDNet은 업계 관계자의 말을 빌어 "그록(Groq)이 차세대 칩에 3D 패키징 기술을 도입할 계획"이라며 "기존 SRAM 대신 DRAM을 적층하는 방식"이라고 밝혔습니다. 업계에서는 그록의 이러한 움직임을 칩 용량을 대폭 늘리려는 의도로 해석하고 있습니다.
이에 따르면 차세대 그록 LPU는 3D 적층 기술을 통해 TSV(Through-Silicon-Vias)를 사용하여 연결된 여러 DRAM 레이어를 하나의 수직 칩에 적층할 수 있습니다. 이는 현재 HBM DRAM 설계 방식과 유사합니다. 3D 적층 기술은 기존 DRAM 패키지에 비해 표면적을 줄이고 전력 효율을 향상시킬 수 있습니다.
SRAM은 온칩으로 매우 넓은 내부 버스를 쓰기 때문에 칩당 150TB/s 수준이 가능합니다. 3D 적층 DRAM은 기본적으로 DRAM 셀 속도가 느리지만, 로직 다이 위에 DRAM을 직접 쌓고 TSV나 하이브리드 본딩으로 연결하면 수직 방향 연결 수를 수만~수십만 개까지 늘릴 수 있습니다. 레인 수가 많아지면 각 레인의 클럭을 낮춰도(예: 500~700 MHz) 전체 대역폭을 크게 확보할 수 있습니다.
실제 적용한다면 이렇게 최대한 대역폭을 확보하는 방식으로 사용할 것으로 예상되지만, 아직은 공식 발표가 아니라 좀 더 지켜봐야 할 것 같습니다. 경우에 따라서는 두 가지를 혼용할 수도 있는데, 자꾸만 모델이 커지는 상황에서 용량 한계를 극복하기 위해서는 D램 적층이 대안이 될 수 있을 것으로 생각합니다.
참고
https://wccftech.com/nvidia-groq-moving-next-gen-lpus-from-sram-to-3d-stacked-dram/
댓글
댓글 쓰기