(출처: 엔비디아)
엔비디아가 아마도 차기 GPU에 사용될 예정인 자체 개발 HBM 솔루션인 NVHBM을 발표했습니다. 엔비디아의 주장에 따르면 NVHBM은 메모리 대역폭을 30% 확장하고 전력 소모는 15% 줄이면서 XPU의 다이 면적을 최대 25% 절감해 추가적인 연산 유닛에 할당할 수 있는 신기술입니다.
NVHBM은 엔비디아와 아마존의 Annapurna Labs가 미래의 에이전트형 및 물리적 AI 워크로드에 필요한 D램 성능을 향상시키기 위해 설계한 맞춤형 HBM 솔루션으로 NVLink Fusion의 확장 버전입니다. NVHBM 솔루션의 핵심은 메모리 컨트롤러를 XPU에서 분리하여 HBM 베이스 다이에 직접 배치함으로써 표준 HBM 솔루션보다 더 나은 대역폭과 효율성을 확보하는 것입니다.
쉽게 말해 본래는 GPU에 있던 메모리 컨트롤러를 메모리와 통합해 면적을 확보하고 대역폭도 함께 높인다는 것인데, 비슷한 시도가 다른 제조사에서도 이어지고 있습니다. 예를 들어 퀄컴의 HBC 와 같은 솔루션은 표준 LPDDR DRAM 스택을 사용하지만 유사한 방식을 채택하고 있으며, 삼성 , SK하이닉스 , 마이크론 등 주요 3대 업체 또한 향후 제품에서 자사의 HBM 기반 다이 내에 컴퓨팅 및 메모리 컨트롤러를 구현할 것이라고 강조해 왔습니다.
JEDEC HBM4e 표준과 비교하면 NVHBM은 메모리와 실리콘 인터포저가 결합하는 물리층인 PHY 및 지원 영역을 최대 67%까지 줄일 수 있습니다. 그리고 더 작은 인터페이스를 통해 인터포저 라우팅을 단순화하여 전체 레이아웃에서 최대 80% 더 많은 가용 실리콘을 확보할 수 있다고 합니다. 그래서 표준 HBM4e 대비 최대 30% 향상된 메모리 대역폭을 확보할 수 있다는 게 엔비디아의 주장입니다.
여기서 흥미로운 대목이 NVHBM을 활용할 최초의 파트너 중 하나가 아마존의 안나푸르나 랩(Annapurna Labs)이라는 것입니다. 두 회사는 서로 협력하여 NVHBM 기술과 NVLink 확장 아키텍처를 통합함으로써 AI 워크로드 전반에 걸쳐 성능과 효율성을 향상시킨다는 목표를 가지고 있습니다. 차세대 AWS 트레이니움(Trainium) 칩(트레니움4부터 시작)은 NVLink Fusion을 사용하는데, 이렇게 경쟁사와 협력해서라도 자체 규격을 표준화하기 위해 노력하는 것으로 보입니다.
엔비디아는 이미 로드맵에서 Feynman GPU 에 맞춤형 HBM을 사용할 것이라고 언급했기 때문에 아마도 2028년 출시될 Feynman GPU가 NVHBM을 채택한 최초의 GPU가 될 것으로 예상할 수 있습니다. 그런데 여기서 짚어볼 점이 HBM 베이스 다이를 엔비디아 설계로 가져가면서 얻는 이점입니다.
HBM 메모리는 D램 다이를 베이스 다이 위에 적층하는 방식으로 만들어지는데, 사실 베이스 다이가 HBM 비용에서 상당 부분을 차지합니다. 예를 들 SK hynix는 TSMC 12nm 공정으로 베이스 다이를 제조하는데, 그 비용이 일반 DRAM 코어 다이 대비 3~4배에 달합니다. 따라서 엔비디아가 NVHBM을 통해 컨트롤러를 직접 확보하면 앞으로 가격 협상력면에서 좀 더 유리할 수 있는 것입니다.
그럼에도 NVHBM을 통해 실제로 효율을 더 높일 수 있다면 이는 상당한 이점을 제공하기 때문에 거부하기 힘든 선택지가 될 것입니다. 앞으로 NVHBM이 사실상의 표준이 될 수 있을지 주목됩니다.
참고
댓글
댓글 쓰기