(출처: 엔비디아)
엔비디아가 2023년 GTC에서 특이한 제품 하나를 공개했습니다. 바로 PCIe 슬롯 4개를 사용하는 AI 가속용 그래픽카드인 H100 NVL입니다. 최근 선풍적인 인기를 끌고 있는 chatGPT 같은 언어 모델을 연구하는 목적으로 개발된 그래픽 카드로 H100 기반으로 듀얼 GPU로 만든 형태입니다. 하지만 하나의 기판이 아니라 두 개의 독립된 그래픽 카드를 SLI 브릿지처럼 생긴 NVLink 4 브릿지 3개로 연결한 형태로 나왔습니다. 따라서 4개의 PCIe 5.0 슬롯을 차지합니다.
특이한 구성은 메모리에서도 확인할 수 있습니다. H100이 PCIe 버전이나 SXM 버전이나 모두 80GB의 메모리를 사용하는 반면 H100 NVL은 각각 94GB의 HBM3 메모리를 탑재하고 있습니다. 6개의 적층 메모리를 사용하면 16x6 = 96GB의 조합이지만, 2GB가 사라진 셈인데, 그 옛날 GTX970의 3.5 + 0.5GB 사건이 생각나는 구성입니다. 아무튼 188GB라는 엄청난 HBM3 메모리 용량을 생각하면 메모리가 부족해서 연산 작업을 못하지는 않을 것으로 생각합니다.
구체적인 스펙은 자세히 공개하지 않았지만, 두 개의 H100 GPU를 사용하고 있음에도 TDP는 700W로 SXM 버전의 H100과 동일하고 PCIe 버전의 정확히 두 배 입니다. 전기를 많이 먹는 HBM3 메모리를 탑재했다는 점을 생각하면 의외의 결과인데, 대신 클럭은 좀 낮췄을 가능성도 있습니다. 하지만 특화된 대용량 메모리 덕분에 대용량 언어 모델에서 전 세대인 A100 8개를 사용한 HGX A100과 비교해서 8개의 H100 NVL이 GPT3-175B 연산 능력이 12배 정도 빠르다고 합니다.
사실 그래픽 카드 가격이 천정부지로 치솟고 있어 게이밍 그래픽 카드에서 과거 같이 SLI를 하게 될 일은 거의 없을 것으로 생각됩니다. 이미 고성능 그래픽 카드 크기는 과거 그래픽 카드의 몇 배나 큰 상태라 SLI하는 것보다 더한 상황입니다. 대신 서버 및 HPC 부분에서 SLI의 변종 같은 멀티 그래픽 카드 기술은 널리 적용될 가능성이 있습니다. 앞으로도 이런 독특한 구성을 다시 볼 수 있을 것으로 생각합니다.
참고
댓글
댓글 쓰기