블랙웰 GPU를 공개한 엔비디아

 

(출처: 엔비디아)

​

​

엔비디아가 GTC를 통해 블랙웰 (Blackwell) 그레이스 블랙웰 GB200 슈퍼칩과 B200 GPU를 공개했습니다. 블랙웰은 TSMC의 최신 3nm 공정 대신 4N 공정을 개선한 4NP 공정을 사용했습니다. 비용 문제도 있었겠지만 , 데이터 센터용 GPU 가격이 엄청나게 비싼 점을 감안하면 충분한 캐파 확보 목적도 있어 보입니다.

​

​

아무튼 미세 공정 개선 없이 H100/200보다 성능을 대폭 늘리기는 어려워 보이지만, 엔비디아는 AI 연산 능력을 다섯 배 높여 20페타플롭스를 달성했다고 발표했습니다. 비결은 하나가 아닌 두 개의 다이를 연결해 트랜지스터 집적도를 2.5배인 2080억개로 늘린 것입니다. 이름이 B100이 아닌 GB/B200이 된 이유입니다.

​

​

이렇게해도 성능이 같은 공정에서 두 배나 높아진 것으로 해석할 수 있지만, 사실 또 한 번의 트릭이 존재합니다. 바로 FP 8 텐서 연산에 더해 FP 4 텐서 연산을 추가한 것입니다. 따라서 FP 8에서는 연산 능력이 반으로 줄어 H100과의 차이는 1.25배 정도입니다. 트랜지스터 증가를 생각하면 같은 공정에서 비슷한 성능으로 풀이할 수 있습니다.

​

​

(블랙웰 GPU 성능 요약. 출처: 탐스하드웨어)

​

​

그렇다고 해서 블랙웰의 연산 능력이 낮은 것은 아닙니다. FP 4 연산으로도 충분한 AI 연산에서 B200은 H100보다 5배 빠를 것입니다. 그리고 FP 4보다 더 정밀한 연산이 필요하지만 FP 8까지는 필요 없는 작업에는 그 중간인 FP 6 연산도 추가로 지원해 상황에 맞춰 연산 방법을 선택할 수 있게 됐습니다.

​

​

각각의 블랙웰 GPU엔 1TB/s의 대역폭을 지원하는 24GB HBM3e 메모리가 8개 장착되어 192GB의 메모리를 사용합니다. GB200은 그레이스 슈퍼칩을 그대로 사용하는 대신 B200을 두 개 사용해 연산 능력을 두 배로 높였습니다. 대신 TDP는 두 칩다 크게 증가할 것으로 보입니다. B200은 아마도 1000W에 달하고 GB200은 2700W까지 늘어날 가능성이 있습니다.

​

​

(GB200. 출처: 엔비디아)

​

​

HGX B200의 경우 8개의 B200 GPU를 탑재하기 위해 TDP를 각 프로세서 당 700W로 제한하는 대신 연산 능력을 FP 4 기준 14페타플롭스로 소폭 낮췄습니다. 이보다 더 낮은 전력 소모를 위한 소비자를 위한 B100 및 HGX B100도 마련되어 있습니다.

​

​

하지망 최근의 추세는 전기를 좀 더 먹더라도 AI 경쟁에서 우위를 선점하려는 요구가 더 크기 때문에 엔비디아는 수냉 서버 시스템을 선보였습니다. GB200/B200에 이르러서는 더 이상 공냉 방식으로는 감당이 되지 않기 때문입니다.

​

(출처: 엔비디아)

​

​

엔비디아는 GB200 을 두 개씩 서버에 넣어서 18단 서버랙 형태로 만들고 수냉 시스템으로 냉각하는 GB 200 NVL 72 노드를 선보였습니다. 이름처럼 72개의 블랙웰 B200 GPU를 사용해 대규모 AI 연산을 할 수 있습니다. 다만 이 경우 GPU 간 데이터를 주고 받는 과정에서 병목 현상이 일어나 실제 성능은 72개의 B200 GPU보다 낮을 수밖에 없습니다.

​

​

이 문제를 극복하기 위해 엔비디아는 GPU와 CPU간 데이터 전달을 돕는 별도의 프로세서인 NVLINK SWITCH를 사용하고 있습니다. 각 두 개의 NVLINK 스위치 프로세서가 하나의 트레이에 들어가 14.4TB/s의 대역폭을 지원하며 총 9개의 트레이를 통해 130TB/s 정도의 대역폭을 지원합니다. 이는 전 세대인 GH/H200, H100보다 대역폭이 크게 늘어난 것으로 대규모 데이터 처리에 더 유리해졌습니다.

​

​

전반적으로 보면 미세 공정의 큰 변화가 없는 상황에서 엔비디아는 결국 다이를 연결하는 방식으로 트랜지스터 집적도를 크게 높이고 GPU 간 데이터 병목 현상을 줄여 대규모 데이터 처리에 더 강력한 시스템을 만들었습니다. 따라서 LLM 을 비롯해 갈수록 데이터 규모가 커지는 AI 분야의 발전을 가속할 것으로 생각됩니다. 다만 치솟는 비용과 전력 소모를 어떻게 억제할 수 있는지가 새로운 과제로 떠오르고 있습니다.

​

​

그리고 여담이지만, 엔비디아가 거의 AI 하드웨어 회사가 되면서 본업이던 게이밍 GPU 부분은 오히려 소식이 잠잠해진 느낌입니다. 블랙웰 기반의 게이밍 GPU가 나오더라도 결국 가격은 그렇게 저렴하지 않을 것 같다는 불길한 느낌도 여전합니다. 그래도 소비자용 게이밍 GPU 소식을 기다려 봅니다.

​

​

참고

​

​

https://www.tomshardware.com/pc-components/gpus/nvidias-next-gen-ai-gpu-revealed-blackwell-b200-gpu-delivers-up-to-20-petaflops-of-compute-and-massive-improvements-over-hopper-h100

​

https://www.anandtech.com/show/21310/nvidia-blackwell-architecture-and-b200b100-accelerators-announced-going-bigger-with-smaller-data