(출처: 엔비디아)
엔비디아가 GTC를 통해 블랙웰 (Blackwell) 그레이스 블랙웰 GB200 슈퍼칩과 B200 GPU를 공개했습니다. 블랙웰은 TSMC의 최신 3nm 공정 대신 4N 공정을 개선한 4NP 공정을 사용했습니다. 비용 문제도 있었겠지만 , 데이터 센터용 GPU 가격이 엄청나게 비싼 점을 감안하면 충분한 캐파 확보 목적도 있어 보입니다.
아무튼 미세 공정 개선 없이 H100/200보다 성능을 대폭 늘리기는 어려워 보이지만, 엔비디아는 AI 연산 능력을 다섯 배 높여 20페타플롭스를 달성했다고 발표했습니다. 비결은 하나가 아닌 두 개의 다이를 연결해 트랜지스터 집적도를 2.5배인 2080억개로 늘린 것입니다. 이름이 B100이 아닌 GB/B200이 된 이유입니다.
이렇게해도 성능이 같은 공정에서 두 배나 높아진 것으로 해석할 수 있지만, 사실 또 한 번의 트릭이 존재합니다. 바로 FP 8 텐서 연산에 더해 FP 4 텐서 연산을 추가한 것입니다. 따라서 FP 8에서는 연산 능력이 반으로 줄어 H100과의 차이는 1.25배 정도입니다. 트랜지스터 증가를 생각하면 같은 공정에서 비슷한 성능으로 풀이할 수 있습니다.
.png)
(블랙웰 GPU 성능 요약. 출처: 탐스하드웨어)
그렇다고 해서 블랙웰의 연산 능력이 낮은 것은 아닙니다. FP 4 연산으로도 충분한 AI 연산에서 B200은 H100보다 5배 빠를 것입니다. 그리고 FP 4보다 더 정밀한 연산이 필요하지만 FP 8까지는 필요 없는 작업에는 그 중간인 FP 6 연산도 추가로 지원해 상황에 맞춰 연산 방법을 선택할 수 있게 됐습니다.
각각의 블랙웰 GPU엔 1TB/s의 대역폭을 지원하는 24GB HBM3e 메모리가 8개 장착되어 192GB의 메모리를 사용합니다. GB200은 그레이스 슈퍼칩을 그대로 사용하는 대신 B200을 두 개 사용해 연산 능력을 두 배로 높였습니다. 대신 TDP는 두 칩다 크게 증가할 것으로 보입니다. B200은 아마도 1000W에 달하고 GB200은 2700W까지 늘어날 가능성이 있습니다.
(GB200. 출처: 엔비디아)
HGX B200의 경우 8개의 B200 GPU를 탑재하기 위해 TDP를 각 프로세서 당 700W로 제한하는 대신 연산 능력을 FP 4 기준 14페타플롭스로 소폭 낮췄습니다. 이보다 더 낮은 전력 소모를 위한 소비자를 위한 B100 및 HGX B100도 마련되어 있습니다.
하지망 최근의 추세는 전기를 좀 더 먹더라도 AI 경쟁에서 우위를 선점하려는 요구가 더 크기 때문에 엔비디아는 수냉 서버 시스템을 선보였습니다. GB200/B200에 이르러서는 더 이상 공냉 방식으로는 감당이 되지 않기 때문입니다.
(출처: 엔비디아)
엔비디아는 GB200 을 두 개씩 서버에 넣어서 18단 서버랙 형태로 만들고 수냉 시스템으로 냉각하는 GB 200 NVL 72 노드를 선보였습니다. 이름처럼 72개의 블랙웰 B200 GPU를 사용해 대규모 AI 연산을 할 수 있습니다. 다만 이 경우 GPU 간 데이터를 주고 받는 과정에서 병목 현상이 일어나 실제 성능은 72개의 B200 GPU보다 낮을 수밖에 없습니다.
이 문제를 극복하기 위해 엔비디아는 GPU와 CPU간 데이터 전달을 돕는 별도의 프로세서인 NVLINK SWITCH를 사용하고 있습니다. 각 두 개의 NVLINK 스위치 프로세서가 하나의 트레이에 들어가 14.4TB/s의 대역폭을 지원하며 총 9개의 트레이를 통해 130TB/s 정도의 대역폭을 지원합니다. 이는 전 세대인 GH/H200, H100보다 대역폭이 크게 늘어난 것으로 대규모 데이터 처리에 더 유리해졌습니다.
전반적으로 보면 미세 공정의 큰 변화가 없는 상황에서 엔비디아는 결국 다이를 연결하는 방식으로 트랜지스터 집적도를 크게 높이고 GPU 간 데이터 병목 현상을 줄여 대규모 데이터 처리에 더 강력한 시스템을 만들었습니다. 따라서 LLM 을 비롯해 갈수록 데이터 규모가 커지는 AI 분야의 발전을 가속할 것으로 생각됩니다. 다만 치솟는 비용과 전력 소모를 어떻게 억제할 수 있는지가 새로운 과제로 떠오르고 있습니다.
그리고 여담이지만, 엔비디아가 거의 AI 하드웨어 회사가 되면서 본업이던 게이밍 GPU 부분은 오히려 소식이 잠잠해진 느낌입니다. 블랙웰 기반의 게이밍 GPU가 나오더라도 결국 가격은 그렇게 저렴하지 않을 것 같다는 불길한 느낌도 여전합니다. 그래도 소비자용 게이밍 GPU 소식을 기다려 봅니다.
참고
댓글
댓글 쓰기