(출처: 엔비디아)
엔비디아가 GTC 행사를 통해 차기 플래그쉽 GPU인 H100 AI 가속기와 호퍼 (Hopper) 아키텍처를 공개했습니다. 2020년 공개한 암페어는 역사상 가장 성공한 서버 GPU로 작년에만 100억 달러의 매출을 올렸다고 합니다. 데이터 센터가 폭발적으로 증가하면서 이 데이터를 처리하는 일이 새로운 과제로 떠올랐고 고성능 AI GPU가 해결책으로 등장한 것이 중요한 배경입니다.
호퍼는 TSMC의 4N 공정을 이용해 암페어보다 더 강력한 성능을 확보했습니다. H100 칩은 FP32 CUDA 코어를 무려 16896개나 장착하고 텐서 코어 숫자도 528개로 늘렸으며 최대 클럭도 1.78GHz까지 높아졌습니다. 그러나 그런 만큼 전력 소모도 크게 늘어 TDP가 무려 700W에 달합니다. 아마도 단일 칩으로는 역대 최대 수준으로 보입니다. 전작인 A100의 400W도 놀라웠는데 700W는 상상을 초월하는 수준입니다.
당연히 일반 그래픽 카드로는 출시되지 않을 예정이며 SXM5 인터페이스와 HGX 베이스보드라는 별도 규격을 통해 냉각과 전력 공급을 해결합니다. 같이 공개된 사진을 보면 전작처럼 4GPU, 8GPU, 16GPU 서버 버전이 있는 것으로 보이며 대규모 서버랙에 연결해 슈퍼 컴퓨터를 구성할 수 있게 되어 있습니다. 엔비디아는 이를 이용한 슈퍼 컴퓨터 역시 계획 중입니다.
(GTC 2022 Keynote with NVIDIA CEO Jensen Huang)
(엔비디아 AI 가속 GPU 스펙 비교. 출처: 아난드텍)
H100에서 한 가지 더 눈길을 끄는 부분은 HBM3 메모리 적용입니다. 덕분에 이전과 같은 5120bit 메모리 인터페이스를 사용해도 3TB/s의 대역폭을 확보할 수 있게 됐습니다. 연산 능력은 FP16 벡터 기준 1000FLOPS, FP32 벡터 기준 60TFLOPS, FP64 벡터 기준 30TFLOPS로 이전의 세 배 수준입니다. 인공지능 연산에 중요한 INT8 텐서 연산은 2000TOPS로 역시 이전의 세 배 수준입니다.
트랜지스터 숫자는 800억개로 역시 역대 최대치인데, 모노리스 다이로 한 번에 생산할 수 있는 최대 크기인 800㎟급 (814㎟)로 담을 수 있는 최대 숫자일 것입니다. 다만 A100의 542억개의 3배가 아닌데도 속도가 3배가 나오는 이유는 아키텍처 개선과 더불어 클럭을 높인 게 이유가 아닐까 생각합니다.
다른 건 다 좋은데 TDP가 엄청나게 늘어난 부분은 꽤 신경이 쓰임니다. 일반 소비자용 버전의 후퍼 GPU도 더 전기 먹는 하마가 되지 않을까 하는 생각이 들기 때문입니다. 호퍼 아키텍처 자체가 성능을 높이면서 전기도 꽤 잘 먹게 설계된 것 같은데, 1000W 파워를 오래 전 사두길 잘했다는 생각이 드는 대목입니다. 과연 이번에는 얼마나 전기를 먹을지 궁금합니다.
참고
https://www.anandtech.com/show/17327/nvidia-hopper-gpu-architecture-and-h100-accelerator-announced
https://www.tomshardware.com/news/nvidia-hopper-h100-gpu-revealed-gtc-2022
댓글
댓글 쓰기