(출처: AMD)
AMD가 와신상담 준비한 데이터 센터 용 AI 연산 GPU인 인스팅트 MI300X와 APU인 인스팅트 MI300A를 공개했습니다. CDNA3 아키텍처에 기반한 최신 GPU인 MI300X는 304개나 되는 컴퓨트 유닛 (CU)를 집적한 것으로 총 19,456개의 스트림 프로세서를 지니고 있습니다. 트랜지스터 집적도는 1530억 개로 이제까지 AMD가 만든 프로세서 중 가장 거대합니다. 전력 소모 역시 750W나 되만, 용도를 감안하면 크게 문제되는 수준은 아닐 것입니다.
MI300X는 생성 AI에 특화된 GPU로 AMD의 주장에 따르면 경쟁자인 엔비디아의 H100보다 AI 간섭 연산에 1.6배 높은 성능과 비슷한 수준의 AI 훈련 성능을 제공합니다. CPU와 함께 사용하 수 있는 서버 APU인 인스팅트 MI300A는 8개의 GPU 칩렛 (XCD) 중 두 개를 CPU 칩렛 (CCD) 3개로 바꾼 것으로 24코어 Zen 4와 224개의 컴퓨트 유닛을 지니고 있습니다. 참고로 I/O 다이가 4개라서 총 칩렛은 12개나 13개입니다. MI300A의 트랜지스터 집적도도 1460억 개에 달합니다.
(동영상)
MI300 시리즈의 가장 흥미로운 특징은 사실 패키징에 있습니다. 3.5D 패키징이라고 명명한 3차원 패키징 방식은 반도체 기질 (substrate) 위에 실리콘 인터포저를 올려놓고 그 위에 I/O 칩렛을 올린 후 다시 그 위에 XCD 칩렛이나 CCD 칩렛을 올려놓는 방식을 사용합니다. 그 옆에는 HBM3 메모리가 들어가는데, MI300X는 192GB, MI300A는 128GB를 지원할 수 있습니다.
AMD는 MI300 8개를 하나의 서버로 관리할 수 있는 시스템도 같이 내놓아 엔비디아의 DGX 시리즈를 견제하고 있습니다. 각각의 GPU 혹은 CPU를 식히기 위한 거대한 벽돌 같은 쿨러도 인상적입니다.
다만 이런 노력에도 불구하고 AMD가 AI 시장에서 성장할 수 있을지는 미지수입니다. 오래 전 CUDA를 무료로 풀면서 관련 생태계를 오래 전 장악한 엔비디아의 노력 덕분에 이제 AI 생태계는 엔비디아의 GPU를 중심으로 돌아가고 있습니다. 이런 저런 강력한 성능을 지닌 경쟁작을 내놓아도 시장에서 반응은 썩 좋지 않은 이유입니다.
이번에는 좀 다를 수 있을지 두고봐야 알겠지만, 과거 윈도우 OS나 x86 아키텍처 때처럼 엔비디아 GPU가 이미 표준처럼 자리잡은 상태에서 비집고 들어갈 틈은 그렇게 크지 않을 것으로 생각됩니다.
참고
https://www.amd.com/en/products/accelerators/instinct/mi300.html
댓글
댓글 쓰기