(출처: 구글)
구글이 자체 Arm 기반 프로세서인 액시온 (Axion) CPU와 7세대 TPU인 아이언우드 (Ironwood)를 공개했습니다. 아이언우드 TPU는 추론 및 훈련에 특화된 AI 전용 프로세서로 4,614 FP8 TFLOPS의 연산 능력을 지니고 있습니다. 구체적인 트랜지스터 집적도나 공정 같은 상세 정보는 공개하지 않았으나 192GB HBM3e 메모리를 이용해 7.37TB/s의 대역폭을 지니고 있다고 합니다.
구글의 새 AI 하이퍼컴퓨터 (Hypercomputer)는 9216개의 아이언우드 TPU를 사용해 42.5 FP8 ExaFLOPS의 추론 및 훈련 연산이 가능합니다. 물론 TPU 숫자가 월등히 많긴 하지만, 이는 엔비디아의 GB300 NVL 72의 0.36 ExaFLOPS FP8 연산 능력보다 훨씬 큰 숫자입니다. 이 시스템의 총 HBM3e 메모리 용량만 1.77PB에 달하는데, 이 막대한 데이터를 서로 연결하기 위해 9.6Tb/s의 인터칩 연결 시스템이 사용된다고 합니다.
다만 각 칩의 전력 소모량이나 전체 시스템 메모리, CPU와 TPU의 비율 등 여러 가지 정보는 함께 공개되지 않았습니다. 아무튼 구글은 이 AI 하이퍼컴퓨터가 기존의 AI 시스템 대비 더 저렴하고 에너지 효율이 높다고 설명했습니다. 특정 목적의 AI 연산에 특화된 제품으로 보이는데, 앤트로픽이 이 TPU를 100만 개 가량 이용할 계획을 지니고 있습니다. 앞으로 TPU의 활용도가 더 높아질지 궁금해지는 대목입니다.
다른 한편으로 구글의 자체 CPU인 액시온 역시 궁금증을 불러일으키고 있습니다. 이 CPU에 대해서 알려진 것은 Arm의 네오버스 v2 기반 CPU로 코어 당 2MB의 L2 캐시와 80MB의 L3 캐시, 그리고 최대 96개의 가상 코어를 지원하고 있다는 것과 768GB DDR5 메모리를 사용하는 것 같다는 것입니다. 정확한 코어 숫자나 트랜지스터 집적도, 클럭, 성능, 전력 소모 등 자세한 정보는 전혀 공개하지 않고 있습니다.
아무튼 주요 빅테크들이 자체 CPU와 AI 프로세서를 개발하고 있어 나중에는 공급 과잉이 일어날 수 있지 않을까 하는 생각도 듭니다. 지금의 AI 붐이 적어도 한 번 이상 조정을 거쳐야 할 것으로 생각하는데, 최종 승자는 누가 될 수 있을지 궁금합니다.
참고
댓글
댓글 쓰기