.jpg)
.jpg)
(출처: 구글)
구글이 작년 8월 7세대 TPU인 아이언우드 발표 후 1년도 되지 않아 8세대 TPU를 발표했습니다. 8세대 TPU는 처음으로 훈련과 추론 칩을 나눠 각각 TPU 8t와 TPU 8i로 제작됐습니다. 그러면서 복잡도가 크게 상승했는데, 개발 기간을 감안하면 아마도 7세대 칩 공개 전부터 8세대 칩을 동시에 개발할 정도로 개발에 적극 투자했다는 추정이 가능합니다.
7세대 TPU : https://blog.naver.com/jjy0501/223984502721
1) 구글 TPU 8t - 트레이닝 칩
구글 TPU 8t 칩은 강력한 학습 성능을 통해 최첨단 모델 배포 기간을 몇 달에서 몇 주 단위로 단축할 수 있습니다. TPU 8t 칩은 포드당 총 121엑사플롭스의 FP4 컴퓨팅 용량을 갖추고 있으며, 이는 아이언우드보다 2.84배 높은 수치입니다. 구글의 의하면 주요 특징은 아래와 같습니다.
- 대규모 확장 : 단일 TPU 8t 슈퍼포드는 이제 최대 9,600개의 칩과 2페타바이트의 공유 고대역폭 메모리로 확장 가능하며, 칩 간 대역폭은 이전 세대보다 두 배 향상되었습니다. 이 아키텍처는 121엑사플롭스의 컴퓨팅 성능을 제공하며, 가장 복잡한 모델도 단일의 대규모 메모리 풀을 활용할 수 있도록 지원합니다.
- 최대 활용도 : TPU 8t는 10배 더 빠른 스토리지 액세스 속도와 TPUDirect를 통해 데이터를 TPU로 직접 가져오는 기능을 통합하여 엔드 투 엔드 시스템의 최대 활용도를 보장합니다.
- 거의 선형적인 확장성 : 당사의 새로운 Virgo 네트워크는 JAX 및 Pathways 소프트웨어와 결합되어 TPU 8t가 단일 논리 클러스터에서 최대 백만 개의 칩에 대해 거의 선형적인 확장성을 제공할 수 있음을 의미합니다.
- 네이티브 FP4 : TPU 8t는 메모리 대역폭 병목 현상을 해결하기 위해 네이티브 4비트 부동 소수점(FP4)을 도입하여 MXU 처리량을 두 배로 늘리는 동시에 낮은 정밀도의 양자화에서도 대형 모델의 정확도를 유지합니다. 파라미터당 비트 수를 줄임으로써 에너지 소모가 많은 데이터 이동을 최소화하고 더 큰 모델 레이어를 로컬 하드웨어 버퍼에 배치하여 컴퓨팅 활용도를 극대화할 수 있습니다.
2) 구글 TPU 8i - 추론 칩
두 번째 칩인 TPU 8i는 추론에 특화되어 설계되었으며, 288GB의 HBM 메모리와 384MB의 온칩 SRAM을 탑재하여 이전 세대 대비 3배 향상된 용량을 제공합니다. 대용량의 SRAM 덕분에 모든 모델을 칩에서 상시 실행할 수 있습니다. TPU 8i 칩은 포드당 총 331.8 엑사플롭스의 FP8 연산 능력을 갖추고 있으며, 이는 전 세대 아이언우드보다 6.74배 높은 성능입니다. 추론칩의 특징은
- Axion 기반 효율성 향상 : 서버당 물리적 CPU 호스트 수를 두 배로 늘리고 자체 개발한 Axion Arm 기반 CPU로 전환했습니다. 또한, 비균일 메모리 아키텍처(NUMA)를 사용하여 격리함으로써 시스템 전체를 최적화하여 탁월한 성능을 구현했습니다.
- MoE 모델 확장 : 최신 전문가 혼합(MoE) 모델을 위해 상호 연결(ICI) 대역폭을 19.2Tb/s로 두 배로 늘렸습니다. 새로운 Boardfly 아키텍처는 최대 네트워크 직경을 50% 이상 줄여 시스템이 하나의 응집력 있고 지연 시간이 짧은 단위로 작동하도록 보장합니다.
- 지연 현상 제거: 당사의 새로운 온칩 콜렉티브 가속 엔진(CAE)은 글로벌 연산을 오프로드하여 온칩 지연 시간을 최대 5배까지 줄이고 지연을 최소화합니다.
(구글 TPU 8i 추론칩 블록 다이어그램. 출처: 구글)
(소개 영상)
결론적으로 세대별 성능 향상 측면에서 TPU8t 트레이닝 칩은 대규모 학습에서 전세대 대비 2.7배 향상된 가격 대비 성능을 제공하며, TPU8i 추론 칩은 MoE 모델의 저지연 환경에서 전세대 대비 80% 향상된 가격 대비 성능을 제공합니다. 또한 두 칩 모두 와트당 성능이 두 배 향상되었는데, 이는 AI 총소유비용(TCO) 절감에 매우 중요합니다.
사실 기술적인 내용은 매우 복잡하기 때문에 한 눈에 쉽게 이해가 되지 않을 수 있습니다. 여기서 중요한 대목은 구글이 여전히 엔비디아의 베라 루빈 플랫폼을 도입하면서도 자체 TPU에 막대한 비용을 투자하는 이유입니다. 첫 번째 이유는 바로 비용 절감입니다. 사실 엔비디아의 베라 루빈 플랫폼은 여전히 8세대 TPU보다 강력한 성능을 지니고 있습니다. 단일칩 기준으로만 보면 루빈 GPU는 50 PFLOPS에 달하는 연산 능력을 지녀 8세대 TPU보다 몇 배 빠른 성능을 지니고 있습니다.
하지만 그만큼 비싸다는 점이 문제입니다. 비싼 가격의 이유는 칩 자체의 생산 비용도 있지만, 사실은 엔비디아의 높은 마진율에도 있습니다. 높은 이윤을 남기면서 팔다보니 가성비가 떨어지는 칩이 된 것입니다. 반면 TPU는 구글 자체 설계로 모든 마진율을 자체 흡수하니 가격대 성능비 면에서 우월합니다. 칩플레이션과 에너지 비용 급상승으로 AI 서비스의 비용은 비싸지고 수익화는 이를 따라가지 못하는 상황에서 구글이 누리는 비용 절감 효과는 결국 AI 경쟁에서 최종 승자가 될 가능성을 높일 수 있습니다.
두 번째 이유는 구글의 서비스에 최적화된 AI 생태계 구축입니다. 이는 애플의 A 시리즈 및 M 시리즈 프로세서와 동일한 구조입니다. 이 프로세서들은 애플의 iOS 및 맥 OS, 그리고 애플 서비스에 최적화된 기능을 제공할 수 있어 비용은 절감하고 서비스 품질과 사용자 경험은 높일 수 있습니다. 구글의 여러 서비스 플랫폼에 최적화한 AI 프로세서 설계 역시 같은 이점을 제공할 수 있습니다.
이런 이유 때문에 구글 뿐 아니라 오픈 AI나 앤스로픽 역시 자체 칩 플랫폼을 개발하거나 타사 플랫폼 활용을 고려하고 있지만, 이미 10년 이상 개발해온 TPU의 노하우를 따라잡기는 쉽지 않아 보입니다. 즉 구글 입장에서는 앞선 TPU 설계와 이미 구축해 놓은 생태계가 이들과의 경쟁에서 매우 큰 무기가 될 수 있는 것입니다.
이점을 감안하면 앞으로도 구글은 TPU에 많은 투자를 하면서 유리한 입지를 다져나갈 것으로 예상됩니다. 결국 이를 통해 AI 전쟁에서 최종 승자가 될 수 있을지 주목됩니다.
참고
댓글
댓글 쓰기