기본 콘텐츠로 건너뛰기

구글 8세대 TPU 공개 - 훈련과 추론 칩 나눴다.






 (출처: 구글)

​

​

구글이 작년 8월 7세대 TPU인 아이언우드 발표 후 1년도 되지 않아 8세대 TPU를 발표했습니다. 8세대 TPU는 처음으로 훈련과 추론 칩을 나눠 각각 TPU 8t와 TPU 8i로 제작됐습니다. 그러면서 복잡도가 크게 상승했는데, 개발 기간을 감안하면 아마도 7세대 칩 공개 전부터 8세대 칩을 동시에 개발할 정도로 개발에 적극 투자했다는 추정이 가능합니다.

​

7세대 TPU : https://blog.naver.com/jjy0501/223984502721

​

1) 구글 TPU 8t - 트레이닝 칩

​

구글 TPU 8t 칩은 강력한 학습 성능을 통해 최첨단 모델 배포 기간을 몇 달에서 몇 주 단위로 단축할 수 있습니다. TPU 8t 칩은 포드당 총 121엑사플롭스의 FP4 컴퓨팅 용량을 갖추고 있으며, 이는 아이언우드보다 2.84배 높은 수치입니다. 구글의 의하면 주요 특징은 아래와 같습니다.

​

- 대규모 확장 : 단일 TPU 8t 슈퍼포드는 이제 최대 9,600개의 칩과 2페타바이트의 공유 고대역폭 메모리로 확장 가능하며, 칩 간 대역폭은 이전 세대보다 두 배 향상되었습니다. 이 아키텍처는 121엑사플롭스의 컴퓨팅 성능을 제공하며, 가장 복잡한 모델도 단일의 대규모 메모리 풀을 활용할 수 있도록 지원합니다.

​

- 최대 활용도 : TPU 8t는 10배 더 빠른 스토리지 액세스 속도와 TPUDirect를 통해 데이터를 TPU로 직접 가져오는 기능을 통합하여 엔드 투 엔드 시스템의 최대 활용도를 보장합니다.

​

- 거의 선형적인 확장성 : 당사의 새로운 Virgo 네트워크는 JAX 및 Pathways 소프트웨어와 결합되어 TPU 8t가 단일 논리 클러스터에서 최대 백만 개의 칩에 대해 거의 선형적인 확장성을 제공할 수 있음을 의미합니다.

​

- 네이티브 FP4 : TPU 8t는 메모리 대역폭 병목 현상을 해결하기 위해 네이티브 4비트 부동 소수점(FP4)을 도입하여 MXU 처리량을 두 배로 늘리는 동시에 낮은 정밀도의 양자화에서도 대형 모델의 정확도를 유지합니다. 파라미터당 비트 수를 줄임으로써 에너지 소모가 많은 데이터 이동을 최소화하고 더 큰 모델 레이어를 로컬 하드웨어 버퍼에 배치하여 컴퓨팅 활용도를 극대화할 수 있습니다.

​

​


(구글 TPU8t 블록 다이어그램. 출처: 구글)

​

​

2) 구글 TPU 8i - 추론 칩

​

두 번째 칩인 TPU 8i는 추론에 특화되어 설계되었으며, 288GB의 HBM 메모리와 384MB의 온칩 SRAM을 탑재하여 이전 세대 대비 3배 향상된 용량을 제공합니다. 대용량의 SRAM 덕분에 모든 모델을 칩에서 상시 실행할 수 있습니다. TPU 8i 칩은 포드당 총 331.8 엑사플롭스의 FP8 연산 능력을 갖추고 있으며, 이는 전 세대 아이언우드보다 6.74배 높은 성능입니다. 추론칩의 특징은

​

- Axion 기반 효율성 향상 : 서버당 물리적 CPU 호스트 수를 두 배로 늘리고 자체 개발한 Axion Arm 기반 CPU로 전환했습니다. 또한, 비균일 메모리 아키텍처(NUMA)를 사용하여 격리함으로써 시스템 전체를 최적화하여 탁월한 성능을 구현했습니다.

​

- MoE 모델 확장 : 최신 전문가 혼합(MoE) 모델을 위해 상호 연결(ICI) 대역폭을 19.2Tb/s로 두 배로 늘렸습니다. 새로운 Boardfly 아키텍처는 최대 네트워크 직경을 50% 이상 줄여 시스템이 하나의 응집력 있고 지연 시간이 짧은 단위로 작동하도록 보장합니다.

​

- 지연 현상 제거: 당사의 새로운 온칩 콜렉티브 가속 엔진(CAE)은 글로벌 연산을 오프로드하여 온칩 지연 시간을 최대 5배까지 줄이고 지연을 최소화합니다.

​

​



(구글 TPU 8i 추론칩 블록 다이어그램. 출처: 구글)

​

(소개 영상)

​

결론적으로 세대별 성능 향상 측면에서 TPU8t 트레이닝 칩은 대규모 학습에서 전세대 대비 2.7배 향상된 가격 대비 성능을 제공하며, TPU8i 추론 칩은 MoE 모델의 저지연 환경에서 전세대 대비 80% 향상된 가격 대비 성능을 제공합니다. 또한 두 칩 모두 와트당 성능이 두 배 향상되었는데, 이는 AI 총소유비용(TCO) 절감에 매우 중요합니다.

​

사실 기술적인 내용은 매우 복잡하기 때문에 한 눈에 쉽게 이해가 되지 않을 수 있습니다. 여기서 중요한 대목은 구글이 여전히 엔비디아의 베라 루빈 플랫폼을 도입하면서도 자체 TPU에 막대한 비용을 투자하는 이유입니다. 첫 번째 이유는 바로 비용 절감입니다. 사실 엔비디아의 베라 루빈 플랫폼은 여전히 8세대 TPU보다 강력한 성능을 지니고 있습니다. 단일칩 기준으로만 보면 루빈 GPU는 50 PFLOPS에 달하는 연산 능력을 지녀 8세대 TPU보다 몇 배 빠른 성능을 지니고 있습니다.

​

하지만 그만큼 비싸다는 점이 문제입니다. 비싼 가격의 이유는 칩 자체의 생산 비용도 있지만, 사실은 엔비디아의 높은 마진율에도 있습니다. 높은 이윤을 남기면서 팔다보니 가성비가 떨어지는 칩이 된 것입니다. 반면 TPU는 구글 자체 설계로 모든 마진율을 자체 흡수하니 가격대 성능비 면에서 우월합니다. 칩플레이션과 에너지 비용 급상승으로 AI 서비스의 비용은 비싸지고 수익화는 이를 따라가지 못하는 상황에서 구글이 누리는 비용 절감 효과는 결국 AI 경쟁에서 최종 승자가 될 가능성을 높일 수 있습니다.

​

두 번째 이유는 구글의 서비스에 최적화된 AI 생태계 구축입니다. 이는 애플의 A 시리즈 및 M 시리즈 프로세서와 동일한 구조입니다. 이 프로세서들은 애플의 iOS 및 맥 OS, 그리고 애플 서비스에 최적화된 기능을 제공할 수 있어 비용은 절감하고 서비스 품질과 사용자 경험은 높일 수 있습니다. 구글의 여러 서비스 플랫폼에 최적화한 AI 프로세서 설계 역시 같은 이점을 제공할 수 있습니다.

​

이런 이유 때문에 구글 뿐 아니라 오픈 AI나 앤스로픽 역시 자체 칩 플랫폼을 개발하거나 타사 플랫폼 활용을 고려하고 있지만, 이미 10년 이상 개발해온 TPU의 노하우를 따라잡기는 쉽지 않아 보입니다. 즉 구글 입장에서는 앞선 TPU 설계와 이미 구축해 놓은 생태계가 이들과의 경쟁에서 매우 큰 무기가 될 수 있는 것입니다.

​

이점을 감안하면 앞으로도 구글은 TPU에 많은 투자를 하면서 유리한 입지를 다져나갈 것으로 예상됩니다. 결국 이를 통해 AI 전쟁에서 최종 승자가 될 수 있을지 주목됩니다.

​

​

참고

​

​

https://wccftech.com/google-unveils-the-heart-of-agentic-ai-the-ai-hypercomputer-8th-gen-tpus-nvidia-rubin-axion-cpus/

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

세상에서 가장 큰 벌

( Wallace's giant bee, the largest known bee species in the world, is four times larger than a European honeybee(Credit: Clay Bolt) ) (Photographer Clay Bolt snaps some of the first-ever shots of Wallace's giant bee in the wild(Credit: Simon Robson)  월리스의 거대 벌 (Wallace’s giant bee)로 알려진 Megachile pluto는 매우 거대한 인도네시아 벌로 세상에서 가장 거대한 말벌과도 경쟁할 수 있는 크기를 지니고 있습니다. 암컷의 경우 몸길이 3.8cm, 날개너비 6.35cm으로 알려진 벌 가운데 가장 거대하지만 수컷의 경우 이보다 작아서 몸길이가 2.3cm 정도입니다. 아무튼 일반 꿀벌의 4배가 넘는 몸길이를 지닌 거대 벌이라고 할 수 있습니다.   메가칠레는 1981년 몇 개의 표본이 발견된 이후 지금까지 추가 발견이 되지 않아 멸종되었다고 보는 과학자들도 있었습니다. 2018년에 eBay에 표본이 나왔지만, 언제 잡힌 것인지는 알 수 없었습니다. 사실 이 벌은 1858년 처음 발견된 이후 1981년에야 다시 발견되었을 만큼 찾기 어려운 희귀종입니다. 그런데 시드니 대학과 국제 야생 동물 보호 협회 (Global Wildlife Conservation)의 연구팀이 오랜 수색 끝에 2019년 인도네시아의 오지에서 메가칠레 암컷을 야생 상태에서 발견하는데 성공했습니다.   메가칠레 암컷은 특이하게도 살아있는 흰개미 둥지가 있는 나무에 둥지를 만들고 살아갑니다. 이들의 거대한 턱은 나무의 수지를 모아 둥지를 짓는데 유리합니다. 하지만 워낙 희귀종이라 이들의 생태에 대해서는 거의 알려진 바가 없습니다.  (동영상)...
댓글 쓰기
자세한 내용 보기

몸에 철이 많으면 조기 사망 위험도가 높다?

 철분은 인체에 반드시 필요한 미량 원소입니다. 헤모글로빈에 필수적인 물질이기 때문에 철분 부족은 흔히 빈혈을 부르며 반대로 피를 자꾸 잃는 경우에는 철분 부족 현상이 발생합니다. 하지만 철분 수치가 높다는 것은 반드시 좋은 의미는 아닙니다. 모든 일에는 적당한 수준이 있게 마련이고 철 역시 너무 많으면 여러 가지 질병을 일으킬 수 있습니다. 철 대사에 문제가 생겨 철이 과다하게 축적되는 혈색소증 ( haemochromatosis ) 같은 드문 경우가 아니라도 과도한 철분 섭취나 수혈로 인한 철분 과잉은 건강에 문제를 일으킬 수 있습니다. 하지만 높은 철 농도가 수명에 미치는 영향에 대해서는 잘 알려지지 않았습니다.   하버드 대학의 이야스 다글라스( Iyas Daghlas )와 임페리얼 칼리지 런던의 데펜더 길 ( Dipender Gill )은 체내 철 함유량에 영향을 미치는 유전적 변이와 수명의 관계를 조사했습니다. 연구팀은 48972명의 유전 정보와 혈중 철분 농도, 그리고 기대 수명의 60/90%에서 생존 확률을 조사했습니다. 그 결과 유전자로 예측한 혈중 철분 농도가 증가할수록 오래 생존할 가능성이 낮은 것으로 나타났습니다. 이것이 유전자 자체 때문인지 아니면 높은 혈중/체내 철 농도 때문인지는 명확하지 않지만, 높은 혈중 철 농도가 꼭 좋은 뜻이 아니라는 것을 시사하는 결과입니다.   연구팀은 이 데이터를 근거로 건강한 사람이 영양제나 종합 비타민제를 통해 과도한 철분을 섭취할 이유는 없다고 주장했습니다. 어쩌면 높은 철 농도가 조기 사망 위험도를 높일지도 모르기 때문입니다. 그러나 임산부나 빈혈 환자 등 진짜 철분이 필요한 사람들까지 철분 섭취를 꺼릴 필요가 없다는 점도 강조했습니다. 연구 내용은 정상보다 높은 혈중 철농도가 오래 유지되는 경우를 가정한 것으로 본래 철분 부족이 있는 사람을 대상으로 한 것이 아니기 때문입니다. 낮은 철분 농도와 빈혈이 건강에 미치는 악영향은 이미 잘 알려져 있기 때문에 철...
댓글 쓰기
자세한 내용 보기

인슐린 주사 일주일에 한 번만 맞아도 된다?

   당뇨병은 관리가 까다로운 만성 질병 중 하나입니다. 특히 인슐린 주사가 필요한 경우에는 더 관리가 어렵습니다. 하루에 주사를 몇 번씩 맞아야 하면 찌르는 것도 고통이고 실수로 건너뛰거나 용량을 실수하는 경우도 드물지 않습니다. 특히 고령 환자의 경우 더 위험할 수 있습니다. 이런 문제를 극복하기 위해 여러 제약 회사들이 새로운 투여 방법과 인슐린 제제를 내놓고 있습니다.   최근 2상 임상 시험을 마친 노보 노디스크 ( Novo Nordisk )의 인슐린 아이코덱 ( icodec )은 일주일에 한 번 투여하는 장시간 인슐린 제제입니다. 아이코덱은 효소에 의해 분해되는 것을 막는 변형 인슐린 분자로 혈액에서 알부민과 결합해 서서히 분리되기 때문에 한 번 주사로도 일주일이나 효과를 유지할 수 있습니다.   하지만 이렇게 장시간 작용하는 인슐린 제제의 경우 환자의 식사나 운동 같은 상황 변화에 인슐린 농도가 적절하게 유지되지 않을 가능성이 있습니다. 이번 2상 임상시험에서는 247명의 당뇨 환자를 두 그룹으로 나눈 후 실험군은 일주일에 한 번씩 아이코덱을 투여받고 매일 위약을 투여받았습니다. 그리고 대조군은 반대로 일주일에 한 번씩 위약을 투여받고 하루에 한 번씩 장시간 인슐린 제제인 란투스 (Lantus, glargine) 100U을 투여받았습니다.   26주에 걸친 임상 실험 결과 하루에 한 번 란투스를 투여받은 그룹이나 일주일에 한 번 아이코덱을 투여받은 그룹에서 특별한 합병증 차이를 발견할 수 없었습니다. 혈당 조절의 지표인 당화 혈색소 (HbA1c) 농도 역시 아이코덱 그룹에서 1.33% 감소한 반면 란투스 그룹에서 1.15% 정도 감소해서 큰 차이는 없었습니다. 그렇다면 하루에 한 번 투여하는 대신 일주일에 한 번 투여하는 것이 더 편리하고 실수로 두 번 투여하거나 건너 뛸 위험성이 적을 것입니다. 이 연구 결과는 뉴잉글랜드 저널 오브 메디슨 ( New England Journal...
댓글 쓰기
자세한 내용 보기