(출처: 퀄컴)
전에 소개드린 적 있는 퀄컴의 클라우드 AI 100의 구체적인 스펙과 출시 일정이 공개되었습니다. ( https://blog.naver.com/jjy0501/221510813435 참조)클라우드 AI 100은 엔비디아의 A100 같은 인공지능 특화 GPU가 아니라 AI 관련 연산 유닛만 있는 전용 하드웨어 가속기로 (Purpose built AI accelerators)로 스냅드래곤 SoC에서 NPU 부분만 빼서 서버용 가속기로 개발한 것이 아닐까 추측됩니다.
따라서 그 AI 연산 전성비는 당연히 GPU보다 좋을 수밖에 없는데, 퀄컴이 주장한 수치에 따르면 75W에서 400TOPs입니다. 이는 400W인 엔비디아 암페어 A100의 INT8 텐서 기준 624TOPs보다 더 뛰어난 수준은 아니지만, 전성비에서는 훨씬 우월한 수치입니다. 다만 이는 퀄컴의 주장으로 실제 성능은 역시 실물이 나와봐야 평가가 가능할 것으로 생각됩니다.
엔비디아 A100: https://blog.naver.com/jjy0501/221963445659
클라우드 AI 100은 75W TDP의 PCIe 4.0 버전과 25W/15W TDP의 DM.2, DM2e라는 저전력 폼펙터 카드도 같이 지원한다고 합니다. 후자는 저전력 엣지 클라우드 컴퓨팅 시장을 노린 것으로 보이는데, 두 개의 M.2 커넥터를 이용한다고 합니다. 아마도 이를 활용한 것으로 보이는 Cloud Edge AI 100 개발자 킷은 스냅드래곤 865 SoC와 X55 모뎀을 이용해 5G 네트워크로 고성능 인공지능 연산 능력이 가능한 소형 폼펙터 기기를 제공합니다. (사진 참조)
클라우드 AI 100의 구체적인 제조 공정이나 트랜지스터 숫자는 같이 공개되지 않았지만, 16개의 AI 코어를 사용하며 144MB나 되는 온 다이 (On-die) SRAM을 장착했습니다. 대용량 임베디드 메모리 덕분에 클라우드 AI 100 칩은 64bit LPDDR4X (2100MHz, LPDDR4X-4200) 만으로도 충분한 대역폭을 확보할 수 있습니다. 사실 이 메모리 구성으로 얻을 수 있는 대역폭은 134GB/s로 중간 성능의 GPU로도 모자란 수준이지만, 다이 내부에 액세스 속도가 매우 빠른 메모리를 넣어 이를 극복한 것으로 보입니다. 이런 구성의 장점은 저전력이라는 것입니다. HBM2 메모리나 GDDR6X는 전력 소모가 크기 때문에 TDP를 낮추는 데 한계가 있습니다. 모바일 AP 중심의 퀄컴의 저전력 설계 사상이 나타나는 대목입니다.
클라우드 AI 100의 출시 시점은 내년 상반기입니다. 슬라이드만보면 AI 가속기 시장을 재패할 것 같지만, 실제 성능과 호환성에서 만족스러운 결과물을 내놓을 수 있을지는 역시 나와봐야 알 수 있습니다. 내년이 되면 실체를 알 수 있을 것 같습니다.
참고
https://www.anandtech.com/show/16083/qualcomms-cloud-ai-100-now-in-production-up-to-400tops-at-75w
댓글
댓글 쓰기