기본 콘텐츠로 건너뛰기

엔비디아 암페어 A100 공개 - 데이터 센터와 인공지능을 위한 초거대 프로세서











(출처; 엔비디아) 


 엔비디아가 코로나 19로 치뤄진 사상 첫 온라인 GTC인 GPU Technology Conference 2020에서 차세대 아키텍처인 암페어 (Ampere)와 데이터 센터를 위한 고성능 HPC/AI 프로세서인 A100을 공개했습니다. A100은 여러 모로 괴물이라고 할 수 있는데, TSMC의 N7 공정으로 무려 826㎟ 크기의 GPU를 제조해 트랜지스터 집적도가 542억개에 달합니다. 


 구조는 8개의 GPC가 있고 각 GPC당 8 TPC, 그리고 TPC 한 개당 2개의 SM(streaming multiprocessor)이 있는 방식입니다. 따라서 8x8x2=128개의 SM이 있습니다. 각 SM당 64개의 FP32 CUDA 코어와 64개의 INT32코어, 그리고 4개의 3세대 텐서코어 (Tensor Core)를 지니고 있으나 튜링과는 달리 RT 코어는 없습니다. 이는 이 GPU가 게이밍용이 아닌 HPC 및 AI 연산 전용으로 개발되었음을 의미합니다. 아마도 나중에 암페어 아키텍처를 적용한 7nm 공정의 게이밍 GPU들이 나올 것으로 예상됩니다. 


 A100은 GA100 풀칩이 아니라 컷칩이기 때문에 실제 CUDA코어의 숫자는 6912개이며 부스트 클럭은 1.41GHz까지입니다. 그럼에도 볼타보다 훨씬 많은 400W TDP를 요구하는 거대 칩이 되었습니다. 이렇게 전력 소모와 발열이 늘어난 이유는 40GB에 달하는 HBM2 메모리와 더불어 공정 미세화 대비 트랜지스터 집적도 증가가 급격하기 때문일 것입니다. 


 A100은 PCIe 4.0을 지원하기는 하나 통상적인 PCIe 규격 카드로는 이 발열량이 감당이 안되기 때문에 SXM4 규격을 통해 더 많은 전력과 서버 환경에 적합한 쿨링을 제공합니다. 다만 볼타처럼 나중에 PCIe 규격 카드 형태로도 나올 것으로 예상됩니다. 그러면 A100보다는 더 컷칩 형태로 나올 것으로 보입니다. 물론 풀칩도 나중에 데이터 센터 시장을 노리고 나올 수 있는데 400W보다 더 TDP를 높일지 궁금합니다. 



A100
V100
P100
FP32 CUDA Cores
6912
5120
3584
Boost Clock
~1.41GHz
1530MHz
1480MHz
Memory Clock
2.4Gbps HBM2
1.75Gbps HBM2
1.4Gbps HBM2
Memory Bus Width
5120-bit
4096-bit
4096-bit
Memory Bandwidth
1.6TB/sec
900GB/sec
720GB/sec
VRAM
40GB
16GB/32GB
16GB
Single Precision
19.5 TFLOPs
15.7 TFLOPs
10.6 TFLOPs
Double Precision
9.7 TFLOPs
(1/2 FP32 rate)
7.8 TFLOPs
(1/2 FP32 rate)
5.3 TFLOPs
(1/2 FP32 rate)
INT8 Tensor
624 TOPs
N/A
N/A
FP16 Tensor
312 TFLOPs
125 TFLOPs
N/A
TF32 Tensor
156 TFLOPs
N/A
N/A
Interconnect
NVLink 3
12 Links (600GB/sec)
NVLink 2
6 Links (300GB/sec)
NVLink 1
4 Links (160GB/sec)
GPU
A100
(826mm2)
GV100
(815mm2)
GP100
(610mm2)
Transistor Count
54.2B
21.1B
15.3B
TDP
400W
300W/350W
300W
Manufacturing Process
TSMC 7N
TSMC 12nm FFN
TSMC 16nm FinFET
Interface
SXM4
SXM2/SXM3
SXM
Architecture
Ampere
Volta
Pascal

(암페어, 볼타, 파스칼의 비교. 출처: 아난드텍) 


 A100에서 주목할 점은 엔비디아가 AI 관련 연산에 심혈을 기울였다는 것입니다. 이미 엔비디아는 볼타에서 데이터 센터를 위한 AI 가속기로 방향성을 크게 틀었지만, 암페어에서는 더 적극적으로 지원해 성능을 대폭 향상시켰습니다. 당연히 그만큼 수요가 있기 때문입니다. 이제 고성능 GPU는 HPC를 위한 병렬 연산은 물론 인공지능 연산 처리를 위해 많이 사용되고 있습니다. 3년만에 등장한 A100 역시 이런 수요에 적극 대응하고 있습니다. 


 사실 A100의 배정밀도 연산 능력은 9.7 TFLOPs로 볼타의 7.8 TFLOPs고 비교해서 큰 차이가 없습니다. 트랜지스터 숫자가 대폭 늘어난 점을 생각하면 결국 일반적인 연산 유닛 대신 인공지능 관련 연산 유닛을 대폭 집어넣어 고성능 AI 가속기로 거듭났다고 생각할 수 있습니다. 실제 스펙도 이를 입증합니다.


 A100에 새로 도입된 TensorFloat-32 (TF32) 텐서 코어는 FP32 데이터 연산을 10배 빨리처리할 수 있습니다. 이를 전용으로 처리할 수 있는 유닛이 탑재되었기 때문입니다. 볼타에서도 가속 가능한 FP16 텐서 연산은 2.5배 빨리처리할 수 있는데, 엔비디아는 새로 도입한 희소성 가속 (Sparsity Acceleration) 방법을 통해 다시 이를 두 배 빠르게 처리할 수 있습니다. 따라서 FP32 텐서 연산 같은 인공지능 관련 특수 연산에서 최대 20배 빠르다고 주장하는 것입니다. 다만 전체적인 인공지능 연산은 방식에 따라 3-7배 정도 빠르며 HPC 연산 능력은 1.5-2.1배 정도 빠른 정도입니다. 




(출처: 엔비디아) 


 암페어의 또 다른 흥미로운 기능은 하나의 GPU를 7개의 작은 GPU로 나눠 쓸 수 있는 Multi-Instance GPU (MIG) 기능입니다. 사실 서버 CPU의 경우 여러 사용자가 CPU 자원을 나눠쓰는 게 일반적인 경우지만, 아직 GPU에서는 일반적인 경우라고 할 수 없습니다. 하지만 A100처럼 거대한 자원을 지닌 GPU의 경우 목적에 따라 여러 개로 쪼개 쓰거나 통으로 사용할 수 있어 여러 가지 연산 환경에서 유연하게 대처할 수 있을 것입니다. 


 엔비디아는 암페어의 공개와 함께 자사의 소형 슈퍼컴퓨터 시스템인 DGX 역시 업데이트 했습니다. DGX A100는 8개의 A100 프로세서와 AMD Rome 7742 CPU 2개 (각각 64코어), 15TB 스토리지, 1TB 메모리 등의 사양을 갖추고 19만9천 달러에 판매됩니다. 과거처럼 인텔 CPU가 아닌 AMD 칩을 사용했다는 점이 흥미롭지만, 현재 성능을 고려하면 당연한 조치로 생각됩니다. 첫 고객은 미 국립 연구소인 아르곤 국립 연구소 Argonne National Laboratory로 이미 설치가 시작되었습니다. 


 앞으로 암페어 기반으로 등장할 새로운 GPU (아마도 RTX 3000 시리즈가 될 듯)도 기대해 보겠습니다. 


 참고 




라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

세상에서 가장 큰 벌

( Wallace's giant bee, the largest known bee species in the world, is four times larger than a European honeybee(Credit: Clay Bolt) ) (Photographer Clay Bolt snaps some of the first-ever shots of Wallace's giant bee in the wild(Credit: Simon Robson)  월리스의 거대 벌 (Wallace’s giant bee)로 알려진 Megachile pluto는 매우 거대한 인도네시아 벌로 세상에서 가장 거대한 말벌과도 경쟁할 수 있는 크기를 지니고 있습니다. 암컷의 경우 몸길이 3.8cm, 날개너비 6.35cm으로 알려진 벌 가운데 가장 거대하지만 수컷의 경우 이보다 작아서 몸길이가 2.3cm 정도입니다. 아무튼 일반 꿀벌의 4배가 넘는 몸길이를 지닌 거대 벌이라고 할 수 있습니다.   메가칠레는 1981년 몇 개의 표본이 발견된 이후 지금까지 추가 발견이 되지 않아 멸종되었다고 보는 과학자들도 있었습니다. 2018년에 eBay에 표본이 나왔지만, 언제 잡힌 것인지는 알 수 없었습니다. 사실 이 벌은 1858년 처음 발견된 이후 1981년에야 다시 발견되었을 만큼 찾기 어려운 희귀종입니다. 그런데 시드니 대학과 국제 야생 동물 보호 협회 (Global Wildlife Conservation)의 연구팀이 오랜 수색 끝에 2019년 인도네시아의 오지에서 메가칠레 암컷을 야생 상태에서 발견하는데 성공했습니다.   메가칠레 암컷은 특이하게도 살아있는 흰개미 둥지가 있는 나무에 둥지를 만들고 살아갑니다. 이들의 거대한 턱은 나무의 수지를 모아 둥지를 짓는데 유리합니다. 하지만 워낙 희귀종이라 이들의 생태에 대해서는 거의 알려진 바가 없습니다.  (동영상)...
댓글 쓰기
자세한 내용 보기

몸에 철이 많으면 조기 사망 위험도가 높다?

 철분은 인체에 반드시 필요한 미량 원소입니다. 헤모글로빈에 필수적인 물질이기 때문에 철분 부족은 흔히 빈혈을 부르며 반대로 피를 자꾸 잃는 경우에는 철분 부족 현상이 발생합니다. 하지만 철분 수치가 높다는 것은 반드시 좋은 의미는 아닙니다. 모든 일에는 적당한 수준이 있게 마련이고 철 역시 너무 많으면 여러 가지 질병을 일으킬 수 있습니다. 철 대사에 문제가 생겨 철이 과다하게 축적되는 혈색소증 ( haemochromatosis ) 같은 드문 경우가 아니라도 과도한 철분 섭취나 수혈로 인한 철분 과잉은 건강에 문제를 일으킬 수 있습니다. 하지만 높은 철 농도가 수명에 미치는 영향에 대해서는 잘 알려지지 않았습니다.   하버드 대학의 이야스 다글라스( Iyas Daghlas )와 임페리얼 칼리지 런던의 데펜더 길 ( Dipender Gill )은 체내 철 함유량에 영향을 미치는 유전적 변이와 수명의 관계를 조사했습니다. 연구팀은 48972명의 유전 정보와 혈중 철분 농도, 그리고 기대 수명의 60/90%에서 생존 확률을 조사했습니다. 그 결과 유전자로 예측한 혈중 철분 농도가 증가할수록 오래 생존할 가능성이 낮은 것으로 나타났습니다. 이것이 유전자 자체 때문인지 아니면 높은 혈중/체내 철 농도 때문인지는 명확하지 않지만, 높은 혈중 철 농도가 꼭 좋은 뜻이 아니라는 것을 시사하는 결과입니다.   연구팀은 이 데이터를 근거로 건강한 사람이 영양제나 종합 비타민제를 통해 과도한 철분을 섭취할 이유는 없다고 주장했습니다. 어쩌면 높은 철 농도가 조기 사망 위험도를 높일지도 모르기 때문입니다. 그러나 임산부나 빈혈 환자 등 진짜 철분이 필요한 사람들까지 철분 섭취를 꺼릴 필요가 없다는 점도 강조했습니다. 연구 내용은 정상보다 높은 혈중 철농도가 오래 유지되는 경우를 가정한 것으로 본래 철분 부족이 있는 사람을 대상으로 한 것이 아니기 때문입니다. 낮은 철분 농도와 빈혈이 건강에 미치는 악영향은 이미 잘 알려져 있기 때문에 철...
댓글 쓰기
자세한 내용 보기

인슐린 주사 일주일에 한 번만 맞아도 된다?

   당뇨병은 관리가 까다로운 만성 질병 중 하나입니다. 특히 인슐린 주사가 필요한 경우에는 더 관리가 어렵습니다. 하루에 주사를 몇 번씩 맞아야 하면 찌르는 것도 고통이고 실수로 건너뛰거나 용량을 실수하는 경우도 드물지 않습니다. 특히 고령 환자의 경우 더 위험할 수 있습니다. 이런 문제를 극복하기 위해 여러 제약 회사들이 새로운 투여 방법과 인슐린 제제를 내놓고 있습니다.   최근 2상 임상 시험을 마친 노보 노디스크 ( Novo Nordisk )의 인슐린 아이코덱 ( icodec )은 일주일에 한 번 투여하는 장시간 인슐린 제제입니다. 아이코덱은 효소에 의해 분해되는 것을 막는 변형 인슐린 분자로 혈액에서 알부민과 결합해 서서히 분리되기 때문에 한 번 주사로도 일주일이나 효과를 유지할 수 있습니다.   하지만 이렇게 장시간 작용하는 인슐린 제제의 경우 환자의 식사나 운동 같은 상황 변화에 인슐린 농도가 적절하게 유지되지 않을 가능성이 있습니다. 이번 2상 임상시험에서는 247명의 당뇨 환자를 두 그룹으로 나눈 후 실험군은 일주일에 한 번씩 아이코덱을 투여받고 매일 위약을 투여받았습니다. 그리고 대조군은 반대로 일주일에 한 번씩 위약을 투여받고 하루에 한 번씩 장시간 인슐린 제제인 란투스 (Lantus, glargine) 100U을 투여받았습니다.   26주에 걸친 임상 실험 결과 하루에 한 번 란투스를 투여받은 그룹이나 일주일에 한 번 아이코덱을 투여받은 그룹에서 특별한 합병증 차이를 발견할 수 없었습니다. 혈당 조절의 지표인 당화 혈색소 (HbA1c) 농도 역시 아이코덱 그룹에서 1.33% 감소한 반면 란투스 그룹에서 1.15% 정도 감소해서 큰 차이는 없었습니다. 그렇다면 하루에 한 번 투여하는 대신 일주일에 한 번 투여하는 것이 더 편리하고 실수로 두 번 투여하거나 건너 뛸 위험성이 적을 것입니다. 이 연구 결과는 뉴잉글랜드 저널 오브 메디슨 ( New England Journal...
댓글 쓰기
자세한 내용 보기