기본 콘텐츠로 건너뛰기

엔비디아 암페어 A100 공개 - 데이터 센터와 인공지능을 위한 초거대 프로세서











(출처; 엔비디아) 


 엔비디아가 코로나 19로 치뤄진 사상 첫 온라인 GTC인 GPU Technology Conference 2020에서 차세대 아키텍처인 암페어 (Ampere)와 데이터 센터를 위한 고성능 HPC/AI 프로세서인 A100을 공개했습니다. A100은 여러 모로 괴물이라고 할 수 있는데, TSMC의 N7 공정으로 무려 826㎟ 크기의 GPU를 제조해 트랜지스터 집적도가 542억개에 달합니다. 


 구조는 8개의 GPC가 있고 각 GPC당 8 TPC, 그리고 TPC 한 개당 2개의 SM(streaming multiprocessor)이 있는 방식입니다. 따라서 8x8x2=128개의 SM이 있습니다. 각 SM당 64개의 FP32 CUDA 코어와 64개의 INT32코어, 그리고 4개의 3세대 텐서코어 (Tensor Core)를 지니고 있으나 튜링과는 달리 RT 코어는 없습니다. 이는 이 GPU가 게이밍용이 아닌 HPC 및 AI 연산 전용으로 개발되었음을 의미합니다. 아마도 나중에 암페어 아키텍처를 적용한 7nm 공정의 게이밍 GPU들이 나올 것으로 예상됩니다. 


 A100은 GA100 풀칩이 아니라 컷칩이기 때문에 실제 CUDA코어의 숫자는 6912개이며 부스트 클럭은 1.41GHz까지입니다. 그럼에도 볼타보다 훨씬 많은 400W TDP를 요구하는 거대 칩이 되었습니다. 이렇게 전력 소모와 발열이 늘어난 이유는 40GB에 달하는 HBM2 메모리와 더불어 공정 미세화 대비 트랜지스터 집적도 증가가 급격하기 때문일 것입니다. 


 A100은 PCIe 4.0을 지원하기는 하나 통상적인 PCIe 규격 카드로는 이 발열량이 감당이 안되기 때문에 SXM4 규격을 통해 더 많은 전력과 서버 환경에 적합한 쿨링을 제공합니다. 다만 볼타처럼 나중에 PCIe 규격 카드 형태로도 나올 것으로 예상됩니다. 그러면 A100보다는 더 컷칩 형태로 나올 것으로 보입니다. 물론 풀칩도 나중에 데이터 센터 시장을 노리고 나올 수 있는데 400W보다 더 TDP를 높일지 궁금합니다. 



A100
V100
P100
FP32 CUDA Cores
6912
5120
3584
Boost Clock
~1.41GHz
1530MHz
1480MHz
Memory Clock
2.4Gbps HBM2
1.75Gbps HBM2
1.4Gbps HBM2
Memory Bus Width
5120-bit
4096-bit
4096-bit
Memory Bandwidth
1.6TB/sec
900GB/sec
720GB/sec
VRAM
40GB
16GB/32GB
16GB
Single Precision
19.5 TFLOPs
15.7 TFLOPs
10.6 TFLOPs
Double Precision
9.7 TFLOPs
(1/2 FP32 rate)
7.8 TFLOPs
(1/2 FP32 rate)
5.3 TFLOPs
(1/2 FP32 rate)
INT8 Tensor
624 TOPs
N/A
N/A
FP16 Tensor
312 TFLOPs
125 TFLOPs
N/A
TF32 Tensor
156 TFLOPs
N/A
N/A
Interconnect
NVLink 3
12 Links (600GB/sec)
NVLink 2
6 Links (300GB/sec)
NVLink 1
4 Links (160GB/sec)
GPU
A100
(826mm2)
GV100
(815mm2)
GP100
(610mm2)
Transistor Count
54.2B
21.1B
15.3B
TDP
400W
300W/350W
300W
Manufacturing Process
TSMC 7N
TSMC 12nm FFN
TSMC 16nm FinFET
Interface
SXM4
SXM2/SXM3
SXM
Architecture
Ampere
Volta
Pascal

(암페어, 볼타, 파스칼의 비교. 출처: 아난드텍) 


 A100에서 주목할 점은 엔비디아가 AI 관련 연산에 심혈을 기울였다는 것입니다. 이미 엔비디아는 볼타에서 데이터 센터를 위한 AI 가속기로 방향성을 크게 틀었지만, 암페어에서는 더 적극적으로 지원해 성능을 대폭 향상시켰습니다. 당연히 그만큼 수요가 있기 때문입니다. 이제 고성능 GPU는 HPC를 위한 병렬 연산은 물론 인공지능 연산 처리를 위해 많이 사용되고 있습니다. 3년만에 등장한 A100 역시 이런 수요에 적극 대응하고 있습니다. 


 사실 A100의 배정밀도 연산 능력은 9.7 TFLOPs로 볼타의 7.8 TFLOPs고 비교해서 큰 차이가 없습니다. 트랜지스터 숫자가 대폭 늘어난 점을 생각하면 결국 일반적인 연산 유닛 대신 인공지능 관련 연산 유닛을 대폭 집어넣어 고성능 AI 가속기로 거듭났다고 생각할 수 있습니다. 실제 스펙도 이를 입증합니다.


 A100에 새로 도입된 TensorFloat-32 (TF32) 텐서 코어는 FP32 데이터 연산을 10배 빨리처리할 수 있습니다. 이를 전용으로 처리할 수 있는 유닛이 탑재되었기 때문입니다. 볼타에서도 가속 가능한 FP16 텐서 연산은 2.5배 빨리처리할 수 있는데, 엔비디아는 새로 도입한 희소성 가속 (Sparsity Acceleration) 방법을 통해 다시 이를 두 배 빠르게 처리할 수 있습니다. 따라서 FP32 텐서 연산 같은 인공지능 관련 특수 연산에서 최대 20배 빠르다고 주장하는 것입니다. 다만 전체적인 인공지능 연산은 방식에 따라 3-7배 정도 빠르며 HPC 연산 능력은 1.5-2.1배 정도 빠른 정도입니다. 




(출처: 엔비디아) 


 암페어의 또 다른 흥미로운 기능은 하나의 GPU를 7개의 작은 GPU로 나눠 쓸 수 있는 Multi-Instance GPU (MIG) 기능입니다. 사실 서버 CPU의 경우 여러 사용자가 CPU 자원을 나눠쓰는 게 일반적인 경우지만, 아직 GPU에서는 일반적인 경우라고 할 수 없습니다. 하지만 A100처럼 거대한 자원을 지닌 GPU의 경우 목적에 따라 여러 개로 쪼개 쓰거나 통으로 사용할 수 있어 여러 가지 연산 환경에서 유연하게 대처할 수 있을 것입니다. 


 엔비디아는 암페어의 공개와 함께 자사의 소형 슈퍼컴퓨터 시스템인 DGX 역시 업데이트 했습니다. DGX A100는 8개의 A100 프로세서와 AMD Rome 7742 CPU 2개 (각각 64코어), 15TB 스토리지, 1TB 메모리 등의 사양을 갖추고 19만9천 달러에 판매됩니다. 과거처럼 인텔 CPU가 아닌 AMD 칩을 사용했다는 점이 흥미롭지만, 현재 성능을 고려하면 당연한 조치로 생각됩니다. 첫 고객은 미 국립 연구소인 아르곤 국립 연구소 Argonne National Laboratory로 이미 설치가 시작되었습니다. 


 앞으로 암페어 기반으로 등장할 새로운 GPU (아마도 RTX 3000 시리즈가 될 듯)도 기대해 보겠습니다. 


 참고 




라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

통계 공부는 어떻게 하는 것이 좋을까?

 사실 저도 통계 전문가가 아니기 때문에 이런 주제로 글을 쓰기가 다소 애매하지만, 그래도 누군가에게 도움이 될 수 있다고 생각해서 글을 올려봅니다. 통계학, 특히 수학적인 의미에서의 통계학을 공부하게 되는 계기는 사람마다 다르긴 하겠지만, 아마도 비교적 흔하고 난감한 경우는 논문을 써야 하는 경우일 것입니다. 오늘날의 학문적 연구는 집단간 혹은 방법간의 차이가 있다는 것을 객관적으로 보여줘야 하는데, 그려면 불가피하게 통계적인 방법을 쓸 수 밖에 없게 됩니다. 이런 이유로 분야와 주제에 따라서는 아닌 경우도 있겠지만, 상당수 논문에서는 통계학이 들어가게 됩니다.   문제는 데이터를 처리하고 분석하는 방법을 익히는 데도 상당한 시간과 노력이 필요하다는 점입니다. 물론 대부분의 학과에서 통계 수업이 들어가기는 하지만, 그것만으로는 충분하지 않은 경우가 많습니다. 대학 학부 과정에서는 대부분 논문 제출이 필요없거나 필요하다고 해도 그렇게 높은 수준을 요구하지 않지만, 대학원 이상 과정에서는 SCI/SCIE 급 논문이 필요하게 되어 처음 논문을 작성하는 입장에서는 상당히 부담되는 상황에 놓이게 됩니다.  그리고 이후 논문을 계속해서 쓰게 될 경우 통계 문제는 항상 나를 따라다니면서 괴롭히게 될 것입니다.  사정이 이렇다보니 간혹 통계 공부를 어떻게 하는 것이 좋겠냐는 질문이 들어옵니다. 사실 저는 통계 전문가라고 하기에는 실력은 모자라지만, 대신 앞서서 삽질을 한 경험이 있기 때문에 몇 가지 조언을 해줄 수 있을 것 같습니다.  1. 입문자를 위한 책을 추천해달라  사실 예습을 위해서 미리 공부하는 것은 추천하지 않습니다. 기본적인 통계는 학과별로 다르지 않더라도 주로 쓰는 분석방법은 분야별로 상당한 차이가 있을 수 있어 결국은 자신이 주로 하는 부분을 잘 해야 하기 때문입니다. 그러기 위해서는 학과 커리큘럼에 들어있는 통계 수업을 듣는 것이 더 유리합니다...
댓글 4개
자세한 내용 보기

9000년 전 소녀의 모습을 복원하다.

( The final reconstruction. Credit: Oscar Nilsson )  그리스 아테나 대학과 스웨덴 연구자들이 1993년 발견된 선사 시대 소녀의 모습을 마치 살아있는 것처럼 복원하는데 성공했습니다. 이 유골은 그리스의 테살리아 지역의 테오페트라 동굴 ( Theopetra Cave )에서 발견된 것으로 연대는 9000년 전으로 추정됩니다. 유골의 주인공은 15-18세 사이의 소녀로 정확한 사인은 알 수 없으나 괴혈병, 빈혈, 관절 질환을 앓고 있었던 것으로 확인되었습니다.   이 소녀가 살았던 시기는 유럽 지역에서 수렵 채집인이 초기 농경으로 이전하는 시기였습니다. 다른 시기와 마찬가지로 이 시기의 사람들도 젊은 시절에 다양한 질환에 시달렸을 것이며 평균 수명 역시 매우 짧았을 것입니다. 비록 젊은 나이에 죽기는 했지만, 당시에는 이런 경우가 드물지 않았을 것이라는 이야기죠.   아무튼 문명의 새벽에 해당하는 시점에 살았기 때문에 이 소녀는 Dawn (그리스어로는  Avgi)라고 이름지어졌다고 합니다. 연구팀은 유골에 대한 상세한 스캔과 3D 프린팅 기술을 적용해서 살아있을 당시의 모습을 매우 현실적으로 복원했습니다. 그리고 그 결과 나타난 모습은.... 당시의 거친 환경을 보여주는 듯 합니다. 긴 턱은 당시를 살았던 사람이 대부분 그랬듯이 질긴 먹이를 오래 씹기 위한 것으로 보입니다.   강하고 억센 10대 소녀(?)의 모습은 당시 살아남기 위해서는 강해야 했다는 점을 말해주는 듯 합니다. 이렇게 억세보이는 주인공이라도 당시에는 전염병이나 혹은 기아에서 자유롭지는 못했기 때문에 결국 평균 수명은 길지 못했겠죠. 외모 만으로 평가해서는 안되겠지만, 당시의 거친 시대상을 보여주는 듯 해 흥미롭습니다.   참고  https://phys.org/news/2018-01-te...
댓글 쓰기
자세한 내용 보기

150년 만에 다시 울린 희귀 곤충의 울음 소리

  ( The katydid Prophalangopsis obscura has been lost since it was first collected, with new evidence suggesting cold areas of Northern India and Tibet may be the species' habitat. Credit: Charlie Woodrow, licensed under CC BY 4.0 ) ( The Museum's specimen of P. obscura is the only confirmed member of the species in existence. Image . Credit: The Trustees of the Natural History Museum, London )  과학자들이 1869년 처음 보고된 후 지금까지 소식이 끊긴 오래 전 희귀 곤충의 울음 소리를 재현하는데 성공했습니다. 프로팔랑곱시스 옵스큐라 ( Prophalangopsis obscura)는 이상한 이름만큼이나 이상한 곤충으로 매우 희귀한 메뚜기목 곤충입니다. 친척인 여치나 메뚜기와는 오래전 갈라진 독자 그룹으로 매우 큰 날개를 지니고 있으며 인도와 티벳의 고산 지대에 사는 것으로 보입니다.   유일한 표본은 수컷 성체로 2005년에 암컷으로 생각되는 2마리가 추가로 발견되긴 했으나 정확히 같은 종인지는 다소 미지수인 상태입니다. 현재까지 확실한 표본은 수컷 성체 한 마리가 전부인 미스터리 곤충인 셈입니다.   하지만 과학자들은 그 형태를 볼 때 이들 역시 울음 소리를 통해 짝짓기에서 암컷을 유인했을 것으로 보고 있습니다. 그런데 높은 고산 지대에서 먼 거리를 이동하는 곤충이기 때문에 낮은 피치의 울음 소리를 냈을 것으로 보입니다. 문제는 이런 소리는 암컷 만이 아니라 박쥐도 잘 듣는다는 것입니다. 사실 이들은 중생대 쥐라기 부터 존재했던 그룹으로 당시에는 박쥐가 없어 이런 방식이 잘 통했을 것입니다. 하지만...
댓글 쓰기
자세한 내용 보기