기본 콘텐츠로 건너뛰기

엔비디아 Kyber 랙 시스템은 600kW 전력 소모



 (출처: 엔비디아)

​

​

지난 수년 간 AI GPU와 시스템의 연산 능력은 기하급수적으로 증가했습니다. 하지만 동시에 전력 소모량 역시 기하급수적으로 늘어나고 있습니다. 과거처럼 공정 미세화를 통해 트랜지스터 집적도를 높여도 크기를 줄이기 힘들어지면서 대신 거대한 칩을 만들고 있기 때문입니다.

​

최근 최첨단 AI 모델들이 학습에 필요한 대규모 클러스터를 늘려감에 따라 전력 밀도 또한 상상을 초월할 정도로 높아지고 있습니다.엔비디아의 차세대 Kyber 랙 시스템(Rubin Ultra NVL576 플랫폼 기반) 하나를 지속적으로 가동하는 데는 무려 600kW의 전력이 필요합니다.

​

CPU를 사용하는 일반적인 서버 랙은 8kW의 전력을 소모합니다. 하지만 덩치가 큰 GPU는 이보다 훨씬 큰 전력을 소모합니다. 2022년에 NVIDIA Hopper 랙의 전력 소비량은 약 40kW였습니다. 하지만 2024년에는 Blackwell NVL72은 소비량을 약 120kW까지 끌어올렸습니다. 그리고 2026년 출시된 베라 루빈 NVL72는 이제 서버 랙 당 190-230kW의 전력을 사용합니다.

​

사실 데이터 센터의 전력 부하는 이미 GB300 서버 랙부터 문제가 되기 시작했습니다. 아마존의 경우에도 GB300 데이터 센터 구축에 애를 먹은 것으로 알려져 있습니다. 기존의 데이터 센터의 전력망과 냉각 시스템으로 감당이 되지 않기 때문에 완전히 새로운 데이타 센터를 구축하고 800VDC의 고전압 전력망을 깔아야 합니다.

​

따라서 랙당 600kW의 전력을 소모하는 Kyber는 새로운 도전이 될 가능성이 높습니다. 이런 랙이 여러 개 동시에 작동할 경우 지역 전력망에 상당한 부하를 줄 가능성이 높아 심사나 승인이 더 까다로워 질 가능성도 상당합니다. 냉각 시스템 역시 엄청난 소음을 만들 가능성이 높습니다.

​

다만 그럼에도 엔비디아는 동일 전력 소모량 대비 토큰 생산량이 훨씬 높다는 논리로 방어할 것으로 예상됩니다. 랙 하나당 전력 소모는 5배 늘어도 토큰 생성량이 그보다 휠씬 크게 증가할 수 있다는 것입니다. 그럼에도 대체 이 시스템에 어떻게 전력을 공급하고 시스템을 냉각시킬 것인지가 주요 쟁점이 될 것으로 보입니다.

​

​

참고

​

​

https://wccftech.com/nvidia-kyber-rubin-ultra-nvl576-600kw-power-consumption-data-center-bottleneck/

​

​

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

몸에 철이 많으면 조기 사망 위험도가 높다?

 철분은 인체에 반드시 필요한 미량 원소입니다. 헤모글로빈에 필수적인 물질이기 때문에 철분 부족은 흔히 빈혈을 부르며 반대로 피를 자꾸 잃는 경우에는 철분 부족 현상이 발생합니다. 하지만 철분 수치가 높다는 것은 반드시 좋은 의미는 아닙니다. 모든 일에는 적당한 수준이 있게 마련이고 철 역시 너무 많으면 여러 가지 질병을 일으킬 수 있습니다. 철 대사에 문제가 생겨 철이 과다하게 축적되는 혈색소증 ( haemochromatosis ) 같은 드문 경우가 아니라도 과도한 철분 섭취나 수혈로 인한 철분 과잉은 건강에 문제를 일으킬 수 있습니다. 하지만 높은 철 농도가 수명에 미치는 영향에 대해서는 잘 알려지지 않았습니다.   하버드 대학의 이야스 다글라스( Iyas Daghlas )와 임페리얼 칼리지 런던의 데펜더 길 ( Dipender Gill )은 체내 철 함유량에 영향을 미치는 유전적 변이와 수명의 관계를 조사했습니다. 연구팀은 48972명의 유전 정보와 혈중 철분 농도, 그리고 기대 수명의 60/90%에서 생존 확률을 조사했습니다. 그 결과 유전자로 예측한 혈중 철분 농도가 증가할수록 오래 생존할 가능성이 낮은 것으로 나타났습니다. 이것이 유전자 자체 때문인지 아니면 높은 혈중/체내 철 농도 때문인지는 명확하지 않지만, 높은 혈중 철 농도가 꼭 좋은 뜻이 아니라는 것을 시사하는 결과입니다.   연구팀은 이 데이터를 근거로 건강한 사람이 영양제나 종합 비타민제를 통해 과도한 철분을 섭취할 이유는 없다고 주장했습니다. 어쩌면 높은 철 농도가 조기 사망 위험도를 높일지도 모르기 때문입니다. 그러나 임산부나 빈혈 환자 등 진짜 철분이 필요한 사람들까지 철분 섭취를 꺼릴 필요가 없다는 점도 강조했습니다. 연구 내용은 정상보다 높은 혈중 철농도가 오래 유지되는 경우를 가정한 것으로 본래 철분 부족이 있는 사람을 대상으로 한 것이 아니기 때문입니다. 낮은 철분 농도와 빈혈이 건강에 미치는 악영향은 이미 잘 알려져 있기 때문에 철...
댓글 쓰기
자세한 내용 보기

벽돌 속에 전기를 저장하는 코팅

  ( Red brick device developed by chemists at Washington University in St. Louis lights up a green light-emitting diode. The photo shows the core-shell architecture of a nanofibrillar PEDOT-coated brick electrode. Credit: D'Arcy laboratory, Department of Chemistry, Washington University in St. Louis )  신재생 에너지 확대와 에너지를 24시간 차질 없이 공급해야 하는 기업과 기관 (예를 들어 병원, 금용기관, 중요 산업 시스템 및 기타 갑자기 시스템을 중지할 수 없는 분야)이 증가함에 따라 에너지 저장 장치 (ESS)의 수요 역시 가파르게 증가하고 있습니다. 특히 풍력과 태양광처럼 에너지 생산량 변동이 심한 에너지원이 보급되면서 값싸고 안전하게 대량의 에너지를 저장할 수 있는 방법의 요구가 커지고 있습니다.   워싱턴 대학 줄리오 다르시 ( Julio D'Arcy ) 교수가 이끄는 연구팀은 평범한 벽돌에 전기를 저장할 수 있는 새로운 방법을 개발했습니다. 연구팀의 접근법은 전기가 통하는 폴리머 소재인  PEDOT를 코팅해 벽돌 자체를 슈퍼 커패시터 (콘덴서)로 만드는 것입니다. 화학 배터리 대신 슈퍼 커패시터에 전기를 저장하는 연구는 일찍부터 있어왔지만, 흔한 벽돌 소재의 슈퍼 커패시터는 참신한 시도라고 할 수 있습니다. 벽돌에 에너지를 저장하려는 시도 역시 이전에도 있었지만, 대개 열을 저장하는 방식이었고 전기 자체를 저장하는 방식은 새로운 시도입니다.   이전 포스트:  https://blog.naver.com/jjy0501/221592595133  연구팀에 따르면 일반적인 크기의 벽돌에 PEDOT 소재를 코팅할 경우 최대 10분 정도 LED 전...
댓글 쓰기
자세한 내용 보기

상어 비늘을 흉내낸 항공기 스킨 - 에어로샤크

  (출처: 루프트한자 그룹) ​ ​ 몇년 전 소개드린 바 있는 에어로샤크(AeroSHARK)가 유럽 항공 안전국(EASA)으로부터 에어버스 A330-300에 탑재해도 좋다는 승인을 받아 적용 범위를 확장하게 됐습니다. 상어의 비늘을 모방해서 항력을 낮추는 에어로샤크는 가벼운 필름 형태로 부착해서 항공기의 연료 효율을 높일 수 있습니다. ​ 이전 포스트: https://blog.naver.com/jjy0501/222658782756 ​ 항공기를 잡아당기는 항력 (drag)은 항공기의 연료 소모를 증가시키는 원인 중 하나입니다. 여객기의 알루미늄 합금 동체는 만져보면 매끄럽게 느껴지지만, 사실 표면은 미세하게 거친 상태입니다. 비행기가 시속 890km의 속도로 대기를 뚫고 나아갈 때 얇은 공기층이 동체에 달라붙는데, 표면과 이 공기층 사이에는 약 1밀리미터 두께의 아주 작은 틈이 있습니다. 점성 하층이라고 불리는 이 틈은 소용돌이가 무질서하게 뒤섞인 공기 덩어리입니다. ​ 이 얇은 난류층은 표면 마찰 항력을 발생시킵니다. 이는 전체 공기역학적 항력의 약 50%를 차지하며, 성능과 비행 효율을 떨어뜨리는 요인입니다. 그런데 사실 상어는 수억 년 전부터 기발한 방법으로 물속에서 항력을 낮춰왔습니다. 상어는 작고 이빨처럼 생긴 비늘인 피부치상돌기를 지니고 있습니다. 상어의 몸을 따라 길게 뻗어 있는 이 작은 돌기들은 물이 상어의 몸 위로 흐를 때, 미세한 소용돌이가 피부에 직접 닿지 않도록 막습니다. 이렇게 하면 난류가 억제되어 상어가 빠르고 부드럽게 헤엄칠 수 있게 됩니다. ​ ​ 에어로사크는 자연의 디자인을 모방하여 유사한 효과를 냅니다. 이는 상어 이빨 능선의 기하학적 구조와 높이, 간격을 흉내낸 50마이크로미터 크기의 홈이 새겨진 인공 고분자 필름입니다. 이 얇은 필름을 비행기 동체에 붙으면 비행당 연료 소비량과 배출량을 1% 줄일 수 있으며, 날개와 꼬리날개에도 붙인 경우 최대 2%까지 줄일 수 있습니다. ​ 디스커버 항공은 자사의 에어버스 ...
댓글 쓰기
자세한 내용 보기