기본 콘텐츠로 건너뛰기

로컬 AI 가속을 위한 여러 가지 기능을 추가한 엔비디아


 (출처: 엔비디아)

​

엔비디아는 로컬 컴퓨터에서 돌릴 수 있는 30B MoE 모델인 네모트론 3.5 라이트닝과 함께 여러 새로운 기능 지원을 업데이트했습니다. 우선 흥미롭기는 하지만 구축하는데 비용이 꽤 들 수밖에 없는 엔비디아 싱크 클러스터 어시스턴트 (NVIDIA Sync Cluster Assistant)이 추가됐습니다. DGX Spark 두 개 이상을 고속 클러스터로 연결하는 기술로 마치 과거 두 개 이상의 그래픽 카드를 연결하는 SLI처럼 성능을 더 높일 수 있습니다.

​

다만 DGX 스파크 가격도 꽤 비싸진 상태에서 의미 있는 일인지는 의구심이 들지만, 아무튼 연결 자체는 새로운 네트워킹 장비 없이도 가능하다고 합니다. 두 개는 서로 스위치 없이 QSFP 케이블 1개로 장비간 1:1 직접 연결하고 세 대는 각 장비가 서로 1개씩 케이블을 교차 연결하는 삼각 링(Ring) 구성을 통해 연결할 수 있습니다. 그리고 네 대 부터는 고속 네트워크 장비가 필요합니다. 아무튼 이렇게 고속 클러스터를 구축하면 개인 사용자도 DGX 스파크의 메모리 한계 (128GB)를 넘는 대용량 모델을 돌릴 수 있게 됩니다.

​

​

​

덕분에 DGX 및 RTX 플랫폼은 이제 Cosmos 3 Edge(40억 파라미터), MiniMax-H3(330억 파라미터), Laguna S 2.1(1,180억 파라미터), DeepSeek V4-Flash(2,840억 파라미터), Wan-Animate-2(140억 파라미터) 및 Inkling-Small(2,760억 파라미터) AI 모델을 완벽하게 지원할 수 있습니다. (물론 파라미터가 큰 모델은 두 개 이상이 필요)

​

그리고 오픈 동영상 생성 모델인 LTX 2.5의 경우 메모리 사용량을 40%까지 줄여 VRAM이 더 작은 GPU에서도 돌릴 수 있게 됐으며 속도도 빨라졌습니다. 네모트론 3.5 라이트닝과 함께 일반 사용자들이 체감할 수 있는 가장 큰 장점이 아닐까 생각합니다. 발표 내용을 정리하면

​

  • NVIDIA Sync Cluster Assistant를 사용하여 DGX Spark의 성능을 확장하세요 . 두 개 이상의 시스템을 고속 클러스터로 연결하고, 간소화된 네트워킹, 워크로드 라우팅 및 상태 모니터링 기능을 활용할 수 있습니다.

  • DGX Spark에서 더 많은 것을 얻으세요 . Google Chrome이 네이티브 ARM64 Linux 빌드로 출시될 예정이며, 새로운 NVIDIA Sync Resource Monitor는 단일 시스템 또는 전체 클러스터에서 실시간 및 과거 CPU 및 GPU 사용량 현황을 제공합니다.

  • Meta의 Muse Glimmer를 로컬에서 실행하세요 . 30B 오픈 웨이트 모델은 상시 가동되는 로컬 에이전트에 최적화되어 있으며, RTX 5090 에서 초당 200개 이상의 토큰을 처리할 수 있습니다 .

  • LTX-2.5를 사용하여 고품질 비디오를 로컬에서 제작하세요 . 개방형 비디오 모델은 멀티샷 생성 및 생성형 편집 기능을 추가했으며, NVIDIA RTX GPU, DGX Spark 및 DGX Station 에서 성능이 2배 향상되고 메모리 사용량이 40% 절감됩니다 .

  • Cosmos 3 Edge, MiniMax-H3, Poolside의 Laguna S 2.1, DeepSeek-V4-Flash, Thinking Machines Lab의 Inkling-Small, Unsloth Desktop, Wan-Animate-2 등 NVIDIA 가속 기능을 지원하는 다양한 오픈 소스 모델을 살펴보세요 .

  • 새로운 오픈 모델 지원을 시작으로, NVIDIA의 DGX 및 RTX 플랫폼은 이제 Cosmos 3 Edge(40억 파라미터), MiniMax-H3(330억 파라미터), Laguna S 2.1(1,180억 파라미터), DeepSeek V4-Flash(2,840억 파라미터), Wan-Animate-2(140억 파라미터) 및 Inkling-Small(2,760억 파라미터) AI 모델을 완벽하게 지원합니다.

​

입니다.

​

다만 여전히 그래픽카드와 메모리가 비싼 점은 큰 제약이 될 것 같습니다.

​

​

참고

​

https://wccftech.com/nvidia-accelerates-ai-on-dgx-rtx-systems-with-new-open-models/

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

몸에 철이 많으면 조기 사망 위험도가 높다?

 철분은 인체에 반드시 필요한 미량 원소입니다. 헤모글로빈에 필수적인 물질이기 때문에 철분 부족은 흔히 빈혈을 부르며 반대로 피를 자꾸 잃는 경우에는 철분 부족 현상이 발생합니다. 하지만 철분 수치가 높다는 것은 반드시 좋은 의미는 아닙니다. 모든 일에는 적당한 수준이 있게 마련이고 철 역시 너무 많으면 여러 가지 질병을 일으킬 수 있습니다. 철 대사에 문제가 생겨 철이 과다하게 축적되는 혈색소증 ( haemochromatosis ) 같은 드문 경우가 아니라도 과도한 철분 섭취나 수혈로 인한 철분 과잉은 건강에 문제를 일으킬 수 있습니다. 하지만 높은 철 농도가 수명에 미치는 영향에 대해서는 잘 알려지지 않았습니다.   하버드 대학의 이야스 다글라스( Iyas Daghlas )와 임페리얼 칼리지 런던의 데펜더 길 ( Dipender Gill )은 체내 철 함유량에 영향을 미치는 유전적 변이와 수명의 관계를 조사했습니다. 연구팀은 48972명의 유전 정보와 혈중 철분 농도, 그리고 기대 수명의 60/90%에서 생존 확률을 조사했습니다. 그 결과 유전자로 예측한 혈중 철분 농도가 증가할수록 오래 생존할 가능성이 낮은 것으로 나타났습니다. 이것이 유전자 자체 때문인지 아니면 높은 혈중/체내 철 농도 때문인지는 명확하지 않지만, 높은 혈중 철 농도가 꼭 좋은 뜻이 아니라는 것을 시사하는 결과입니다.   연구팀은 이 데이터를 근거로 건강한 사람이 영양제나 종합 비타민제를 통해 과도한 철분을 섭취할 이유는 없다고 주장했습니다. 어쩌면 높은 철 농도가 조기 사망 위험도를 높일지도 모르기 때문입니다. 그러나 임산부나 빈혈 환자 등 진짜 철분이 필요한 사람들까지 철분 섭취를 꺼릴 필요가 없다는 점도 강조했습니다. 연구 내용은 정상보다 높은 혈중 철농도가 오래 유지되는 경우를 가정한 것으로 본래 철분 부족이 있는 사람을 대상으로 한 것이 아니기 때문입니다. 낮은 철분 농도와 빈혈이 건강에 미치는 악영향은 이미 잘 알려져 있기 때문에 철...
댓글 쓰기
자세한 내용 보기

렘 수면이 식이 패턴에 영향을 준다?

  ( Using a techniqu e called optogenetics, the activity of cells in the brain can be specifically suppressed with light pulses. Credit: Pascal Gugler / Insel Gruppe )  수면 중 빠른 안구 운동이 발생하는 렘 (REM) 수면은 아직도 그 기능이 완전히 밝혀지지 않았지만, 수면에서 매우 중요한 부분이라는 사실은 확실합니다. 렘 수면은 꿈과 관련이 깊으며 전체 수면 시간이 부족하지 않더라도 렘 수면 시간이 짧으면 다음날 집중력이 떨어지고 많이 피곤하게 됩니다. 아마도 렘 수면 시간 동안 여러 가지 기능과 작업이 이뤄짐을 시사하는 결과입니다.   베른 대학교 ( University of Bern )의 과학자들은 쥐를 이용한 동물 모델을 통해서 렘 수면이 식이 패턴에 미치는 영향을 조사했습니다. 연구팀은 렘 수면이 외측 시상하부 ( lateral hypothalamus)에 영향을 주어 식욕을 조절할 수 있다는 증거를 발견했습니다. 외측 시상하부는 모든 포유류에서 볼 수 있는 시상하부의 작은 핵으로 식욕을 조절하는데 중요한 역할을 하는 것으로 생각됩니다. 과거 과학자들은 렘 수면 동안 외측 시상하부가 활성화되는 것을 확인했지만, 렘 수면이 실제 식욕을 조절하는지에 대해서는 알지 못했습니다. 렘 수면 동안 외측 시상하부만 차단할 방법이 없었기 때문입니다.   연구팀은 빛으로 살아있는 세포를 조절하는 기술인 광유전학 (optogenetic) 방식으로 렘 수면 중인 쥐의 외측 시상하부 활동을 차단했습니다. 그 결과 쥐의 식욕이 저하되는 것을 확인할 수 있었습니다. 불과 하루 간 차단만으로도 4일 정도 효과가 지속될 정도로 식욕에 대한 영향이 컸습니다. 이는 렘 수면이 식욕을 적절하게 유지하는 데 도움을 준다는 점을 시사합니다.   사실 최근에 다이어트에 대한 수요가 폭발해서 ...
댓글 쓰기
자세한 내용 보기

비타민 D - 우울증 예방 효과는 없다

   다른 비타민과 마찬가지로 비타민 D는 사람이 살아가는데 반드시 필요한 비타민입니다. 비타민 D가 부족한 경우 뼈에 심각한 문제가 생길 수 있습니다. 그런데 한 가지 더 흥미로운 사실은 여러 질병에서 비타민 D 부족이 관찰된다는 것입니다. 예를 들어 우울증의 경우에도 비타민 D 부족이 보고된 바 있습니다. 일부 연구자들은 햇빛을 받아 생성되는 비타민 D 부족이 계절성 우울증 장애 (seasonal affective disorder)의 원인일지 모른다고 생각해왔습니다.   하지만 하버드 의대와 메사추세스 종합 병원(MGH)의 연구팀은 비타민 D3 (cholecalciferol) 보충제를 사용한 대규모 임상 시험에서 비타민 D 복용이 우울증 예방에 특별한 효과가 없다는 사실을 확인했습니다. 이 연구는 종합 비타민제 혹은 단독으로 사용되는 비타민 D 보충제가 질병 예방에 효과가 있는지를 알아보기 위한 것으로 평균 67세의 건강한 성인 남녀 18,353명을 대상으로 진행되었습니다. 연구 참여자들은 두 그룹으로 나뉘어 콜레칼시페롤 (비타민 D3) 2000 IU 혹은 위약을 받아 5년간 복용했습니다. 우울증의 정도는 8-item Patient Health Questionnaire depression scale [PHQ-8]로 측정했습니다.   이 연구에서는 분명한 비타민 D 결핍증이 있는 경우는 제외했는데, 의학적으로 보충이 필요한 정도의 결핍이라면 치료를 하는 게 맞지 위약을 5년이나 주는 것은 윤리적으로 문제가 있기 때문입니다. 따라서 연구의 목표는 비타민이 부족하지 않은 건강한 사람에서 비타민 보충제가 혹시 우울증 예방에 효과가 있는지를 알아보려는 것입니다.   연구 결과 실험군과 대조군 사이에는 통계적으로 유의한 차이가 없었습니다. 우울증 발생률은 두 그룹에서 별로 차이가 없었으며 연구 시작과 종료 시점에 그룹 내에서도 별 차이가 없었습니다. 따라서 비타민 D가 부족하지 않...
댓글 쓰기
자세한 내용 보기