기본 콘텐츠로 건너뛰기

로컬 AI 가속을 위한 여러 가지 기능을 추가한 엔비디아


 (출처: 엔비디아)

​

엔비디아는 로컬 컴퓨터에서 돌릴 수 있는 30B MoE 모델인 네모트론 3.5 라이트닝과 함께 여러 새로운 기능 지원을 업데이트했습니다. 우선 흥미롭기는 하지만 구축하는데 비용이 꽤 들 수밖에 없는 엔비디아 싱크 클러스터 어시스턴트 (NVIDIA Sync Cluster Assistant)이 추가됐습니다. DGX Spark 두 개 이상을 고속 클러스터로 연결하는 기술로 마치 과거 두 개 이상의 그래픽 카드를 연결하는 SLI처럼 성능을 더 높일 수 있습니다.

​

다만 DGX 스파크 가격도 꽤 비싸진 상태에서 의미 있는 일인지는 의구심이 들지만, 아무튼 연결 자체는 새로운 네트워킹 장비 없이도 가능하다고 합니다. 두 개는 서로 스위치 없이 QSFP 케이블 1개로 장비간 1:1 직접 연결하고 세 대는 각 장비가 서로 1개씩 케이블을 교차 연결하는 삼각 링(Ring) 구성을 통해 연결할 수 있습니다. 그리고 네 대 부터는 고속 네트워크 장비가 필요합니다. 아무튼 이렇게 고속 클러스터를 구축하면 개인 사용자도 DGX 스파크의 메모리 한계 (128GB)를 넘는 대용량 모델을 돌릴 수 있게 됩니다.

​

​

​

덕분에 DGX 및 RTX 플랫폼은 이제 Cosmos 3 Edge(40억 파라미터), MiniMax-H3(330억 파라미터), Laguna S 2.1(1,180억 파라미터), DeepSeek V4-Flash(2,840억 파라미터), Wan-Animate-2(140억 파라미터) 및 Inkling-Small(2,760억 파라미터) AI 모델을 완벽하게 지원할 수 있습니다. (물론 파라미터가 큰 모델은 두 개 이상이 필요)

​

그리고 오픈 동영상 생성 모델인 LTX 2.5의 경우 메모리 사용량을 40%까지 줄여 VRAM이 더 작은 GPU에서도 돌릴 수 있게 됐으며 속도도 빨라졌습니다. 네모트론 3.5 라이트닝과 함께 일반 사용자들이 체감할 수 있는 가장 큰 장점이 아닐까 생각합니다. 발표 내용을 정리하면

​

  • NVIDIA Sync Cluster Assistant를 사용하여 DGX Spark의 성능을 확장하세요 . 두 개 이상의 시스템을 고속 클러스터로 연결하고, 간소화된 네트워킹, 워크로드 라우팅 및 상태 모니터링 기능을 활용할 수 있습니다.

  • DGX Spark에서 더 많은 것을 얻으세요 . Google Chrome이 네이티브 ARM64 Linux 빌드로 출시될 예정이며, 새로운 NVIDIA Sync Resource Monitor는 단일 시스템 또는 전체 클러스터에서 실시간 및 과거 CPU 및 GPU 사용량 현황을 제공합니다.

  • Meta의 Muse Glimmer를 로컬에서 실행하세요 . 30B 오픈 웨이트 모델은 상시 가동되는 로컬 에이전트에 최적화되어 있으며, RTX 5090 에서 초당 200개 이상의 토큰을 처리할 수 있습니다 .

  • LTX-2.5를 사용하여 고품질 비디오를 로컬에서 제작하세요 . 개방형 비디오 모델은 멀티샷 생성 및 생성형 편집 기능을 추가했으며, NVIDIA RTX GPU, DGX Spark 및 DGX Station 에서 성능이 2배 향상되고 메모리 사용량이 40% 절감됩니다 .

  • Cosmos 3 Edge, MiniMax-H3, Poolside의 Laguna S 2.1, DeepSeek-V4-Flash, Thinking Machines Lab의 Inkling-Small, Unsloth Desktop, Wan-Animate-2 등 NVIDIA 가속 기능을 지원하는 다양한 오픈 소스 모델을 살펴보세요 .

  • 새로운 오픈 모델 지원을 시작으로, NVIDIA의 DGX 및 RTX 플랫폼은 이제 Cosmos 3 Edge(40억 파라미터), MiniMax-H3(330억 파라미터), Laguna S 2.1(1,180억 파라미터), DeepSeek V4-Flash(2,840억 파라미터), Wan-Animate-2(140억 파라미터) 및 Inkling-Small(2,760억 파라미터) AI 모델을 완벽하게 지원합니다.

​

입니다.

​

다만 여전히 그래픽카드와 메모리가 비싼 점은 큰 제약이 될 것 같습니다.

​

​

참고

​

https://wccftech.com/nvidia-accelerates-ai-on-dgx-rtx-systems-with-new-open-models/

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

100 테슬라급 자기장 도달

 미국의 로스 알라모스 국립 연구소 (Los Alamos National Laboratory) 에서 과학자들이 지금까지 인간이 개발한 가장 강력한 자기장을 발생시키는 장치 개발에 도전하고 있습니다. 자기장의 세기를 나타내는 방법으로 자기력선의 밀도를 나타내기 위해 단위 면적당 자기력선의 수를 표시하는 단위인 테슬라 (T) 가 있습니다. (1T = 1Wb/㎡  웨버 (Wb) 는 자속의 단위)   의료용으로 사용되는 초전도체를 이용한 MRI 의 경우 1.5 - 3 테슬라급의 강력한 자기장으로 인체 내부를 볼 수 있게 만들지만 과학 연구용으로 이보다 더 강력한 자기장이 필요할 수 있습니다. 최근에 등장한 90 테슬라급 자기장에 이어 이번에 로스 알라모스 국립 연구소에서는 100 테슬라급인 100.75 T 를 실현 했다고 합니다.   이를 구현한 것은 18000 파운드 (8.16 톤 정도) 의 코일과 여기에 에너지를 공급할 1200 메가줄 (Megajoule) 급 모터 제네레이터등의 설비입니다.  (   The 1,200-megajoule motor generator that powers the magnetic pulse.  )  이와 같은 연구를 통해 알아내고자 하는 것은  Quantum Phase transitions and new ultra high field magnetic states Electronic Structure determination Topologically protected states of matter  로 요약할 수 있다고 합니다.   아무튼 수 T 급 MRI 만 해도 자기장의 힘이 엄청난데 100 T 라니 엄청난 자기장이네요. 이는 지구 자기장 세기보다 200만배 강력한 (물론 좁은 범위에서 작용하는 자기장이라 지구 전체...
댓글 쓰기
자세한 내용 보기

고대 양서류 이야기 (2) - 악어를 닮은 거대 양서류들

  페름기에는 다양한 양막류가 진화해서 앞서 소개한 육상형 템노스폰딜리는 점차 설 자리를 잃게 됩니다. 하지만 양서류는 본래 자신의 서식지인 물과 습지에서 여전히 번성을 누렸습니다. 당시에는 악어류 같은 대형 양서형 파충류도 없던 시절이었기 때문에 이와 비슷한 생태학적 지위는 여전히 양서류의 몫이었습니다. 이들에 대한 이야기는 제 책인 포식자에서 비교적 간단히 다뤘는데, 오늘은 여기에 대한 보충 설명입니다.  책 정보:  http://book.naver.com/bookdb/book_detail.nhn?bid=13347200 Yes 24:  http://www.yes24.com/24/goods/58772859 11번가:  http://books.11st.co.kr/product/SellerProductDetail.tmall?method=getSellerProductDetail&prdNo=1977867160 알라딘:  http://www.aladin.co.kr/shop/wproduct.aspx?ItemId=134877825 교보문고:  http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9788970447988&orderClick=LAG&Kc= 인터파크 :  http://book.interpark.com/product/BookDisplay.do?_method=detail&sc.prdNo=279593764&sc.saNo=003002003&bid1=search_auto&bid2=detail&bid3=prd_img&bid4=001 영풍문고:  http://www.ypbooks.co.kr/book.yp?bookcd=100843205&gubun=NV ...
댓글 쓰기
자세한 내용 보기

이빨이 다시 진화한 개구리

  ( CT scans of Gastrotheca guentheri skulls revealed what appeared to be identical rows of teeth on both the upper and lower jaws, which researchers later confirmed through dissection. Credit: Florida Museum/Daniel Paluh )  개구리는 2억년 전 진화 과정에서 이빨을 잃어버리고 큰 턱과 혀를 이용해 곤충 같은 작은 먹이를 잡아 먹는 방향으로 진화했습니다. 파충류나 포유류 같은 다른 사지류와의 경쟁에서 밀려 양서류가 쇠퇴하고 멸종하던 시기에도 개구리는 여전히 생존할 수 있었던 비결입니다.   이빨이 없는 덕분에 큰 혀를 발사하기 편해졌을지는 모르지만, 이빨이 없으면 종종 불편할 때가 있습니다. 씹는 대신 삼키기 때문에 음식을 씹을 수 없다는 점은 문제되지 않지만, 필사적으로 달아나려는 먹이를 잡기 힘들기 때문입니다. 이런 이유 때문에 일부 개구리는 이빨 같이 보이는 엄니 (fang)을 지니고 있으나 이는 사라진 이빨이 다시 난 것이 아니라 다른 부분이 진화한 것입니다.   이는 돌로의 법칙 ( Dollo's Law )으로 알려져 있습니다. 진화 과정에서 퇴화한 부분이 다시 생겨나지 않으며 대신 필요하면 다른 부분이 진화해 그 역할을 대신한다는 것입니다. 예를 들어 아가미가 사라진 사지 동물은 다시 물에 들어온다고 해도 아가미가 다시 생기진 않습니다. 대신 고래처럼 폐가 커져서 그 기능을 대신하게 됩니다.   하지만 모든 법칙엔 예외가 있기 마련입니다. 남미에서 발견된 멸종 위기 개구리 중 하나인 구엔터 유대류 개구리 ( Gastrotheca guentheri, Guenther's marsupial frog, dentate marsupial frog)는 완전한 형태의 이빨을 지니고 있습니다. 참고로 유대류 개구리라는 명칭은...
댓글 쓰기
자세한 내용 보기