(출처: 엔비디아)
엔비디아가 RTX AI 영상 생성 및 4K 업스케일링 기술을 널리 사용되는 이미지 및 영상 생성 UI인 Comfy에 적용해 속도를 높이고 앱 뷰 (App view) 기능을 통해 간편하게 제작할 수 있게 개선했습니다. Comfy는 복잡한 노드 방식 기반으로 초보자에게는 진입 장벽이 높았습니다. 스테이블 매트릭스에서 사용할 경우 간편한 UI로 사용할 수 있긴 하나 여전히 복잡하고 속도도 느린 편이었습니다. 무엇보다 동영상 생성에는 많은 메모리가 필요해 16GB 그래픽 카드로는 돌릴 수 있는 모델이 매우 제한적이었습니다.
엔비디아의 새로운 RTX 비디오 기능은 NVFP4, NVFP8, RTX Video Super Resolution 가속 기능을 Comfy에서 앱 뷰 형식으로 쉽게 사용할 수 있게 도와줍니다. 특히 네이티브 가속을 통해 동영상 생성 속도를 2.5배까지 끌어올리고 메모리 사용량을 60%까지 줄일 수 있다고 합니다. 구체적으로 NVIDIA GeForce RTX 50 시리즈 GPU의 NVFP4 형식을 사용하면 성능이 2.5배 향상되고 VRAM 사용량이 60% 감소하며, 이전 그래픽 카드에서 지원하는 FP8 형식을 사용하면 성능이 1.7배 향상되고 VRAM 사용량이 40% 감소합니다.
슬라이드를 보면 스테이블 매트릭스에서 앱뷰를 바로 사용할 수 있는 것으로 보여서 제미나이에게 RTX 4080 기준으로 설명을 요청했더니 다음의 답변을 얻었습니다.
사용 중이신 RTX 4080은 Ada Lovelace 아키텍처를 탑재하고 있어, 슬라이드에서 강조하는 FP4(4비트 부동소수점) 연산과 RTX Video Super Resolution(VSR) 기능을 완벽하게 지원하는 최적의 그래픽카드입니다.
이를 설정하기 위한 가이드를 정리해 드립니다.
1. 필수 드라이버 및 소프트웨어 버전
NVIDIA 드라이버: 551.76 버전 이상 (권장: 최신 Game Ready 또는 Studio 드라이버).
RTX Video Super Resolution 및 최신 TensorRT 최적화를 지원하기 위해 필수적입니다.
Stability Matrix: 최신 버전 업데이트 (GitHub 기준 최신 릴리즈 확인).
Stability Matrix 자체를 업데이트해야 최신 ComfyUI 패키지와 종속성 라이브러리를 정상적으로 설치할 수 있습니다.
ComfyUI 패키지: Stability Matrix 내의 'Packages' 탭에서 ComfyUI를 최신 상태로 업데이트(Update)해야 합니다.
2. 'App View' (새로운 UI) 활성화 방법
이미지 우측의 App View는 ComfyUI의 새로운 프론트엔드(Frontend) 프로젝트의 결과물입니다.
ComfyUI 실행: Stability Matrix에서 ComfyUI를 실행합니다.
설정 변경: 화면 우측의 설정(톱니바퀴 아이콘)에서 'Link to the new frontend' 또는 'Try New UI' 관련 옵션을 선택하거나, 최신 버전의 경우 URL 주소 끝에 /index.html 대신 새로운 경로를 입력하여 접속할 수 있습니다. (최근 업데이트에서는 상단 바에서 UI 전환 버튼을 제공하기도 합니다.)
Workflows 사용: App View는 특정 워크플로우를 앱처럼 디자인한 형태이므로, 사용자가 직접 노드를 구성한 뒤 'Save as App' 기능을 활용하거나 배포된 앱 형태의 JSON 파일을 불러와야 합니다.
3. 동영상 생성 및 업스케일링 속도 최적화 세팅 (RTX 4080 기준)
이미지에서 보여주는 비약적인 속도 향상(1분 -> 30초 생성, 실시간 업스케일링)을 위해서는 아래 세 가지 설정이 핵심입니다.
① FP4 모델 활용 (생성 속도 향상)
NVIDIA는 메모리 사용량을 줄이고 속도를 높이기 위해 FP4 양자화 모델을 권장합니다.
설정: bitsandbytes 라이브러리를 최신으로 업데이트하고, ComfyUI 내에서 모델 로드 시 LTX-Video FP4 또는 체크포인트의 데이터 타입을 FP4로 설정하는 노드를 사용합니다.
효과: RTX 4080의 텐서 코어를 활용해 VRAM 사용량을 획기적으로 줄이면서 생성 속도를 2배 가까이 높일 수 있습니다.
② RTX Video Super Resolution (VSR) 적용 (업스케일링)
슬라이드의 'Realtime Upscale'은 NVIDIA의 AI 업스케일링 기술을 ComfyUI 노드에 통합한 것입니다.
제어판 설정: NVIDIA 제어판 -> 비디오 -> 비디오 이미지 설정 조정 -> **RTX 비디오 개선(초고해상도)**을 '켜기'로 설정하고 품질을 4(최고)로 둡니다.
ComfyUI 노드 설치: ComfyUI-RTX-VSR 커스텀 노드를 Manager를 통해 설치합니다.
활용: 생성된 저해상도 영상을 일반적인 업스케일 노드 대신 RTX VSR 전용 노드에 연결하면, GPU 하드웨어 가속을 통해 실시간에 가까운 속도로 4K 수준의 업스케일링이 가능합니다.
③ TensorRT 가속 (선택 사항이나 강력 권장)
설정: ComfyUI_TensorRT 노드를 설치합니다.
방법: 사용 중인 모델(예: SDXL 또는 LTX-Video)을 TensorRT 엔진(.trt)으로 빌드하여 사용합니다. RTX 4080에서는 엔진 빌드 속도가 빠르며, 완료 후에는 기존 노드 방식보다 동영상 생성 속도가 훨씬 빨라집니다.
요약: RTX 4080 사용자를 위한 권장 워크플로우
Stability Matrix에서 ComfyUI를 최신으로 업데이트한다.
NVIDIA 드라이버를 최신(551.76+)으로 설치한다.
RTX Video Super Resolution 노드를 설치하여 업스케일 파이프라인에 배치한다.
동영상 생성 모델은 FP4 또는 TensorRT를 경유하도록 설정한다.
**New Frontend(App View)**를 통해 복잡한 노드 없이 인터페이스를 단순화하여 사용한다.
이 세팅을 완료하면 이미지에서 설명하는 것처럼 20GB 이상의 고사양 VRAM이 필요했던 작업을 RTX 4080(16GB VRAM)에서도 훨씬 적은 자원으로 더욱 빠르게 수행할 수 있습니다.
4K 업스케일링까지는 필요 없어도 HD 영상을 빠르게 제작할 수 있다면 상당한 이점이 있을 것으로 보입니다. 직접 한번 시도해봐야 겠습니다.
참고
댓글
댓글 쓰기