(출처: 엔비디아)
엔비디아가 DLSS5를 정식 출시하면서 뉴럴 렌더링 시대의 본격적인 개막을 알렸습니다. 엔비디아는 DLSS5 프리뷰에서 논란이 됐던 부분을 의식해서인지 DLSS5가 모델의 기하학적 구도나 개발자의 의도 중 어떤 것도 임의로 바꾸지 않는다고 강조했습니다. 이전 공개된 영상에서는 'AI 생성 영상 같다', '캐릭터가 다른 캐릭터가 됐다' 같은 비판이 나오기도 했습니다.
이전 포스트: https://blog.naver.com/jjy0501/224219671519
엔비디아에 의하면 DLSS5는 캐릭터의 얼굴 형태, 물체의 모양 등 기본 모델이나 기하학 데이터를 변경하지 않습니다. 3D-유도 뉴럴 렌더링(3D-Guided Neural Rendering) 기술은 AI가 무작위로 이미지를 생성하는 것이 아니라, 게임 엔진에서 렌더링된 기존 프레임과 내부 버퍼(표면 법선, 조명 정보 등)를 참조하여 현실감을 더하는 기술입니다. 따라서 원본 모델이 AI 생성 자산으로 대체되지 않으며, 기존 렌더링의 결과물을 더 리얼리티 있게 다듬는 역할을 합니다.
다만 뉴럴 랜더링을 통해 생성된 각 프레임의 이미지가 서로 완벽하게 맞지 않으면 이미지가 흔들리거나 일관성이 유지되지 않는 문제가 생길 수 있습니다. 그 해결책으로 DLSS 5 모델은 렌더러의 내부 버퍼(서페이스 텍스처, 조명 의미, 광원-그림자 관계, 표면 법선 등)를 잠금(Lock) 상태로 유지합니다. 예를 들어, "사과는 사과로", "캐릭터는 캐릭터로" 유지되도록 강제합니다.
그리고 기존 렌더링의 결함(TAA의 잔상, 앨리어싱 등)도 의도적으로 보존하거나 고정하여 객체가 변형되는 것을 방지합니다.대신 서브서피스 스캐터링(Subsurface Scattering), 미세한 재료 반사, 빛의 투과, 헤어/식물 디테일, 접촉 그림자 등 현실감을 높이는 요소들만 강화합니다. 이를 통해 예술적인 의도를 최대한 보존하고 각 생성 프레임간 이미지 일관성을 유지해 자연스럽게 실사 같은 영상이 유지되도록 만듭니다.
추가로 프레임별 스트리밍 및 시간적 안정성 (Frame-by-Frame Streaming)을 유지하기 위해 게임 엔진의 모션 벡터(Motion Vectors)를 활용하여 실시간으로 프레임별 안정성을 확보합니다. 그래도 생성형 AI는 속도를 위해 여러 프레임을 한 번에 처리(Batching)하면서 시간적 불안정(흔들림, 드리프트)이 발생할 수 있습니다. 따라서 이전 프레임의 정보를 참조하지 않고, 현재 렌더링된 프레임을 기반으로 즉각적인 출력을 생성합니다. 이로 인해 셔머링(Shimmering), 드리프팅(Drifting), 수영(Swimming) 현상이 발생하지 않습니다.
여기에 엔비디아는 아티스트와 개발자가 최종적인 시각적 결과에 대한 완전한 통제를 가질 수 있도록 다양한 세부 조정 옵션을 제공합니다. 제작자는 서로 다른 파라미터로 학습된 세 가지 모델 중 선택 가능하며, 필요시 혼합하여 사용할 수 있습니다.
DLSS 5는 엔진 측과 모델 측 모두에서 제어 기능을 제공합니다. 모델 자동 마스킹은 기본 캐릭터를 인식하며, 슬라이더를 사용하여 해당 기본 캐릭터에 대해서만 DLSS 5의 강도를 높이거나 낮출 수 있습니다. 25%로 설정하면 구조 강도가 렌더링된 프레임의 중간값과 거의 동일하게 유지되며, 95%로 설정하면 개발자는 DLSS 5가 제공할 수 있는 최대 시각적 향상 효과를 얻을 수 있습니다.
또 다른 제어 방식은 환경 자체 또는 장면 내 특정 요소에 적용하는 것입니다. 예를 들어 주전자, 포도, 병과 같은 장면 내 오브젝트를 마스킹합니다. 개발자는 필요에 따라 자유롭게 마스킹할 수 있습니다. 이를 통해 개발자는 장면 내 여러 요소를 강조하거나 강조하지 않을 수 있는 유연성을 확보할 수 있습니다. 종합적으로 보면 각각의 인물과 사물을 개별적으로 DLSS5 강도를 조정해 어색한 부분은 버리고 좋은 수준으로 뉴럴 렌더링을 선택해 이상하지 않은 실사 같은 이미지를 얻을 수 있습니다.
마지막으로 중요한 문제는 속도와 사양입니다. 초기 모델은 RTX 5090 두 장에서 돌아갔기 때문에 속도가 매우 느릴 것이라는 의구심이 존재했습니다. 하지만 DLSS5 정식 버전에서는 거대한 GenAI 모델을 압축하여 '원-스텝 픽셀 스페이스 디퓨전 트랜스폼(One-step pixel space diffusion transform)'이라는 단일 단계 모델로 경량화했습니다. 그 결과 RTX 5080 한개로도 4K 60프레임 영상 생성이 가능해졌습니다.
엔비디아에 의하면 DLSS5는 지난 6개월 간 속도가 다섯 배 빨라졌으며 현재도 더 빠르게 만들기 위한 개발이 진행 중입니다. 따라서 RTX 5080/5090 같은 고성능 그래픽 카드를 지닌 경우 상당한 이득을 기대할 수 있습니다. 다만 RTX 50 시리즈도 이제 나온지 꽤 된 상태에서 새로운 차세대 루빈 아키텍처 기반 소비자용 그래픽 카드가 나오지 않는 점은 아쉽습니다. 물론 나온다고 해도 과연 가격이 얼마나할까 하는 걱정이 앞서는 것도 사실입니다.
참고
https://wccftech.com/nvidia-dlss-5-performance-5x-faster-rtx-50-series/
댓글
댓글 쓰기