Radiant Foam: Real-Time Differentiable Ray Tracing

논문 정리

Abstract

최근 Differentiable scene representation 기술의 발전은 더 효율적이고 실시간으로 적용 가능한 방향으로 나아가고 있다.

NeRF의 성공적인 성과부터, 더 나아가 Splatting 기반의 방법, 그리고 하드웨어의 발전을 통해 이미지 몇 장으로 하나의 3D Scene에 대한 representation이 가능해졌다.

본 논문에서 발표한 Radiant Foam, 3D Gaussian Splatting 방식의 실시간 성능을 유지하면서도 ray 기반의 빛 효과 (반사, 굴절, 그림자 등)을 효과적으로 표현할 수 있도록 설계된 새로운 Scene representation method이다.

Introduction

NeRF, Gaussian splatting 등의 differentiable scene representation methods가 혁신적인 성공을 이루고 있다.

하지만 그 이면에는 속도, 정확도, 효율성, 표현 능력과 관련한 다양한 문제가 있었다.

다수의 연구진들은 이러한 문제에 개선하기 위해 많은 방법을 제안해왔으나, 대다수의 연구는 문제를 본질적으로 해결하기 보단 새로운 트릭과 기법을 제안하는 방향으로 나섰다.

우선 최근에 수행됐던 3D Scene representation 방법에는 무엇이 있는지 알아보자.

NeRF

소개:

NeRF는 3D scene을 연속적인 신경망 기반의 density field로 표현하고, 볼륨 렌더링을 통해 이미지를 합성하는 방식이다.

기본적으로 ray 방향에서 일부 포인트를 샘플링한 후, 해당 지점의 density와 color를 신경망이 예측하게 하는 방식이다.

즉, 장면을 네트워크가 학습하고, 새로운 뷰에서 이미지를 생성하는 방법이다.

한계: 신경망을 사용하여 수많은 지점에 대한 연산을 수행해야 하기 때문에 Real-time rendering이 거의 불가능하며 계산 비용이 높다는 단점이 있다.

또한, NeRF는 그 자체가 볼륨 밀도를 예측하는 방식이므로, 정확한 표면 정보 없이는 반사/굴절과 같은 표현을 학습하고 추론하기가 어렵다.

새로운 장면을 렌더링할 때마다 새롭게 신경망을 학습해야 하는 단점이 있다.

즉, 한 장면에 대해 dedicated한 모델이 필요한 상황이며, 이로 인해 사용성에 한계가 있다는 점을 지적할 수 있다.

3D Gaussian Splatting (3DGS)

소개:

NeRF의 속도 문제를 해결하기 위해 등장한 방법으로, 장면을 수많은 3D Gausiaan 점들로 표현하고, 이를 화면에 즉시 뿌리는 방식이다.

Gaussian의 크기, 색상, 방향을 optimize하여 3D 구조를 표현할 수 있다.

이러한 방식은 GPU에서 빠른 병렬 처리가 가능하기 때문에 NeRF보다 더 빠른 렌더링이 가능하다.

한계:

3DGS는 Rasterization 기반의 방법이기 때문에, 빛의 반사, 굴절, 그림자 효과를 표현하기 어렵다.

또한, 겹치는 점들이 많아지면 품질이 저하되며 계산이 복잡해지는 문제가 있다.

Gaussian은 볼륨적인 구조를 가지기 때문에, 표면을 명확하게 정의하기 어려우며, 이로인해 Ray tracing 적용이 어렵다.

Ray Tracing & Volumetric Mesh Approaches

소개:

Ray tracking 기반 기법은 광선을 추적하여 장면 내의 반사, 굴절, 그림자 등의 정확한 표현을 가능하게하는 기술.

최근에는 NVIDIA OptiX, RTX 등의 전용 하드웨어를 통해 실시간 ray-tracing이 가능해졌다.

2003년 Weiler이 제안한 unconstructed volumetric data 시각화 기법은 Ray tracing과 Volumetric mesh rendering을 모두 활용하여 효과적인 렌더링 방식을 만들어냈다. (이 접근 방식은 이후 볼륨 렌더링 방법의 인기에 따라 다시 간과되어왔다.)

2024년 Moenne-Loccoz는 빠른 ray tracing을 위해 3DGS와 함께 NVIDIA OptiX ray tracer를 사용할 것을 제안했다. 즉, 3D Gaussian splatting과 ray tracing 기법이 통합되어진 것이다.

한계:

하지만 여전히 하드웨어 의존성이 크게 일어나며, 복잡한 가속 구조 (Bounding Volume Hierachy) 등의 특정 데이터 구조를 필요로 하며, 불연속적인 메시 변화로 인해 differentiable optimization이 불가능하다는 문제가 있었다.

Radiant Foam 문제 정의

기존 방법들이 가진 한계를 정리하자면 다음과 같다.

1. NeRF와 3DGS는 광학 효과 표현이 어렵다
2. Ray tracing 방식은 특정 HW를 통한 가속이 필요하고, 불연속적인 메시 변화 문제를 가진다
3. 3DGS는 겹치는 접들이 많아지면 성능이 저하될 수 있다
4. Ray tracing과의 혼합 표현에서 사용된 기존 메시 기반 표현에서 사용한 Delaunay 기반 삼각형 분할은 미분 가능하지 않아 최적화가 어렵다.

Radiant Foam은 Voronoi diagram 기반의 방식, Differentiable ray tracing 학습 등을 통해 위 문제를 해결하고자 한다.

Method

우선 제안하는 방법론은 이제는 친숙한, image collection으로부터 scene representation을 구성하는 문제를 다룹니다.

NeRF에서 성공적인 효과를 보였듯, 제안하는 기법에서도 differentiable scene representation을 gradient-based optimization으로 구성하게 된다.

이후 섹션에서는 volumetric mesh-based differentiable representation 방법을 소개하며, image supervision을 통해 어떻게 이러한 representation을 optimize하는지 설명하려 한다.

Volume rendering

우선 볼륨 렌더링의 기본 개념을 이해해보자.

Radiant Foam은 NeRF나 기존 볼륨 렌더링 방식과 유사하게, 장면을 3D 공간 내에서 연속적인 Density와 Color의 분포로써 표현한다.

이 방식은 다음의 공식을 기반으로 한다.

볼륨 렌더링 방정식

광선 r 을 따라 픽셀 색상 c_r 를 계산하는 공식:

여기서:

• T(t) = 광선이 현재 위치까지 누적된 투명도(transmittance)
• σ = 밀도(density) 함수 (해당 지점에서 얼마나 불투명한지)
• c = 색상(color) 함수 (해당 위치에서의 색상)

NeRF의 경우 신경망을 사용해서 이 밀도와 색상 (c_r)을 approximation 하였으나, Radiant Foam은 Voronoi 다이어그램 기반의 다면체 메시(Voronoi diagram-based polyhedral mesh)를 사용하여 이 값을 결정한다.

이는 NeRF와는 달리 볼륨 렌더링의 연산이 더 간결하고 직접적으로 optimize가 가능하다.

제안하는 방법론은 Weiler의 알고리즘을 기반으로 설명된다.

Weiler는 Volumetric mesh에서의 ray tracing 방법론을 다룬 논문이다.

이 방식의 핵심 아이디어는 volumetric mesh (Voronoi 분할을 바탕으로한 3D 공간 분할된 mesh) 내부에서 Ray가 어떻게 이동하는지를 계산하는 것이다.

볼륨 메시 내부에서 ray 경로를 추적하며 → 볼륨 셀은 균일한 속성(Constant field value=density)를 가지며 → ray가 다음 셀로 이동할 때 가장 가까운 교차점을 찾아 다음 계산을 수행하게 된다.

즉, 기존 NeRF 등에서 사용되었던 복잡한 샘플링 방식을 제외할 수 있으며 (각 셀 내부에서 일정한 값을 사용하기 때문에 Ray의 이동 경로에서의 셀을 조회하면 되므로 복잡한 샘플링이 필요 없음), 광선이 3D 볼륨 공간을 탐색할 수 있도록 설계된 기법이다.

Radiant Foam은 이러한 “볼륨 내 레이 이동 방식”을 차용하여 Voronoi diagram 기반의 scene representation을 최적화 할 수 있었다.

하지만, 본 논문에서는 Voronoi 기반 모델을 사용할 때 셀 내부가 불연속적인 경우 GD-based optimization이 작동하지 않기 때문에, Voronoi 셀이 급격히 변하지 않도록 정규화 과정을 추가하며 연속성을 유지하고자 했다.

Differentiable Mesh Representation

Radiant Foam의 핵심 아이디어는 Voronoi 다이어그램을 통해 공간을 다면체 셀 (Polyhedral cells)로 나누는 것이다.

기존의 Delaunay Triangulation 방식은 삼각형 연결이 불연속적으로 변하는 문제를 초례하지만, Voronoi는 이를 해결할 수 있다.

Voronoi diagram 기반의 장면 표현은 다음과 같은 순서로 이루어진다: Voronoi diagram으로 3D 공간 분할 → 각 셀은 내부에서 일정한 밀도와 색상을 가지며, 이는 학습 과정에서 최적화됨 → Voronoi 셀의 경계를 통해 광선의 이동 경로를 계산하여 Ray tracing 수행

알고리즘 1: Ray Tracing in Radiant Foam

1. 광선(ray)을 특정한 방향으로 발사.
2. 광선이 처음 진입하는 Voronoi 셀을 찾음.
3. 현재 셀의 모든 면을 검사하여, 광선이 나가는(intersection) 가장 가까운 면을 찾음.
4. 광선이 나가는 셀로 이동하여 다시 반복.
5. 광선이 특정한 밀도를 초과하는 지점에서 색상을 결정.

Optimization

Radiant Foam은 미분 가능한(differentiable) 최적화를 통해 Voronoi 셀을 점진적으로 개선한다.

1. Initialization

• 초기에는 Structure-from-Motion(SfM)으로 얻은 Sparse point cloud를 사용 (COLMAP)

2. Densification

• Training 과정에서 Densification과 Pruning을 통해 Voronoi 셀의 위치와 개수를 점진적으로 조정하여 더 정밀한 구조를 형성.
• Geometric 또는 Photometric detail이 더 풍부할 수 있도록, 적응적으로 셀을 re-allocate하며 representational capacity를 조절

3. Pruning

• Training이 진행되면서 불필요한 Voronoi 셀(밀도가 낮은 셀)을 자동으로 제거하여 최적의 구조를 유지

4. Training objectives

• Mip-NeRF 360에서의 distortion loss와 유사한 regularization을 사용
• Density과 surface에 더 집중되도록 하며, “floater” artifact를 줄일 수 있게 장려
• Novel view에 대해 L2 photometric reconstruction loss 적용

Implementation details

• Python, C++, PyTorch
• CUDA kernels - ray tracing, Delaunay triangulation, etc.
• Interactive viewer, low overhead renderer (FPS 확인을 위함)
• OptiX HW가 없으므로, WebGL 프레임워크에서 실행 가능함을 확인

Experiments

Mip-NeRF 360 dataset과 Deep Blending dataset에서의 9 real-world scene에 대해 평가를 진행한다.

PSNR, SSIM, LPIPS metric을 사용한다.

Radiant Foam은 3DGS, 3DGRT에 거의 동등하거나, 약간 떨어지는 정량적 성능을 보였다.

하지만 렌더링 속도에 있어서는 나머지 방법들을 능가한다.

Radiant Foam의 저자들은 결과물 중 하나의 장면이 NVIDIA RTX 4090 GPU를 사용했을 때 약 70분의 훈련 시간이 소요되었다고 언급했습니다. 또한 향후 Radiant Foam이 생성 모델뿐 아니라 동적인(dynamic) 표현 방법에도 어떻게 적용될지 매우 흥미로우며, Gaussian Splatting이 이 두 가지 영역에서 최근 큰 진전을 이루었기에 Radiant Foam 또한 어떤 발전을 이룰지 주목됩니다.