NPMs: Neural Parametric Models for 3D Deformable Shapes

Abstract

Parametric 3D model은 Body, face, hand 모델링을 통해 그래픽과 비전 업무에 다양하게 사용된다.

하지만이러한 Parametric model을 만드는 작업은 굉장히 복잡하고 지루하며, 의류나 주름 표현과 같은 디테일을 표현함에 있어 어려움이 있다.

이를 위해 NPMs를 제안하며, 이는 Handcraft작업이나 object-specific constraint를 요구하지 않는, 그야말로 전통적인 Parametric model을 대체할 수 있는 방법이다.

특히, 최근 Learned implicit functions의 발전을 활용하여, 4D dynamics를 shape과 pose에 대한 latent space로 표현하여 풀어내는 방법을 학습한다.

NPM의 shape과 pose는 학습된 공간으로부터 새로운 입력의 피팅 optimization이 가능하다. (SMPL과 유사)

Implicit function의 표현력을 활용하기 때문에, Shape과 Pose space를 학습하고 풀어내는 과정에서 표면 registration이 따로 요구되지 않는다. → 다양한 데이터에 대한 학습이 가능해짐

학습 과정에서 단순히 동일한 아이덴티티가 표준 포즈를 포함한 다양한 포즈를 하고 있기만 하면 된다. (임의의 연결이나 토폴로지에도 적용 가능)

다양한 shape identity와 다양한 topology의 데이터가 주어질 때, shape과 pose를 auto-decoder fashion으로 학습한다.

각 아이덴티티에 대한 shape code를 학습하며, 이 과정에서 SDF를 활용하여 shape geometry를 표현한다.

Pose code는 동일 아이덴티티의 주어진 포즈 셰입에 대한 flow field로 표현한다.

FLow prediction은 shape과 pose latent code에 컨디션되어, shape-dependent한 deformation을 표현할 뿐 아니라 shape과 pose 공간 분리를 학습하기도 한다.

우리는 NPM의 monocular depth sequence에 대한 Reconstruction과 Tracking 태스크를 소개하며, shape, pose transfer와 interpolation 능력에 대해서도 설명한다.

Method

NPM을 학습하기 위해, Shape의 잠재 공간을 학습해야하며, 이와 동시에 Shape에 조건부된 Pose의 latent space도 학습해야 한다.

그 후, 학습된 shape과 pose space에 대해 최적화함으로써 새로운 observation에 fitting한다.

우리는 Shape space의 표현을 위해 input point의 SDF value를 인코딩하는 Implicit representation을 도입하며, Pose space는 표준 포즈로부터 변형된 포즈로의 Flow를 인코딩하게 된다.

Neural Parametric Models

동일한 클래스 카테고리에서 서로 다른 포즈의 shape identity를 특징으로 하는 메시 데이터 집합이 주어졌을 때, 우리의 목표는 객체 클래스의 shape과 pose latent space를 정규화할 뿐만 아니라, 학습된 모델을 새로운 관찰에 맞출 때 지역적 디테일을 포착할 수 있을 만큼 표현력이 풍부한 parametric model을 학습하는 것입니다.

NPM 학습을 위해 두 개의 간단한 제약을 따라야한다:

(1) 각 shape identity는 표준 포즈를 취한다 (e.g., T-pose)

(2) 각 shape identity는 표준 shape에 (밀도 있게) 대응 가능한 다양한 포즈 혹은 변형 인스턴스가 있어야 한다

NPM은 shape과 pose 각각 다른 MLP를 통해, implicit representation을 활용하여 shape과 pose 공간을 분리한다.

Shape encoding은 표준 포즈 상태의 서로 다른 아이덴티티를 암시적으로 표현하도록 학습된다.

Pose space는 pose와 shape 코드 양쪽에서 conditioned되며, 표준 shape에서부터 연속적인 deformation field를 학습하여 표준 shape을 변형 shape으로 매핑한다.

Learned Shape Space

Shape space는 표준 포즈 상태의 Shape identity에 대한 implicit SDF를 예측하기 위한 MLP를 통해 학습된다.

Shape MLP는 Auto-decoder fashion으로 학습된다! (DeepSDF로부터 제안됨) DeepSDF 정리

학습 데이터셋의 각 표준 포즈 shape identity i는 D_s 차원의 latent shape code s_i로 인코딩된다.

Shape MLP는 s_i로 condition되어, 표준 공간 내의 입력 포인트 x를 SDF 값으로 맵핑하도록 학습된다.