Deep Learning Algorithms for Point Cloud Generation

Abstract

The ability to generate high-fidelity 3D point clouds is of great value since point cloud is an efficient representation of 3D shapes and widely used in multiple graphics, vision, and robotics applications. Even though various learning-based approaches have been proposed, the generation or reconstruction of point clouds with fine details is still challenging. In this thesis, we study how to generate point clouds including geometric details. Specifically, we concentrate on alleviating the problems caused by Chamfers blindness. We introduce two methodologies; symmetry-aware upsampling module (SAUM) for consistent point cloud completion and progressive growing of points with tree-structured generators. The former investigates a novel neural network architecture applicable to existing methods and the latter researches a new training scheme of point cloud auto-encoder. Experimental results show that the methods we propose achieve the effective generation of elaborate point clouds.

포인트 클라우드는 3차원 형상을 나타내는 효율적인 방법이며 컴퓨터 그래픽스, 컴퓨터 비전, 로봇공학의 다양한 응용 분야에서 널리 사용되기 때문에 고품질의 3차원 포인트 클라우드를 생성하는 것은 굉장한 활용 가치를 지닌다. 이를 위해 학습 기반의 다양한 방식들이 제안되었으나 포인트 클라우드의 세밀한 부분까지 생성하거나 복원하는 것은 여전히 도전적인 문제로 남아 있다. 이 논문은 형상의 세밀한 부분까지 기하학적으로 표현하는 포인트 클라우드를 생성하는 방법에 대해 연구한다. 구체적으로 우리는 챔퍼의 무분별성에 의해 생기는 문제들을 완화하는 것에 집중한다. 우리는 먼저 포인트 클라우드의 빈 부분을 일관되게 채우기 위한 대칭인식 업샘플링 모듈을 제안하며 다음으로 트리 구조의 생성자를 이용한 점들의 점진적 성장방식을 제시한다. 전자는 기존의 방법론에 적용가능한 새로운 신경망 구조에 대해서, 후자는 포인트 클라우드 오토인코더를 훈련 시키는 새로운 계획법에 대해 연구한다. 실험 결과는 우리가 제안하는 방법론들이 정교한 포인트 클라우드를 효과적으로 생성해낼 수 있음을 보여준다.