Boundary Decision-Based Hole Filling Method For Depth Image-Based Rendering

Abstract

3차원 디스플레이 시스템에서 가상 시점의 영상을 생성하는 방법 중, 깊이 영상 기반 렌더링(Depth Image-Based Rendering, DIBR)이 주목을 받고 있다. 하지만 이 과정에서 나타나는 새롭게 드러나는 부분인 홀을 채우는 방법은 어려운 과제로 남아있다. 홀을 채우는 과정은 가상 시점에서 생성되는 최종 결과물의 품질을 좌우하는데 가장 중요한 역할을 한다. 영상 내 정보가 없는 부분을 채우는 방법인 이미지 인페인팅 기법이 홀을 채우는데 사용된다. 이 때 일반적인 인페인팅 방법을 적용하면 전경과 배경의 경계면에서 눈에 거슬리는 아티팩트가 생성된다. 본 논문에서는 경계면을 효과적으로 채우는 DIBR의 홀 필링 방법을 제안한다. 제안된 방법은 깊이 정보를 이용하여 배경 영역을 경계 영역보다 우선되게 채운다. 또한 패치를 채울 때 해당 패치가 경계 영역 위에 놓인 여부를 판단하고 경계 영역에 놓인 패치의 화소는 전경과 배경화소로 군집화한다. 배경 화소로 판별된 화소는 전경 화소보다 더 큰 가중치를 부여하여 가장 비슷한 패치를 찾는다. 이러한 과정은 홀이 배경과 어울리는 정보로 워지도록 유도하면서 경계면의 아티팩트 생성을 억제한다. 실험을 통해 제안된 방법이 효과적으로 아티팩트 생성을 줄이는 것을 확인하였다.

In 3D display systems, depth image-based rendering (DIBR) is the most common technique to generate virtual images through reference views. However, disoccluded hole filling problems remain a challenging issue and the quality of the synthesized views depends on the hole filling process. Image inpainting-based hole filling is a popular approach to fill the hole region but the conventional method generates annoying artifacts along the boundaries of the foreground. This paper presents an efficient hole filling method that fills the boundary with the high visual quality. The proposed method fills the background region prior to the boundary region by using the depth values. Also, based on the boundary decision, boundary regions are filled with background-related data by clustering the pixels on the boundary into background and foreground. Experimental results show that the proposed method has reduced boundary artifacts and achieves higher visual comfort.