슈퍼픽셀 기반 깊이 초해상도 깊이 연구

Abstract

깊이 영상(depth image)은 색상 영상(color image)과 더불어 장면을 이해하는데 매우 중요한 역할을 하는 정보이다. 그렇기 때문에 일찍이 레이저 스캐너(laser scanner)나 스테레오 비전(stereo vision)과 같은 방법을 통해 깊이 정보를 획득하는 연구가 활발히 진행되어 왔다. 또 최근에는 비행 시간(time of flight (이하 ToF)) 원리를 이용한 깊이 센서들이 개발되고 장치의 성능 개선 및 용이해진 접근성으로 인해 비행 시간 깊이 센서를 이용하여 특정 장면의 깊이 영상을 취득하는 움직임이 활발해지고 있다. ToF 깊이 센서를 통해 깊이 영상을 취득할 경우 취득 과정이 간단하고 신속하며 또 기존의 방법에 비해 촬영하는 장면에 보다 강인하다는 장점이 있지만 작동 원리상 한정된 크기의 해상도로 영상을 취득할 수 없다는 점과 취득하는 과정에서 영상에 노이즈(noise) 가 많이 존재한다는 점에서 한계가 있다. 본 논문에서는 이러한 ToF 깊이 센서의 한계를 극복하기 위해 취득한 저해상도 깊이 영상과 같은 시점에서 취득한 고해상도 색상 영상을 융합하여 고해상도의 깊이 영상을 구할 수 있는 깊이 영상 초 해상도(depth image super-resolution) 알고리즘을 제안한다. 기존의 깊이 영상 초 해상도 연구에서는 기본적으로 에지 부분(edge region)은 보존하되 비 에지 부분(non-edge region)은 부드럽게 하는 에지 보존 로우 패스 필터(edge preserving low pass filter)의 원리를 사용하였다고 볼 수 있다. 이러한 접근은 깊이 영상과 색상 영상에서의 에지가 공존하고 깊이 영상의 해상도와 목표 해상도의 차이가 작을 때에는 무리 없이 작동하지만 입력 영상의 해상도와 목표 해상도의 차이가 클 때, 혹은 색상 영상에서 에지의 정보가 충분치 않을 때에는 에지가 선명해지지 않고 부드러워지는 왜곡과 색상 영상과 깊이 영상에서의 에지가 정확히 일치 하지 않음으로써 에지 불일치 왜곡이 발생하여 깊이 영상으로 사용하는 데 있어 한계가 있음을 볼 수 있다. 기존의 깊이 영상 초 해상도 연구들은 일방적으로 색상 영상의 세부 정보(detail)들을 참고하여 깊이 영상을 늘렸던 반면 본 논문에서는 색상 영상과 깊이 영상이 상호적으로 서로를 참고하여 에지를 향상함과 동시에 입력 깊이 영상의 해상도와 목표 해상도가 클 경우에 기존의 연구들보다 상대적으로 정확한 고해상도 깊이 영상을 획득할 수 있는 알고리즘을 제안한다. 본 알고리즘을 통해 향상된 고해상도 깊이 영상은 고해상도 색상 영상과 결합하여 많은 어플리케이션에 활용될 것으로 기대된다.