Image processing methods for light-field based computational imaging

Abstract

Due to the enormous commercial success of mobile devices that include optics and image sensors, researches are continuing on next-generation cameras that support computational imaging, rather than simple imaging technique. The miniaturization of image sensors and the improvement of image processor performance led to a soft landing of such researches and commercialization. Also, there is a growing demand for imaging systems and image processing supporting them that utilize the latest technologies and support multi-functionality. In this dissertation, image processing techniques which consider their optical configuration and properties for computational imaging and optical reconstruction methods are studied primarily for light-field based images. A light-field camera is considered as a proper candidate to replace a conventional mobile camera by capturing depth and color information at the same time. However, previous research on light-field cameras tends to be devoted to improving image post-processing technique without considering its optical configuration rigorously. To design the light-field camera and its image processing for optical reconstructions, the composition of the optical elements and system configuration of the light-field camera should be considered and referred. Considering the above, design methods of the light-field camera are studied, including accurate F-number matching condition, adaptive depth extraction method based on optical configurations. The proposed design and reconstruction methods utilize several camera parameters. Since the image processing methods in this dissertation comprehensively consider specifications of the system, all information extracted from the image post-processing has real distance units. Therefore the depth-map images and three-dimensional models can be transformed into elemental images for next-generation autostereoscopic display, which can be used for virtual and augmented reality. Also, more extensive researches are carried out to design and optimize light-field based computational imaging technology using a deep learning software library. Conventional computational imaging techniques are developed in terms of image processing independently or using heuristic cost function for freeform optics. In this dissertation, a technique is proposed to simultaneously optimize optical elements and image reconstruction methods suitable for computational imaging using ray-tracing based technology. Moreover, non-paraxial lights are considered to enhance the quality of reconstruction on the peripheral region of the images. The entire pipeline from input images to reconstructed images is implemented to be fully differentiable for updating variables with stochastic gradient method. The designed device enables extended depth of field through computational imaging and included the design for off-axis input light so that the proposed optimization technique can be used in optical design with larger numerical apertures. The several image processing methods for light-field based computational imaging technology proposed in this dissertation are expected to be used as future imaging technology and also work with a camera system capable of acquiring information for a next-generation display.

광학 기기와 카메라가 포함된 모바일 기기들의 거대한 상업적 성공으로 인해 단순 촬영 이상의 기능을 지원하는 차세대 전산 카메라에 대한 연구가 진행되고 있다. 이미지 센서의 소형화와 이미지 프로세서 성능의 향상은 그러한 연구 및 상용화의 연착륙을 이끌어 냈다. 또한 이로 말미암아, 최신 기술을 활용하는 다기능 이미징 시스템에 대한 수요가 최근 증가하고 있다. 본 논문에서는 광학적 구성을 이미징 시스템 설계 및 복원 방법에 고려한 전산 영상 시스템과 이를 위한 이미지 처리 방법에 대한 연구가 소개된다. 라이트-필드 카메라는 깊이와 색상 정보를 동시에 기록하여 기존 모바일 카메라를 대체 할 수 있는 대안으로 제안되었다. 그러나, 라이트-필드 카메라에 대한 기존의 연구는 이미지 후 처리 기술을 독립적으로 향상시키고 카메라의 광학적 특성을 고려하지 않는 경향이 있다. 라이트-필드 카메라와 촬영된 이미지의 복원 방법을 광학적 특성에 맞추어 설계하기 위해, 광학 요소들의 배치와 라이트-필드 카메라의 시스템 특성이 카메라의 디자인과 복원 방법을 설계하는데 반드시 참조해야 한다. 이와 같은 기조아래, 정확한 F값 매칭 조건, 광학 구성에 대한 적응형 깊이 추출 방법을 포함하여 라이트-필드 카메라의 설계 방법들이 연구되었다. 본 논문에서 라이트-필드 카메라에 대한 연구는 시스템의 사양을 고려하기 때문에 이미지 후 처리에서 추출된 모든 정보는 실제 거리 단위를 갖는다. 따라서 깊이 맵 영상과 복원된 3차원 모델은 증강현실과 가상현실에 이용 가능한 차세대 무안경식 3차원 디스플레이의 요소 영상으로 변환될 수 있다. 또한, 딥-러닝 소프트웨어 라이브러리를 사용하여 더욱 일반적인 형태의 전산 영상 시스템을 설계하고 최적화하기 위한 연구가 수행되었다. 종래의 전산 이미징 기술은 영상 처리를 독립적으로 개발하거나 자유형 광학을 위한 휴리스틱 (heuristic) 비용 함수를 사용하는 한계점이 있었다. 본 논문에서는 광선 추적 기술을 이용한 전산 이미징의 목적에 적합한 광학 소자와 영상 복원 방법을 동시에 최적화하는 기술이 제안된다. 나아가 비-근축 빛들이 복원 이미지의 주변부 화질을 향상 시키기 위해 고려된다. 이미지 입력에서 이미지 재구성까지의 전체 파이프 라인은 미분 가능하도록 구현되어 목적으로 하는 표면과 이미지 복원 방법을 확률적 기울기 강하 (stochastic gradient descent) 기술을 통해 최적화 할 수 있도록 구현된다. 제안된 시스템은 전산 이미징을 통해 확장 된 피사계 심도 기술을 가능하게 하고 제안된 최적화 기술을 더 큰 수치 개구를 갖는 광학 설계에 사용할 수 있도록 축외 (off-axis) 입력 광에 대한 설계를 포함한다. 본 논문에서 제안한 라이트-필드 기반의 전산 이미징 기술을 위한 다양한 이미지 처리 방법들은 미래의 이미징 기술에 이용될 것으로 예상되며, 차세대 디스플레이를 위한 정보 습득을 할 수 있는 카메라 시스템과 함께 이용될 것으로 기대된다.