Real-time 3D visualization methods based on dual-dimensional imaging

Abstract

본 박사학위 논문에서는 라이트 필드 이미징 (light field imaging) 기술을 이용하여 실시간으로 3차원 시각화를 하는 방법을 제안한다. 라이트 필드 이미징 기술은 카메라 센서 앞의 렌즈 어레이를 이용해 한 번의 촬영으로 3차원 정보를 얻을 수 있다. 본 논문에서는 라이트 필드 이미징 시스템을 이용하여 얻은 3차원 정보를 실시간으로 집적영상 시스템으로 재생하는 방법을 제안한다. 다시점 기초 영상 (base image) 획득 알고리즘에 기반하여 집적영상을 위한 실시간 요소 영상 (elemental image) 획득 알고리즘을 개발한다. 이 알고리즘은 필요에 따라 재생 깊이 면을 조절할 수 있고, 3차원 장면에 따라 실상과 허상을 함께 재생할 수 있다. 제안된 시스템은 실제 크기의 물체를 실시간으로 3차원 공간에 재생할 수 있고, 이는 실시간 방송 등의 기술에 적용될 수 있다. 라이트 필드 이미징에 기반한 실시간 3차원 시각화 방법을 확장하여, 라이트 필드 현미경 (light field microscope) 에 적용한다. 라이트 필드 현미경을 통해 얻은 미세 물체의 3차원 정보를 집적영상 시스템으로 재생할 수 있다. 요소영상은 비슷한 실시간 알고리즘을 이용해 획득할 수 있다. 이 때, 대물렌즈와 재생 렌즈 어레이의 f수 (f-number)를 고려하여 요소영상을 제작하여야 한다. 제안된 방법을 라이트 필드 현미경과 집적영상 시스템을 제작하여 검증한다. 이 시스템은 살아있는 세포의 3차원 움직임을 추적하며 관찰할 수 있다. 한편, 라이트 필드 이미징은 카메라 센서 앞 마이크로 렌즈어레이 때문에 태생적인 해상도 한계를 갖는다. 이에 이중차원 이미징 (dual-dimensional imaging) 방법을 제안한다. 이중차원 이미징은 광경로 내부의 반거울을 이용하여 물체의 2차원 이미지와 라이트필드 이미지를 동시에 획득하는 방법이다. 얻어낸 두 영상은 푸리에 조각 사진 이론 (Fourier slice photography theorem)에 기반하여 업샘플링 (upsampling) 된 라이트 필드로 변환 가능하다. 라이트 필드 현미경 내부의 반거울을 이용하여 이중차원 이미징 시스템을 제작하고, 얻어낸 라이트 필드를 기존 라이트 필드 현미경과 비교하여 검증한다. 이중차원 이미징에서 얻어낸 고해상도 라이트 필드를 계산형 라이트 필드 디스플레이 (computational light field display)로 실시간으로 3차원 시각화 한다. 이 때 라이트필드 업샘플링과 라이트 필드 디스플레이의 층 이미지는 병렬 연산을 이용해 실시간으로 제작한다. 두 장의 액정 디스플레이를 포개서 제작한 라이트 필드 디스플레이로 이중 차원 이미징으로 얻어낸 고해상도 라이트 필드를 실시간으로 재생할 수 있다. 또한, 라이트 필드 현미경에서 다양한 대물렌즈에 적용될 수 있는 탄성적인 마이크로 렌즈 어레이를 제작한다. 라이트 필드 현미경에서 최대 해상도를 얻기 위해서는 대물렌즈와 마이크로 렌즈 어레이의 f수가 일치해야 해서, 대물렌즈마다 마이크로 렌즈 어레이가 짝지어져야 한다. 탄성적인 마이크로 렌즈 어레이는 당기는 힘에 따라 f수가 달라지기 때문에 다양한 종류의 대물렌즈에 적용가능하다. 폴리디메틸실록산 (PDMS)를 이용하여 기존 마이크로 렌즈어레이의 주물을 제작하고 이를 이용하여 탄성적인 폴리디메틸실록산 마이크로 렌즈 어레이를 얻어낸다. 얻어낸 탄성 마이크로 렌즈 어레이로 라이트 필드 현미경을 구성하여 검증한다. 기존 3차원 디스플레이 연구는 대부분 디스플레이 특성을 향상시키는 방향이었기 때문에 실시간 3차원 시각화에 대한 연구는 부족하였다. 본 논문에서는 한 번의 촬영으로 얻은 고해상도 3차원 정보를 다시 3차원 디스플레이를 이용하여 실시간으로 재생하는 방법을 제안한다. 제안된 방법은 향후 3차원 방송 기술이나 3차원 의료 기술 등의 발전에 기여할 수 있을 것으로 기대된다.

This dissertation investigates the real-time three-dimensional (3D) visualization method based on light field imaging. Light field imaging is to obtain 3D information in one-shot using a micro lens array in front of the camera sensor. In this dissertation, the 3D information from the light field imaging is reconstructed via integral imaging system in real-time. Based on the base image generation algorithm in multi-view display, the real-time elemental image generation algorithm is proposed for integral imaging. This algorithm can adjust the reconstruction depth plane, so the real 3D images and virtual 3D images can be provided together if needed. The proposed system can visualize real-scale objects in 3D space in real-time, and can be applied to real-time broadcasting technology. The real-time 3D visualization method can be expanded to light field microscope. The light field information of the micro object obtained from a light field microscope can be reconstructed in 3D via integral imaging system. The elemental image is generated with the similar real-time algorithm, but the generation should be under the consideration of f-number of the objective lens and that of the display lens array. The proposed method is verified with the implementation of the light field microscope and the integral imaging system. This system can track 3D behavior of the living cells and observe them in 3D and in real-time. The light field imaging suffers from the limited resolution because of the micro lens array in front of the camera sensor. To overcome this, dual-dimensional imaging method is proposed. A dual-dimensional imaging method is to capture the two-dimensional (2D) and light field images simultaneously using a half-mirror inside the beam path. The obtained 2D and light field images can be upsampled to the high resolution light field based on the Fourier slice photography theorem. The dual-dimensional imaging system is implemented and compared to conventional light field imaging. The generated upsampled light field is 3D visualized in real-time via a computational light field display. The light field upsampling and the layer image optimization are performed in real-time with the parallel computation. The computational light field display system is implemented by stacking two liquid crystal displays, and can provide the high resolution light field images obtained from dual-dimensional imaging system. In addition, an elastic micro lens array is fabricated which can be applied to multiple objective lenses in light field microscope. To achieve the maximum resolution in light field microscope, the f-number of the objective lens and that of the micro lens array should be matched, so every objective lens requires paired micro lens array with different f-number. The f-number of the elastic micro lens array can be adjusted by the addressed strength, so the elastic micro lens array can be paired to multiple objective lenses. By using polydimethylsiloxane (PDMS), the mold of the original micro lens array is obtained. By using the mold, the elastic PDMS micro lens array is fabricated. The elastic micro lens array is verified with a light field microscope system with a 2D stretching device. Previous 3D display studies mainly have focused on the improvement of viewing characteristics, so the real-time 3D visualization methods have not been discussed much. This dissertation proposes a dual-dimensional imaging method to achieve high resolution light field images in one-shot, and a real-time 3D visualization method via computational light field display systems. The proposed method is expected to be applied in 3D broadcasting technologies and in 3D biomedical technologies.