STUDY ON IMPROVEMENT OF THREE-DIMENSIONAL DISPLAYS BASED ON MULTI-VIEW DISPLAY AND PINHOLE-TYPE INTEGRAL IMAGING

Abstract

최근 10년간, 디스플레이 시장은 미세 공정과 유기 및 무기 발광 소자의 발달로 인하여 급속도로 평판 디스플레이 시장으로 전환되었고, 보다 현실감 있는 영상을 재생하기 위한 노력을 통하여 2차원 고화질 영상의 시대에서 3차원 입체 영상의 시대로 전환되어 가고 있다. 이미 TV시장과 영화 시장에는 편광 방식의 안경을 이용한 3차원 디스플레이가 성공적으로 자리를 잡고 있으며, 이들을 활용한 컨텐츠 또한 지속적으로 제작되고 있다. 그러나 궁극적인 3차원 디스플레이를 향한 연구는 현재의 안경식 방식에서 안경을 착용하지 않으면서도 다시점의 3차원 영상을 관측할 수 있는 무안경식 3차원 디스플레이 방식으로 집중 되고 있다. 본 논문은 무안경식 3차원 디스플레이 방식 중 다시점 디스플레이와 핀홀형 집적영상에 기반을 둔 3차원 디스플레이의 개선에 관한 연구이다. 지금까지 연구된 다양한 3차원 디스플레이 방식 중, 패럴랙스 배리어, 렌티큘러와 같은 다시점 디스플레이와 집적영상은 가장 상용화에 가까운 무안경식 3차원 디스플레이 방식이다. 그러나 무안경식 3차원 디스플레이의 상용화를 위해서는 디스플레이 기술, 관찰자의 인지요인, 그리고 광학적 정보처리 기술의 세 가지 측면에서의 문제점들에 대한 논의가 필요하다. 이 논문은 무안경식 3차원 디스플레이 중, 다시점 디스플레이와 핀홀(pinhole)형 집적영상을 이 세 가지 측면에서 개선하는 연구에 대한 내용을 담고 있다. 먼저 디스플레이 기술적인 측면에서는, 전계발광소자(electroluminescent film) 혹은 평판 디스플레이에 배열된 컬러 필터를 이용하여 핀홀형 집적영상의 시야각, 해상도, 광선 집적도 그리고 2차원/3차원 변환을 개선하는 방법들을 제안한다. 먼저 깊이 표현 범위가 기본적으로 넓은 핀홀형 집적영상의 2차원/3차원 변환으로의 확장을 위하여 전계발광소자에 기반을 둔 새로운 광원 변환 기술을 제안한다. 전계발광소자는 기본적으로 자르거나 휘거나 혹은 구멍을 뚫어도 발광에 영향을 받지 않는 특성을 가지고 있어, 전계발광소자에 균일한 핀홀을 배열하여 기존의 핀홀형 집적영상으로 이용이 가능하다. 따라서 이를 이용하여, 2차원/3차원 변환이 가능한 집적영상을 설계할 수 있고, 구부리면서 발광 상태를 유지하는 특성을 이용하여 광시야각을 갖는 반원 형태의 3차원 디스플레이로 제작할 수 있다. 또한 360도 전체에서 관찰이 가능한 집적영상 기반의 3차원 디스플레이로 확장하여 제안한다. 그리고 현재 대중적으로 사용되는 액정 디스플레이상의 컬러 필터 층을 핀홀 배열과 빔 프로젝터를 이용하여 광선 집적도, 해상도 그리고 깊이 표현 범위를 확장한 핀홀형 집적영상으로 제안한다. 실제 액정 디스플레이상의 컬러 필터는 3가지 색으로 나뉘어져 있고, 이를 이용하여 각각 색 영역이 다른 핀홀 배열로 사용이 가능하다. 이와 함께 빔 프로젝터를 이용하여, 한 요소 영상의 영역이 기존의 방식에 비해 넓어지고 서로 침범할 수 있게 되어 해상도와 광선 집적도가 최대 3배 향상되는 것을 확인할 수 있다. 집적영상의 개선과 함께 디스플레이 측면에서의 개선에서는, 무안경식 3차원 디스플레이의 특성을 개선하기 위하여 다시점 디스플레이와 1차원 집적영상을 분석하고 융합하는 연구도 진행한다. 두 가지의 다른 무안경식 3차원 디스플레이 방식을 융합하기 위하여, light field를 이용한 공간-각도 분포 분석과 이의 주파수영역에서의 분석을 진행한다. 분석을 통해 얻어진 두 방식의 공간-각도 분포 특징을 이용하여 다시점 디스플레이와 1차원 집적영상을 시분할 및 부픽셀분할을 통해 한 디스플레이 상에서 구현하여, 보다 품질이 향상된 무안경식 3차원 디스플레이를 제안한다. 또 다른 무안경식 3차원 디스플레이의 과제는 관찰자의 인지 요소로, 본 논문에서는 다시점 디스플레이와 집적영상에서의 깊이 해상도 및 조절력 반응에 대한 연구를 진행한다. 먼저 다시점 디스플레이 상에서 3차원 디스플레이 자체의 해상도와 cardboard 효과에 의한 인지 깊이 해상도 변화를 살펴보기 위해, 다시점 디스플레이 기반의 3차원 방송 환경을 구축하고, 디스플레이 자체의 깊이 해상도 표현의 제한, 다시점 영상 합성 과정 중의 깊이 해상도 표현의 제한 그리고 cardboard 효과에 의한 깊이 해상도 제한을 수식적으로 분석하고, 관찰자를 대상으로 한 설문을 진행한다. 이를 통해, 다시점 3차원 디스플레이 방송 환경에서 3차원 영상을 위한 깊이정보의 해상도를 위한 기준을 제시한다. 또한 무안경식 3차원 디스플레이에서 수렴-조절의 충돌을 해결하기 위해 논의되고 있는 초다시점 조건과 집적영상의 상관관계를 밝히기 위하여, 집적영상에서 초다시점 조건을 만족하는 영역을 분석 및 시뮬레이션을 진행하고 이 영역 안과 밖에서 관찰자의 조절력을 측정한다. 이 과정을 통해, 집적영상에서 초다시점 조건과 관찰자의 조절력 변화와의 상관관계를 찾을 수 있다. 그리고 무안경식 3차원 디스플레이를 이용한 또 다른 과제인 광학적 정보 처리에서는, 요소영상과 다시점 영상을 이용한 깊이 추출과 3차원 영상의 재획득에 대한 연구를 진행한다. Optical flow에 기반을 둔 보다 정확한 깊이 추출 알고리즘을 이용하여 요소영상에서 추출한 부영상의 깊이를 추출하는 방법과 이의 응용에 대해 본 논문에서 설명한다. Optical flow에 기반을 둔 3차원 물체의 깊이 추출을 컴퓨터를 이용한 실사 3차원 영상의 재획득에 활용하는 경우, 집적영상의 본질적인 문제인 pseudoscopic 문제를 해결할 수 있다. 본 논문을 통한 무안경식 3차원 디스플레이의 디스플레이 기술, 관찰자의 인지요인, 그리고 광학적 정보처리 기술적인 측면에서의 개선 방법들은 추후 무안경식 3차원 디스플레이 시장의 확대와 가정용 TV시장으로의 진출에 크게 기여할 수 있을 것으로 보인다.

This dissertation presents studies on improvement of three-dimensional (3D) displays based on multi-view display and pinhole-type integral imaging. Among various types of 3D displays, integral imaging and multi-view display such as parallax barrier and lenticular 3D display are almost commercialized autostereoscopic 3D display. For commercialization, autostereoscopic 3D display has three issues that are limitation of display technology, human factors related on human visual system and optical information processing technology. In this dissertation, the author will address the studies about the improvement methods for multi-view display and pinhole-type integral imaging in three issues. In the issue of display technology, the improvement methods of pinhole-type integral imaging using electroluminescent (EL) film and color filters on display panel are proposed to enhance the viewing angle, resolution, ray density and two-dimensional (2D)/3D convertibility. For large expressible depth range and 2D/3D convertibility in pinhole-type integral imaging, pinhole-type integral imaging is modified by new light source conversion layer based on EL film. The EL film has the advantage that it can operate continuously even when it is cut or punctured. Using this characteristic, the author generates an array of pinholes on an EL film to form a point light source array for reconstructing 3D images based on integral imaging. Taking advantage of the flexibility of EL films, a 2D/3D convertible integral imaging system with a wide viewing angle using a curved EL film is proposed which is extended to 360-degree viewable cylindrical 3D display system. For enhancement of ray density, resolution and expressible depth range in pinhole-type integral imaging, the system using color filter pinhole array on liquid crystal display panel with projection scheme is proposed. A color filter structure on liquid crystal display panel acts as pinhole array in integral imaging with separation of color channel. The use of color filter pinhole array and projection scheme can enlarge the region of one-elemental image and improve the resolution and ray density remarkably. In addition to the improvement of pinhole-type integral imaging, analysis and convergence of multi-view display and one-dimensional (1D) integral imaging are presented for improvement of characteristics in autostereoscopic display. For the convergence of two different autostereoscopic 3D display, multi-view display and integral imaging, light field analysis of spatio-angular distribution and its frequency domain analysis are performed. From the analysis, the convergence type of autostereoscopic 3D display based on multi-view display and 1D integral imaging is proposed by using time-multiplexing and sub-pixel multiplexing technique. On another issue in autostereoscopic 3D display, the depth resolution and accommodation response of human factors in multi-view display and integral imaging are researched. To find the effect of fundamental depth resolution and cardboard effect to the perceived depth resolution in multi-view display, the fundamental depth resolution and the cardboard effect from the synthesis process in the multi-view 3D TV broadcasting are analyzed and a subjective test is performed. In addition, the analysis and measurement of accommodation response of integral imaging with satisfying super multi-view display is performed to reveal the relation between the accommodation response of integral imaging and super multi-view condition. On the other issue of autostereoscopic 3D display, the optical information processing from elemental image and multi-view images in depth extraction and computational pickup method without pseudoscopic problem is presented. A more accurate depth extraction algorithm using optical flow from sub-images of elemental image is proposed and its applications are also presented in this dissertation.