Evaluation and Enhancement of Human Perceptive Image Quality on Static and Moving Image with 2D, 3D Flat Panel Display

Abstract

Flat Panel Displays that are represented by PDP and LCD bring diversification to the CRT-driven market, further, due to the superior electro-optical characteristics and the high image quality, they are currently being utilized in a variety of industries. Away from traditional CRT, there are various types of competing products including PDP and LCD in the current display market. And this phenomenon is expected to be even more intensified in 2012, when the OLED and the flexible display are commercialized. In the past, basic performance of FPD TV which can be numerically determined, such as size, response time and etc., nowadays, an engineering emphasis has focused on comfort and amenity features added to the traditional electronic products. So, the purpose of this thesis is to achieve the better perceptive image quality of Flat Panel Displays. First, the perceptive image quality model of 2D static image was suggested. The basic index and variables are introduced and technologies for the improvement on perceptive color image quality considering circumstances such as illuminant, background color, and subjective -ness perception are suggested. Suggested idea is a compromising of colorfulness and naturalness, which are the major factors conclude perceptive image quality in the previous research. So far, the image quality of 2D display was analyzed and investigated in static images, in this thesis, the research was extended to the moving images. Liquid crystal displays (LCDs) have shown great promise in the consumer market for their vast usage as both computer and television displays. Despite their many advantages, the inherent sample-and-hold nature of LCD image formation results in a phenomenon known as motion blur. Methods or technologies to reduce motion blurs in LCDs are a hot item for research of high image quality on LCD TV. Many efforts including faster LC response, overdrive, blank insertion, and blinking backlight were made to solve these problem, however none of them are fully covered the defects. In this thesis, perceptive motion blur minimizing techniques with real-time consecutive moving images is suggested. The basic idea is using motion information of images, however the method is more efficient and fast than previous research. First, major moving objects are detected with motion vector in series of frames. Then, the critical objects are labeled with contour to prioritize. By subtracting consecutive 60 frames, we can predict the consecutive motion blur in each frame. The priority is modified according to the amplitude of motion vector and the size of labeled contour. By optimizing the predicted motion blur region which affects on human perception of clearness, it selectively sharpened the images on consecutive frames. This relative motion-related compensation is effective for reducing motion blur in human visual perception. Moreover, the newly proposed method is dependent of the motion, though does not require expensive calculation. Nowadays, an engineering emphasis has focused on comfort and amenity features added to the traditional electronic products. These growing interests in Flat Panel Display (FPD) TVs have extended to measurement on human visual system. Recently, the tendency of measurement on FPD is to obtain ergonomic requirements and figure out how comfortable the FPD are for the human eyes. The clarification of a visual display viewer image quality is one of the most important objectives in determining how pleasing the FPD is to the viewers eye. It is very important to set up appropriate guidelines regarding which factors should be employed in user displays. A variety of physical and psychological factors are involved in defining preference, so there are no specific standards for user-perceptual TV image quality and preference for FPD yet. In this thesis, a quantitative measurement method to describe overall perceptual image quality and customer preference in both 2D, 3D and also in static and moving image was proposed. To measure human perception on display 2D image quality, subjective and objective measurement were conducted. It clarified the complex relationships among human visual preference and fatigue of major Flat Panel Display TVs with related physical and physiological factors. In the subjective measurement, comparison tests were conducted and the semantic differential method with factor analysis was carried out for six TVs with different room luminance and length of watching time. From the statistical factor analysis of semantic differential method, significant factors were extracted for describing human visual preference. In the objective measurement, the eye motion tracking camera was used to detect the eye response and thus generated physiological data corroborated the significant factors extracted from the subjective measurement. This study allows the human perceptual preference and fatigue of electronic displays to be quantitatively measured with psychological and physiological factors and will tell which parameters are significant and guide the manufacturer in making the optimum TVs. With the rapid growth of 3D TV market in recent years, attention has been paid to 3D image quality and human perception. Due to the innate characteristics caused from the stereoscopic system, current 3D displays have some problems in perceptive image quality and related visual fatigue. So far, most study on human discomfort when watching 3D display has been based on psychological responses. Due to the lack of quantitative values, it is superficial and difficult to normalize. In this thesis, the electro-optical characteristic of human eyes is adapted to measure the visual discomfort. A new method - EOG - to measure the eye discomfort using quantified electro physiological responses is suggested. The devised EOG, equipment is in a good accord with the psychological indications from the viewers. Further, it can be utilized not only in the research of minimizing 3D depth-related discomfort but also in enhancing the 2D image quality.

PDP, LCD로 대표되는 평판디스플레이는 CRT 위주의 디스플레이 시장에 다각화를 가져옴과 동시에, 우수한 전기광학적 특성과 화질로 현재 다양한 산업에서 활용되고 있다. 현재 디스플레이 시장에는 전통적인 CRT 위주의 시장에서 벗어나 PDP, LCD 등 다양한 타입의 제품들이 각축을 벌이고 있으며, 이러한 현상은 OLED나 Flexible Display가 상용화되는 2012년 이후에는 더더욱 심화되리라 예상된다. 기존에는 패널의 화질•사이즈•응답속도 등 수치로 표시되는 모든 스펙이 소비자가 구매를 결정하는 키워드가 되어 왔으나, TV의 기본적 성능이 충분히 충족된 현재 평판 TV는 새로운 시대를 맞아 각 TV는 이제 그 이외의 요소, 즉 독특한 디자인이나 사용자의 편의성, 시청자의 기호 등을 충족시킬 필요성이 대두되었다. 그럼에 본 논문에서는 진정으로 소비자가 좋아하는 감성 디스플레이를 구현하기 위한 방법에 초점을 맞추었다. 소비자가 좋아하는 화질, 감성화질을 구현하기 위해서는 일단 무엇으로 평가를 할 것이냐, 그 방법론에 대한 고찰이 필요하므로, 본 논문에서는 우선적으로 감성화질 구현의 기본 이론이 되는 Image quality model (IQ model)과 Human visual system (HVS)을 정리하고 분석하였다. 우리 눈은 외부의 전기광학적인 자극을 수용하는 매체로서, 인지된 정보는 뇌신경계로 전달되며 HVS에는 이러한 전기생리학적인 자극 외에 포괄적으로 인간의 경험적인 요소나 심리적인 요소도 중요하게 작용한다. 그러나 본 논문에서는 감성화질의 정량화에 목표를 두었으므로, 경험적인 요소들은 배제함은 물론 그와 독립적으로 눈이 받아들이는 과정에만 포커스를 맞추어 연구를 진행하였다. 우리 눈이 인식하는 요소는 크게 4가지로, 형태, 움직임, 색상 그리고 공간적인 깊이가 그것이다. 이 중 형태는 차원이나 정지, 동화상에 상관없이 가장 중요하고 기본이 되는 인식 요소인데 반해, 컬러는 정지 영상에서 인식이 두드러지며, 움직임(motion)은 동화상에, 공간적인 깊이는 3D 영상에서 주된 인식 요소이다. 그래서 본 논문에서는 2D 정지영상 감성화질에서는 색채에, 2D 동화상 감성화질 연구에서는 움직임(motion) 특성에, 3D 감성화질 연구에서는 깊이 인식에 초점을 맞추어 연구를 진행하였다. 석사과정의 연구 동안 설문 조사 시 장시간 시청 시에 소비자가 자연스럽고 부드러운 영상을 선호함을 알 수 있었다. 이에 2D 정지 영상의 감성화질을 결정하는 주요 인자인 자연스러운 색상 모델을 개발하였다. 보통 감성화질 연구에서 색채감과 자연스러움은 길항작용을 하는 것으로 알려져 있다. 본 연구에서는 자연스러움을 극대화하되, 색채감이 떨어지지 않도록 보완하는 법을 제안하여 두 항목이 조화를 이뤄 최적화된 감성화질을 구현하도록 하였다. 사전 설문조사 결과 자연스럽다라는 이미지는 영상의 부드러움 또는 명암대비가 낮은 같은 것과 연결됨을 알 수 있었고, 이에 주요 색상별 resolution을 낮춰가면서 색상별 민감도와 인식 정도를 측정하여 가중치를 도출하는 방향으로 자연스러움에 관한 Image quality model을 만들고자 하였다. 일단 입력된 이미지를 컬러어피어런스 모델에 맞춰서 색상 변환을 하고, 기존에 나와있는 naturalness index를 참조하여 naturalness 인덱스가 최대화되도록 이미지의 자연스러움을 극대화 시킨후, 원본 이미지의 컬러디퍼런스 값을 구해서, 자연스러움이 극대화된 이미지의 컬러디퍼런스값이 원본이미지와 같아지도록 레졸루션을 바꿔가면서 컬러디퍼런스를 보완하는 처리를 더했다. 이렇게 되면 자연스러움을 잡으면서 색채감 또한 보완할 수 있어서 두 가지 항목을 충족하는 이미지를 얻을 수 있었다. 디스플레이는 정지된 영상만을 보도록 만들어진 제품이 아니기에, 2D 정지영상의 감성화질 연구에서 나아가, 본 논문에서는 동화상 감성 화질 연구를 개진하였다. 동화상 감성화질 연구는, 기존 평판디스플레이의 대표주자인 LCD의 동화상 품위를 저하시키는 모션블러를 개선하는 방안을 제시하는데 목표를 두었다. 모션블러를 저감시키기 위해 기술적으로 많은 연구가 진행되고 있지만 결과는 이미지로만 보여질 뿐 어떤 정량적 측정법도 제시된 적이 없었다. 이에 본 논문에서는, 우선적으로 실제 동화상 즉 연속적인 이미지에서 모션블러가 생길 수 있는 부분을 예측하는 정량적 측정법을 제시하였다. 또한 기존의 모션블러 개선법이 정지영상에서 하나의 화면만 고려하여 개선법을 제시하는데 그쳤으나, 본 논문에서는 연속적인 최소 60 프레임정도의 화상을 가지고 모션을 고려하여 실제 사람이 보았을 때 관측되는 모션블러를 개선할 수 있는 방안을 제시하였다. 본 논문에서는 예측된 모션블러를 저감시키기 위해, 모션블러가 경계선(Edge)에서 발생하는 것에 주목하였다. 모션블러는 보통 속도가 빠른 경계선(Edge)부분에서 발생되므로 연속적인 화면에서 존재하는 메인 영역을 감지하여, 추출된 형태의 이미지에서 경계선을 도출하게끔 하였다. 영상정보로부터 경계선 상의 픽셀에 대한 움직임 벡터를 추출한 후, 움직임 방향이 큰 쪽의 경계선을 강화하고, 일정값 이상의 모션벡터를 가지는 경계선 부분을 모션 정도에 따라 하이패스 필터처리를 하여 선명도(sharpness)를 강화하였다. 다음으로, 본 논문에서는 감성화질의 정량적 측정법의 일환으로 2D 주요 평판 디스플레이인 LCD와 PDP를 가지고, 기존의 광학특성 측정평가에서 나아가 사용자 중심의 감성화질 측정 평가 연구를 정량화하는 연구를 진행하였다. 단순 전기 광학적인 방법이 아닌, 사람의 시각 인지체계에 기반한, 심리학적인 방법과 생리학적 방법을 차용하여, 소비자들이 실제 영상을 시각적으로 볼 때 느끼는 화질을 정량화하는 방법을 모색하였다. 시청자의 심리적인 반응을 인지심리통계 방법으로 측정하는 한편, 눈의 움직임을 측정하여 심리적인 응답의 정량화 방안을 제시하였다. 고안된 측정법으로 디스플레이의 다양한 실사용 환경의 사용자 선호도 및 피로도를 계측하여, 고안된 방법을 검증함은 물론, 최적화된 사용환경 별 품위를 제시하였다. 마지막으로 본 논문에서는, 최근 대두되는 3D 감성 화질 품위를 측정하기 위하여, 3D 영상이 주는 깊이 인식에 따른 사람의 반응을 평가하는 법을 고안하였다. 눈의 전기생리학적 원리에 근거한, 정량적 측정장비를 고안하였고, 이를 가지고 3D 디스플레이의 피로도 최적화 연구를 진행하였다. 현재 시중에 주로 나와있는 3D 디스플레이는 사람의 양안 좌우에 각기 다른 이미지를 입력 및 전환하면서, 마치 우리 눈이 느끼기엔 두 개의 화상이 동시에 하나의 화면에서 출력되는 것처럼 느끼게 되고, 두 채널의 화상이 뇌 속에서 합쳐서 입체감을 느끼게 되는 양안시차방식으로, 그 구현원리부터 눈의 피로도를 내재하고 있다. 이러한 피로도의 정량적인 측정법이 전무한 실정에서, 본 논문에서는 의학에서 사용하는 여러 전기적 눈 검사진단법 등을 참조하여 눈의 깊이 정보 인식을 정량적으로 측정하기 위한 EOG를 고안하였다. 기존 눈의 망막상피 세포 이상을 진단하는데 쓰이던 EOG 장비를, 깊이 인식에 따른 수렴과 폭주시의 안구의 운동을 관장하는 내직근의 움직임을 측정하기 위한 장비로 고안하여, 전극이 안구(eyeball)의 움직임을 감지하여 눈의 기능을 정량적으로 측정하도록 설계하였다. 2D와 3D 영상의 시청 전후 눈의 운동을 측정하여, 3D 시청으로 기인한 눈의 기본 운동 성능의 저하도를 측정하는 방식으로 실험을 진행하였다. 설문조사와 병행하여 실험한 결과, 고안된 EOG 장비가 눈의 피로도를 제대로 측정하는 것으로 확인되었으며, 향후 3D 감성화질의 정량적 평가법으로 전기생리학적 방법이 활용될 수 있음을 증명하였다. 본 논문은, 디스플레이의 감성 화질이 중요해지면서 정량적 평가법의 필요성이 증대된 상황에서, 2D, 3D 영상에서 감성 화질 평가를 위한 다각적인 측정 방법을 제안하였고, 더불어 실제 사용 영상에서 감성 화질이 개선될 수 있는 알고리즘을 제시하였다. 이는, 향후 디스플레이의 실 소비자가 느끼는 감성 화질 품위를 개선하는데 주요한 기술이 될 것이다.