Perceptual studies on holographic near-eye displays

Abstract

Holographic near-eye displays have emerged as the most promising candidate for augmented reality and virtual reality applications, offering superior features to other advanced displays. Recent advancements in holographic image quality, boosted by sophisticated computer-generated holography (CGH) algorithms, have accelerated the potential to pass the visual Turing test. However, much of the research relies on camera-based evaluations, which might overlook certain perceptual impacts.

This dissertation signifies initial progress in the field of visual experience using holographic near-eye displays, including a perceptual evaluation of holographic contents. To improve the accommodation response induced by holographic near-eye displays, the author delicately simulates the contrast ratio of the 2D holographic stimuli considering the human visual system and human perception models. The author employs both an optical solution and a computational approach to overcome the limited provision of accommodation cues from conventional CGHs. These proposed solutions have been validated through comprehensive user studies, which demonstrated a significant improvement in accommodation response and negligible degradation in subjective image quality.

This dissertation extends the focus to include 3D holographic content with the aim of enhancing 3D perceptual realism through holographic near-eye displays. In practice, volumetric scenes, which serve as ground truth for CGH algorithms, are often approximated from ideal viewpoints since the eyebox of holographic near-eye displays is relatively small, and evaluations are typically conducted using stationary cameras. Given the constant eye movement in human visual behavior during navigation, the perceptual metrics of holographic scenes are simulated under various pupil states. User evaluations conducted with a high-quality perceptual testbed for holographic near-eye displays validate the superior performance of including parallax cues in CGH supervision in terms of 3D perceptual realism. The results maintained consistency across a range of natural viewing conditions, even when head movement was restricted.

The author believes that this thesis contributes significantly to the development of holographic near-eye displays, furthering the pursuit of perceptual realism. It also sets a milestone towards passing the visual Turing test with holographic near-eye displays.

홀로그래픽 근안 디스플레이는 증강 현실과 가상 현실 디스플레이 중 가장 유망한 후보로 부상하였고, 다른 차세대 디스플레이와 차별된 시각 인지적 요인들을 제공한다. 최근 컴퓨터 생성 홀로그래피 알고리즘 분야의 발전으로 홀로그래픽 이미지 화질이 급속도로 향상되었으며 이러한 발전은 실제 세계와 디스플레이를 통해 바라본 가상 현실이 구분 불가한 수준임을 평가하는 비주얼 튜링 테스트를 통과할 가능성을 높였다. 하지만, 대부분의 연구는 카메라 기반 평가에 의존하고 있기에 특정 지각적 영향을 간과할 수 있다.

본 논문은 홀로그래픽 근안 디스플레이를 사용한 시각 인지적 품질 향상을 위한 첫 시도이며, 이에는 2차원, 3차원 홀로그래픽 콘텐츠에 대한 지각 평가가 포함된다. 인간 시각 시스템 및 인간 지각 모델을 고려하여 2차원 홀로그래피 자극의 초점 깊이에 따른 명암비 시뮬레이션하여 홀로그래픽 근안 디스플레이가 제공하는 초점 요인을 향상하고 반응을 개선한다. 본 저자는 광학 솔루션과 계산 접근법을 모두 활용하여 기존 컴퓨터 연산 홀로그램의 제한된 초점 요인 제공 문제를 해결한다. 이 제안된 방안들은 사용자 연구를 통해 검증되었으며, 이는 주관적 이미지 품질 관점에서 눈에 띄지 않는 차이를 갖지만 초점 반응에서의 유의미한 개선을 나타낸다.

본 논문은 3차원 콘텐츠를 포함시키는 방향으로 연구 범위를 확장하여 홀로그래픽 근안 디스플레이를 통한 3차원 지각적 현실감을 향상한다. 실제로, 홀로그램 렌더링에 활용되는 3차원 장면은 홀로그래픽 근안 디스플레이의 아이박스가 상대적으로 작고 평가 또한 고정된 카메라를 사용하여 이루어지기 때문에 이상적인 시점에서의 3차원 근사가 정당화되곤 한다. 하지만 가상현실 디스플레이 사용시에는 끊임없는 눈의 움직임을 동반하기에, 홀로그래픽 근안 디스플레이에서 제공하는 이미지를 다양한 동공 상태에서 재구성하고 이를 평가한다. 고품질 홀로그래픽 근안 디스플레이 지각 테스트베드를 구축하고 이를 활용하여 실시한 사용자 평가에서 컴퓨터 생성 홀로그램 최적화 시 시차 정보를 포함하는 것이 3차원 지각적 현실감에서 우수함을 사용자 평가를 통해 검증하였다. 이 결과는 머리 움직임이 제한된 환경에서도 3차원 지각적 현실감에 유의미한 개선을 나타내는 것이 검증되었으며 다양한 시청 조건 전반에 걸쳐 일관성을 유지하였다.

결과적으로, 본 논문은 홀로그래픽 근안 디스플레이를 통한 지각적 현실감 향상에 기여하며, 홀로그래픽 근안 디스플레이를 사용한 비쥬얼 튜링 테스트를 통과하는 목표에 중대한 이정표를 설정한다.