Volumetric Video Delivery on Mobile Devices

Abstract

볼류메트릭 비디오는 공간에 대한 깊이 정보를 담은 3차원 비디오이며 차세대 멀티미디어로 주목 받고 있다. 기존 360도 비디오는 사용자에게 축 회전에 해당하는 움직임을 자유롭게 할 수 있는 3 자유도(3 DoF)를 제공한다. 볼류메트릭 비디오는 한 단계 더 나아가 전후, 좌우, 위아래로 이동할 수 있는 추가적인 자유도와 함께 6 자유도(6 DoF)를 제공한다. 최근 기술 발전이 급격히 이뤄지고 있는 가상 현실, 증강 현실, 혼합 현실 기술과 함께 볼류메트릭 비디오는 사용자가 3차원 공간을 인지하고 직접 참여할 있는 인터렉티브 미디어를 실현한다. 사용자가 볼류메트릭 비디오가 제 공하는 6자유도를 실감하기 위해서는 선의 제약 없이 모바일 기기를 통한 미디어를 제공받을 수 있어야 한다. 최근 5G 네트워크 기술의 발전과 고성능 CPU 와 GPU 를 장착한 모바일 기기의 발전으로 이를 실현할 수 있는 가능성이 있지만 여러가지 해결 되지 않은 어려움이 존재한다. 볼류메트릭 비디오는 3차원 공간에 대한 정보 를 저장해야하기 때문에 기존 이차원비디오에 비해 훨씬 큰 데이터 크기를 가진다. 또한, 볼류메트릭 비디오를 압축하는 현존하는 기술들은 모바일 기기에서 실시간 처리를 제공할 수 없다. 더 나아가 기존 비디오 스트리밍 시스템에 흔히 사용된 가 변 비트레이트 (Adaptive Bit rate) 스트리밍 이나 360도 비디오 스트리밍 시스템의 핵심 기술 중 하나인 사용자의 시선에 해당하는 부분만 적응적으로 보내는 기술은 볼류메트릭 시스템에 그대로 적용할 수 없다. 본 논문에서는 처음으로 앞서 언급된 문제점들을 해결하는 볼류메트릭 비디오 스트리밍 시스템을 제안한다. 기존 볼류 메트릭 비디오를 압축하는 방식을 효율적으로 실시간 처리하는 방법을 제안하고, 사용자의 시선뿐만 아니라 위치에 따라 적응적으로 스트리밍하여 데이터 양을 줄이고 사용자의 경험 품질을 유지하고자 한다. 데스크톱 컴퓨터와 모바일 기기에 직접 프로토타입을 구현 후 최신 데이터셋으로 성능 평가를 하여 해당 시스템의 가능성을 증명한다.

A volumetric video consists of three-dimensional data, thus providing the user with six degrees of freedom (6 DoF) to fully immerse himself into the media. Combined with the recent advancement in virtual reality (VR), augmented reality (AR), and mixed reality (MR), volumetric video can bring out numerous applications, such as teleconferencing, remote collaboration, and mixed reality, and can be applied to different fields including medical, architecture, education, and arts. Furthermore, the newly released evolution of the wireless network, 5G, and state-of-the-art mobile devices equipped with multi-core CPUs and GPUs open up the possibility of delivering these contents to mobile devices so that the users can interact with the media anytime and anywhere. Despite the promising future of streaming volumetric videos to mobile devices, there exist multiple challenges. First, the data size of volumetric videos is much bigger than high-resolution 2D or 360°videos. However, volumetric video compression is not optimized yet for real-time systems and there is no dedicated hardware for the purpose. Lastly, adopting approaches from streaming high-resolution video or 360°videos, such as Adaptive Bit Rate(ABR) algorithms or user view adaptive methods have not been studied extensively. Motivated by the aforementioned challenges, we aim to develop the first volumetric video streaming system that enables real-time streaming. We propose novel techniques that can reduce the data size while maintaining user perception quality. We optimize every step of our system to implement a prototype and conduct experiments on the state-of-the-art datasets.