RL based ABR Streaming for 360 Degree Video

Abstract

As Virtual Reality (VR) becomes a more popular media platform, streaming for VR becomes important. Since the 360-degree video does not display the entire frame, the video frame is divided into small sections, tiles, and only the tiles to be displayed on the user screen are transmitted. However, current techniques do not reflex their focusing area, such as far left side or top-right corner. This leads to lower users Quality of Experience. In this thesis, we introduce an Object Location-Based Adaptive Bitrate Streaming algorithm (OLB) to redeem Field of View prediction errors and define quality functions for Quality of Experience using a Reinforcement Learning technique. The conducted experiments with network datasets demonstrate that our Object Location-Based Adaptive Bitrate Streaming (ABR) achieves better results over the current state-of-the-art models in 360 video streaming.

Virtual Reality (VR) 은 엔터테인먼트를 넘어 교육과 건축, 의료 등 다양한 분야에 사용되고 있다. VR이 보편화 됨에 따라, VR을 위한 360 도 비디오 스트리밍의 중요성이 높아졌다. 360 도 동영상은 동영상의 전 체 프레임을 표시하지 않기 때문에 동영상 프레임을 타일로 분할하여 사 용자 화면에 표시할 타일만 전송한다. 어떤 타일을 높은 bitrate 으로 전 송할지 결정하기 위해 client 나 server 에서 사용자의 다음 시선을 예측한 다. 이러한 예측은 때때로 틀리지만 기존 비디오 스트리밍 방법은 예측 에만의존하여 의사 결정을 내리고, 사용자가 화면의 어느 부분에 관심을 가지고 있는지 반영하지 않는다. 이는 사용자 QoE를 떨어트린다. 이 연구에서는 사용자 화면 예측 오류를 보완하기 위해 새로운 객체 위치 기반 Adaptive Bitrate Streaming (ABR) 알고리즘인 Object LocationBased ABR (OLB) 를 제안하고 사용자의 체감 퀄리티를 높이는 새로운 평 가함수를 정의한다. 실제 네트워크 데이터를 실험한 결과 360 도 비디오 스 트리밍에서 제시한 모델의 성능이 다른 비교 모델들 보다 높음을 확인했다.