Browse

Deep Reinforcement Learning Based ABR Algorithms Using Segment Replacement Technique
세그먼트 교체 기법을 활용한 심층 강화학습 기반의 ABR 알고리즘

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
배형호
Advisor
김종권
Issue Date
2021-02
Publisher
서울대학교 대학원
Keywords
video streamingadaptive bitrate algorithmdeep reinforcement learningrate controlsegment replacementDASHoptimization비디오 스트리밍적응형 비트레이트 알고리즘심층 강화학습세그먼트 교체최적화전송 제어
Description
학위논문 (석사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2021. 2. 김종권.
Abstract
적응형 비트레이트 알고리즘은 온라인 비디오 서비스의 재생 품질, 즉 사용자 체감 품질을 올리기 위하여 사용되는 대표적 기술 중 하나이다. 지금까지 적응형 비트레이트 알고리즘은 다양한 최적화 기법에 기반하여 사용자 체감 품질을 최적화하였다. 그러나 대부분의 적응형 비트레이트 알고리즘은 공통된 한계점을 지닌다. 사용자 체감 품질을 최적화하기 위해 단순히 다음으로 다운로드 해야하는 세그먼트의 비트레이트만을 결정한다는 점이 그 한계점으로, 이러한 유형에 속하는 적응형 비트레이트 알고리즘들은 변화하는 네트워크 환경에 맞춰 앞으로 다운로드할 세그먼트의 비트레이트는 최적으로 조정할 수 있지만 이미 다운로드한 세그먼트에 대해선 어떠한 최적화도 진행할 수 없다. 그렇기에 사용자의 네트워크 환경이 극단적으로 개선되더라도 이에 대한 활용도가 떨어진다.
이러한 한계점을 극복하기 위해 우리는 LAWS 기법, 학습 기반의 세그먼트 교체 전략을 포함한 적응형 비트레이트 알고리즘, 을 제안한다. 제안 모델은 사용자의 네트워크 환경 등에 따라서 더 나은 비트레이트로 세그먼트를 교체할 수 있다. 제안 기법을 실현하기 위해 우리는 새로운 형태의 리워드를 디자인한다. 이를 통해 제안 기법은 세그먼트 교체 전략을 포함한 형태로 사용자 체감 품질을 최적화할 수 있다. 또한 세그먼트 교체 전략을 포함함에 따라 증가하는 문제의 복잡도에 대응하기 위해 규칙 기반 행동 제약 기법을 사용하여 모델의 학습을 원하는 방향으로 유도한다. 우리는 최종적으로 심층 강화학습 기반의 적응형 비트레이트 알고리즘을 제안한다. 네트워크 트레이스를 기반으로 실시한 실험에서는 제안 기법이 기존의 기법들에 비해 사용자 체감 품질을 13.1%까지 개선시키는 것으로 확인됐다
Adaptive bitrate (ABR) algorithm is one of the representative techniques used to optimize the playback quality of online video services, namely Quality of Experience (QoE). So far, ABR algorithms based on various optimization techniques have optimized QoE. However, most of the ABR algorithms proposed to date have common limitations; the range of options for optimization. Currently, most ABR algorithms only determine the bit rate of the next segment for QoE optimization. This type of ABR algorithm can optimize the bit rate of a segment to be downloaded in the future in a dynamic network environment. However, it is not possible to optimize any segment previously downloaded, so the changed network environment cannot be utilized to the maximum.

To overcome this limitation, we propose LAWS, learning based ABR algorithm with segment replacement. LAWS can be replaced with a better bit rate, even for previously downloaded segments, in conditions such as an improved network environment. First for this, we design a novel form of reward for optimization, including segment replacement. Through this, QoE, the optimization objective of the ABR algorithm, can be optimized in the form of segment replacement. In addition, we propose a rule-based learning method to solve the challenges arising in the model learning process. We finally propose an ABR algorithm with segment replacement based on deep reinforcement learning. Experiments based on network traces show that the newly proposed technique has a QoE improvement of 13.1% compared to the existing ABR techniques.
Language
eng
URI
https://hdl.handle.net/10371/175389

https://dcollection.snu.ac.kr/common/orgView/000000164699
Files in This Item:
Appears in Collections:
College of Engineering/Engineering Practice School (공과대학/대학원)Dept. of Computer Science and Engineering (컴퓨터공학부)Theses (Master's Degree_컴퓨터공학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse