Publications

Detailed Information

Deep Reinforcement Learning Based ABR Algorithms Using Segment Replacement Technique : 세그먼트 교체 기법을 활용한 심층 강화학습 기반의 ABR 알고리즘

DC Field Value Language
dc.contributor.advisor김종권-
dc.contributor.author배형호-
dc.date.accessioned2021-11-30T02:37:34Z-
dc.date.available2021-11-30T02:37:34Z-
dc.date.issued2021-02-
dc.identifier.other000000164699-
dc.identifier.urihttps://hdl.handle.net/10371/175389-
dc.identifier.urihttps://dcollection.snu.ac.kr/common/orgView/000000164699ko_KR
dc.description학위논문 (석사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2021. 2. 김종권.-
dc.description.abstract적응형 비트레이트 알고리즘은 온라인 비디오 서비스의 재생 품질, 즉 사용자 체감 품질을 올리기 위하여 사용되는 대표적 기술 중 하나이다. 지금까지 적응형 비트레이트 알고리즘은 다양한 최적화 기법에 기반하여 사용자 체감 품질을 최적화하였다. 그러나 대부분의 적응형 비트레이트 알고리즘은 공통된 한계점을 지닌다. 사용자 체감 품질을 최적화하기 위해 단순히 다음으로 다운로드 해야하는 세그먼트의 비트레이트만을 결정한다는 점이 그 한계점으로, 이러한 유형에 속하는 적응형 비트레이트 알고리즘들은 변화하는 네트워크 환경에 맞춰 앞으로 다운로드할 세그먼트의 비트레이트는 최적으로 조정할 수 있지만 이미 다운로드한 세그먼트에 대해선 어떠한 최적화도 진행할 수 없다. 그렇기에 사용자의 네트워크 환경이 극단적으로 개선되더라도 이에 대한 활용도가 떨어진다.
이러한 한계점을 극복하기 위해 우리는 LAWS 기법, 학습 기반의 세그먼트 교체 전략을 포함한 적응형 비트레이트 알고리즘, 을 제안한다. 제안 모델은 사용자의 네트워크 환경 등에 따라서 더 나은 비트레이트로 세그먼트를 교체할 수 있다. 제안 기법을 실현하기 위해 우리는 새로운 형태의 리워드를 디자인한다. 이를 통해 제안 기법은 세그먼트 교체 전략을 포함한 형태로 사용자 체감 품질을 최적화할 수 있다. 또한 세그먼트 교체 전략을 포함함에 따라 증가하는 문제의 복잡도에 대응하기 위해 규칙 기반 행동 제약 기법을 사용하여 모델의 학습을 원하는 방향으로 유도한다. 우리는 최종적으로 심층 강화학습 기반의 적응형 비트레이트 알고리즘을 제안한다. 네트워크 트레이스를 기반으로 실시한 실험에서는 제안 기법이 기존의 기법들에 비해 사용자 체감 품질을 13.1%까지 개선시키는 것으로 확인됐다
-
dc.description.abstractAdaptive bitrate (ABR) algorithm is one of the representative techniques used to optimize the playback quality of online video services, namely Quality of Experience (QoE). So far, ABR algorithms based on various optimization techniques have optimized QoE. However, most of the ABR algorithms proposed to date have common limitations; the range of options for optimization. Currently, most ABR algorithms only determine the bit rate of the next segment for QoE optimization. This type of ABR algorithm can optimize the bit rate of a segment to be downloaded in the future in a dynamic network environment. However, it is not possible to optimize any segment previously downloaded, so the changed network environment cannot be utilized to the maximum.

To overcome this limitation, we propose LAWS, learning based ABR algorithm with segment replacement. LAWS can be replaced with a better bit rate, even for previously downloaded segments, in conditions such as an improved network environment. First for this, we design a novel form of reward for optimization, including segment replacement. Through this, QoE, the optimization objective of the ABR algorithm, can be optimized in the form of segment replacement. In addition, we propose a rule-based learning method to solve the challenges arising in the model learning process. We finally propose an ABR algorithm with segment replacement based on deep reinforcement learning. Experiments based on network traces show that the newly proposed technique has a QoE improvement of 13.1% compared to the existing ABR techniques.
-
dc.description.tableofcontentsI. Introduction 1
II. Related Work 4
2.1 DASH 4
2.2 Adaptive BitRate Algorithm 6
III. Motivation and Approach 9
3.1 Motivation 9
3.2 Approach 11
IV. Neural ABR algorithm with Segment Replacement 13
4.1 Action 15
4.2 State 15
4.3 Reward 18
4.4 Rule based learning 26
4.5 Implementation 27
V. Experiments 28
5.1 Experiment Setup 28
5.2 Baselines 29
5.3 Comparison with Existing ABR algorithms 33
5.4 Analyze Replacement Characteristics 35
5.5 Comparison Between Learning Based Algorithms 35
VI. Conclusion 37
-
dc.format.extentvi, 44-
dc.language.isoeng-
dc.publisher서울대학교 대학원-
dc.subjectvideo streaming-
dc.subjectadaptive bitrate algorithm-
dc.subjectdeep reinforcement learning-
dc.subjectrate control-
dc.subjectsegment replacement-
dc.subjectDASH-
dc.subjectoptimization-
dc.subject비디오 스트리밍-
dc.subject적응형 비트레이트 알고리즘-
dc.subject심층 강화학습-
dc.subject세그먼트 교체-
dc.subject최적화-
dc.subject전송 제어-
dc.subject.ddc621.39-
dc.titleDeep Reinforcement Learning Based ABR Algorithms Using Segment Replacement Technique-
dc.title.alternative세그먼트 교체 기법을 활용한 심층 강화학습 기반의 ABR 알고리즘-
dc.typeThesis-
dc.typeDissertation-
dc.contributor.AlternativeAuthorBae, Hyeong-ho-
dc.contributor.department공과대학 컴퓨터공학부-
dc.description.degreeMaster-
dc.date.awarded2021-02-
dc.contributor.major컴퓨터공학-
dc.identifier.uciI804:11032-000000164699-
dc.identifier.holdings000000000044▲000000000050▲000000164699▲-
Appears in Collections:
Files in This Item:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share