INTELLIGENT RESOURCE MANAGEMENT FOR RELIABLE SIDELINK COMMUNICATIONS IN CELLULAR NETWORKS

Abstract

셀룰러 네트워크에서 사이드링크 통신이란 기기 간 직접 통신을 뜻한다. 이 사이드링크 통신의 장점으로는 주파수 효율 증대와 낮은 end-to-end 지연시간, 그리고 네트워크 커버리지 밖에서도 동작 가능하다는 점이 있으며 대표적인 기술로는 기기 간 통신인 D2D 통신과 차량 간 통신인 V2V가 있다. 하지만 사용 가능한 자원이 한정적이고 경우에 따라서는 기기가 기지국의 도움 없이 스스로 자원 선택을 해야 하기 때문에 한정된 자원 및 정보를 바탕으로 효율적인 자원 관리가 필요하고 이에 따른 자원 할당 기법을 제안한다. 첫째, 기지국의 트래픽이 과도하게 발생했을 경우 면허대역과 비면허대역 D2D 통신을 활용해 트래픽 오프로딩을 하는 상황을 다룬다. 이때 비면허대역 D2D 통신의 경우 와이파이 기기들과 공존하면서 서비스 품질을 보장해야 하는데, 이를 위한 밴드 스위칭 기법을 제안하고 이에 따른 시스템 캐패시티 증대를 Markov process 분석을 이용해 수학적으로 분석한다. 또한 시뮬레이션을 통해 분석값의 정확성과 기존 기법 대비 성능 향상을 검증한다.

두 번째로, 각 기기들이 모빌리티를 갖는 차량 간 통신 환경에서 각 차량들이 이웃들에게 주기적으로 상태 보고 메시지를 브로드캐스트하는 상황을 다룬다. 이때 차량들이 과도하게 밀집한다면 차량 간 통신에서 가장 중요한 reliability가 현저히 저하되는 현상을 관찰하였고, 이에 따라 센싱 정보 기반 메시지 간격 조절 및 전송 파워 조절 기법인 C-V2X 기반 ATOMIC을 제안한다. 간단한 분석과 트레이스 기반 시뮬레이션을 통해 도심 환경과 고속도로 환경 모두에서 표준 기법에 비해 상당한 성능 향상을 보이는 것을 확인한다.

세 번째 주제는 주기적인 메시지뿐 아니라 멀티 홉으로 전달되는 비주기적 사고 정보를 담은 메시지까지 혼재한 상황을 다룬다. 이렇게 복잡하고 다이나믹한 환경에서는 채널에 대한 불확실성이 높아지기 때문에 기존의 최적화 문제를 적용하는 데 어려움이 있다. 이에 따라 기계 학습을 활용한 분산적인 자원 할당 기법을 제안한다. 각 차량들은 DQN을 활용해 관찰 정보를 토대로 미래의 리워드를 최대화하는 자원, 전송 파워, 그리고 어떤 메시지를 릴레이 할지를 결정한다. 적절한 리워드 설계를 통해 기존 기법 대비 CAM의 PRR과 DENM의 확산을 크게 개선하는 것을 보여준다.

Sidelink communications in cellular network are a communication that is directly done between users. It provides increased spectral efficiency, shortens end-to-end transmission latency, and enables out-of-network coverage operation. There are two representative sidelink communications which are device-to-device (D2D) communications and vehicle-to-vehicle (V2V) communications.

Firstly, we propose a traffic steering scheme that jointly exploits three types of transmission links: cellular links, D2D links on licensed bands, and D2D links on unlicensed bands. We first present an analytical framework and model the proposed traffic steering scheme by using Markov analysis. We verify the analytical framework and confirm that the proposed scheme that uses the licensed and unlicensed bands outperforms the conventional scheme that uses the licensed bands only through simulation.

Secondly, we propose ATOMIC, an Adaptive Transmission pOwer and Message Interval Control scheme for C-V2X Mode 4, in which each vehicle utilizes real-time channel sensing and neighbor information to reduce channel contention for improved reliability and latency. Through analysis and extensive simulations, we show that ATOMIC outperforms the standard Mode 4 in both urban and highway scenarios especially in highly dense environments.

Lastly, we investigate a spectrum sharing problem in vehicular networks based on multi-agent reinforcement learning where periodic and non-periodic messages share the same resource pools. Fast channel variations in high mobility vehicular environments preclude the possibility of collecting accurate instantaneous channel state information at the base station for centralized resource management. As a solution, we formulate the resource sharing as a multi-agent reinforcement learning problem, which is then solved by using a fingerprint-based deep Q-network method. Each vehicle collectively interacts with the communication environment, receives distinctive observations and rewards, and learns to improve spectrum, power allocation, and a choice of messages to relay through updating Q-networks that utilizes the gained experiences. We demonstrate that the multiple vehicles successfully learn with a proper reward design and training mechanism to cooperate in a distributed way to simultaneously improve the PRR of CAM and the dissemination ratio of DENM.