Improvement of Object Detection in Autonomous Driving using Communication Systems

Abstract

자율주행기술은 물체 감지 기법에 따라 크게 두 가지 방식이 존재한다. 하나는 차량이 V2X 통신을 통해 차량 정보를 공유하여 주변 차량의 위치와 도로 상황을 이 해하는 협력하는 협력적 자율주행 방식이고, 다른 하나는 비전센서에서 얻은 정보를 딥러닝 모델로 처리해 물체의 종류와 차량과 물체 사이의 거리를 알아내는 독립적 자율주행 방식이다. 위의 두 가지 방법은 각각 다음과 같은 장단점이 있다. V2X 통신을 활용한 협력적 자율주행 방식은 비전 센서로 보이지 않는 영역에서 차량을 감지할 수 있는 장점이 있다. 그러나 모든 차량이 통신 인프라를 통한 정보 공유에 협력해야 한다는 제한 조건이 있으며, 각 차량이 보내는 상태 정보에 따라 신뢰성 문제가 발생한다. 반면, 비전 센서를 통한 독립적 자율주행 방식은 감지 신뢰도는 높지만 장애물에 가려진 영역은 감지할 수 없다. 따라서 자율주행차량의 사용자 안전을 보장하기 위 해서는 이 두 가지 물체 감지 방식의 장점을 강화하기 위한 연구가 필요하다. 본 논문에서는 협력적 자율주행과 독립적 자율주행을 위한 물체 감지 성능을 향상시키기 위한 방법을 각각 제안한다. 첫째, 우리는 보조적인 피드백 과정이 없는 C-V2V 주문형 중계 시스템을 제안 한다. 이 목표를 달성하기 위해 기존 CAM (Cooperative Awareness Message)에서 이전에 사용되지 않은 저장 공간을 활용하여 통신 범위 내에서 감지한 주변 차량ID (Adjacent Vehicle IDs)를 포함하는 새로운 CAM 구성을 도입한다. 이 기법을 통해서 차량 간 메시지는 NLOS (Non-Line-of-Sight) 환경이나, resource collision, channel 변동 등의 문제로 수신률이 저하가 초래되는 환경에서 중계 지원차량을 효과적으로 선정하여 차량간 통신이 이루어지게 한다. 우리는 제안 기법이 기존의 통신 표준 성능과 다른 비교 중계 기법들에 비해 향상된 메시지 전송 성공 비율을 보이는 것을 확인하였다. 둘째, 비식별화된 중간 데이터(feature data)를 활용하여 3D 물체 감지 모델 성 능을 향상시키는 새로운 방식을 제안한다. 이 방식은 자율주행 차량이 운행 중에 물체를 감지하는 과정에서 발생하는 feature data를 활용함으로써, 자율주행 차량 측에 추가적인 계산 부담 없이 라벨링 비용과 개인 정보 유출 문제를 동시에 해결할 수 있다. 더욱이, 개인 정보를 보호하면서도, 이 방식은 도메인 적응 및 부분 레이블 시나리오에서 원시 수준의 레이블되지 않은 데이터를 활용하는 최신 방법들에 비해 더욱 우수하거나 동등한 성능을 보인다. 이러한 탁월한 성능을 바탕으로, 우리가 제안하는 이 방식은 3D 객체 감지의 맥락에서 개인정보 보호와 정확도를 동시에 고려하는 레이블되지 않은 중간 데이터 기반 학습의 가치를 입증한다. 본 학위논문에서는 통신시스템과 비전 기술을 모두 사용하여 자율주행의 물체 감지 성능을 향상시키는 다양한 기법들을 제안한다. 우리는 앞서 간단히 소개한 연구들을 통해 자율주행 사용자의 안전을 더욱 확보하여 자율주행차 상용화에 한 걸음 더 다가서고자 한다.

Object detection for autonomous driving has mainly relied on two kinds of methods. One is a cooperative autonomous driving method in which vehicles share their informa- tion through V2X communication and cooperate to understand road conditions. The other is a stand-alone autonomous driving method that detects the type of object and the distance between the vehicle and the object by processing the information obtained from vision sensors with a deep learning model for 3D object detection. In this regard, the above two methods have the following advantages and dis- advantages, respectively. The cooperative autonomous driving method using V2X communication has the advantage of detecting vehicles in areas invisible to vision sensors. However, there is a limiting condition that all vehicles must cooperate in information sharing through a communication infrastructure, and reliability problems arise depending on the status information sent by each vehicle. On the other hand, in the stand-alone object detection method via vision sensors, the detection reliability is high, but the area obscured by obstacles cannot be detected. Therefore, research is needed to enhance the advantages of the above two object detection methods to ensure the safety of users driving autonomous vehicles. In this dissertation, we propose methods to improve the object detection performance for cooperative autonomous driving and stand-alone autonomous driving, respectively: (i) improvement message reception rate (MRR) using Cellular Vehicle-to-Vehicle (C-V2V) on-demand relaying system, and (ii) semi-supervised 3D object detection without sharing raw-level unlabeled scene. First, we propose a novel C-V2V on-demand relaying system that effectively con- tributes to finding hidden V-UEs without any subsidiary feedback process and relaying Cooperative Awareness Messages (CAMs) of hidden V-UEs. To achieve this goal, we introduce a novel CAM configuration to contain additional information of nearby V-UEs without overhead by utilizing previously unused bytes in the conventional CAM. Then, we verify that this novel relay system helps to improve MRR in C-V2V communications. Second, we propose UpCycling, a novel semi-supervised learning framework for 3D object detection models that utilizes only de-identified intermediate features. Moreover, UpCycling is a unique framework that addresses labeling costs, privacy leakage, and the computational burden on the Autonomous Vehicle (AV) simultaneously. In addition, while preserving privacy, UpCycling performs better or comparably to the state-of-the-art (SOTA) methods that utilize raw-level unlabeled data in both domain adaptation and partial-label scenarios. With the robust performance, UpCycling demonstrates the value of unlabeled feature-based learning in the context of 3D object detection, in terms of both privacy and accuracy. In summary, from Chapter 2 to Chapter 3, the two pieces mentioned above of the research work, improvement MRR using C-V2V on-demand relaying system and semi-supervised 3D object detection without sharing raw-level unlabeled scenes, respectively. Through this research, we take a step forward to make commercialization of autonomous vehicles by further ensuring user safety.