Pedestrian Intention Prediction for Autonomous Driving and Mobile Robots Using a Multiple Stakeholder Perspective Model

Abstract

This thesis proposes a multiple stakeholder perspective model (MSPM) that predicts the future pedestrian trajectory observed from the vehicle's point of view. The motivation of the MSPM is that a human driver exploits the experience of being a pedestrian when he or she encounters a pedestrian crossing over the street. With many studies focusing on vehicle-vehicle systems, the autonomous vehicle system on freeways is nearing completion to some extent. In order for existing technology in an autonomous vehicle to be applied in urban areas from highways, vehicle-pedestrian interaction must also develop at a rapid pace. For the vehicle-pedestrian interaction, the estimation of the pedestrian's intention is a key factor. However, even if this interaction is commonly initiated by both the human (pedestrian) and the agent (driver), current research focuses on developing a neural network trained by the data from the driver's perspective only. In this paper, we suggest a multiple stakeholder perspective model (MSPM) and apply this model for pedestrian intention prediction. The model combines the driver (stakeholder 1) and pedestrian (stakeholder 2) by separating the information based on the perspective. The dataset from the pedestrian's perspective has been collected from the virtual reality experiment, and a network that can reflect the perspectives of both pedestrian and driver is proposed. Our model achieves the best performance in the existing pedestrian intention dataset while reducing the trajectory prediction error by an average of 4.48\% in the short-term (0.5s) and middle-term (1.0s) prediction, and 11.14\% in the long-term prediction (1.5s) compared to the previous state-of-the-art. Also, we collect an indoor pedestrian dataset, which includes various human behavior in indoor environments. With these data and models, we suggest a method when training and testing robots using data collected by different robot platforms.

본 학위논문에서는 차량의 관점에서 관찰되는 미래 보행자 궤적을 예측하는 다중 이해관계자 관점 모델(MSPM)을 제안한다. MSPM은 운전자가 보행자를 마주했을때, 자신이 보행자였을때의 경험을 되살린다는 점에서 착안하여 설계되었다. 지금까지 자율주행 관련 연구는 차량-차량 시스템에 초점을 맞춰 진행되었다. 때문에 고속도로에서의 자율주행자동차는 어느 정도 완성에 가까워지고 있지만, 도심으로 들어오려면 차량-보행자 상호작용의 연구가 필요하다. 이번 논문에서는 차량-보행자 상호작용에서 보행자 의도 파악을 핵심 요인으로 보고 연구를 진행하였다. 차량-보행자 상호작용은 서로 다른 2개의 개체(운전자, 보행자) 사이에서 이루어짐에도 불구하고, 지금까지의 연구는 운전자의 관점에서만 데이터에 의해 훈련된 신경망 개발에 초점을 맞추고 있다. 본 논문에서는 다중 이해관계자 관점 모델(MSPM)을 제안하고 보행자 의도 예측에 이 모델을 적용한다. 이를 위해 심리학 연구실에서 가상현실을 통해 측정한, 보행자 관점에서 자동차를 바라보았을때의 데이터를 받아서 분석한 뒤 네트워크에 반영하였다. 제안하는 모델은 기존 보행자 의도파악 데이터셋에서 최고 성능을 달성하는 동시에 오차율을 단기(0.5초)와 중기(1.0초) 예측에서 평균 4.48\%, 장기 예측(1.5초)에서 기존 최고성능 모델 대비 11.14\% 줄일 수 있었다. 또한 이번 논문에서는 실내 환경에서의 모바일 로봇에 필요한 데이터와 모델을 제안한다. 기존 연구에서는 이러한 형태의 데이터가 없었기에, 파이프라인을 구축하고 사람들의 다양한 행동 방식을 포함하여 실내 보행자 데이터 세트를 수집했다. 그리고 이러한 데이터와 모델을 토대로, 모델을 학습시키고 기존 모델보다 더 좋은 성능을 확인했다. 이번 학위논문에서 진행한 연구는 추후 서로 다른 로봇 플랫폼에서 수집된 데이터를 손쉽게 로봇에 적용할 수 있는 모델 연구로 이어질 수 있을 것이다.