Towards Drivers Facial Expression Analysis in Real Driving Setting: A Deep Learning Approach Focusing on Emotional State and Gaze Behaviors

Abstract

In this thesis, we conduct driver behavior study based on facial expression dataset obtained from real driving experiment. We examine facial expression recognition model (FER) performance on our drivers facial expression dataset. Also, we investigate whether drivers emotional state information helps the drivers forward gaze classification through deep learning approach. The experiment result shows that the drivers emotional state information rarely helps the drivers forward gaze prediction. We suggest several solutions to improve the deep learning result with current facial expression dataset and to overcome human factors related challenges in experiment design. This study has several potential applications, from studying driver behavior to infotainment and human-vehicle interaction features. The dataset has high potential to provide valuable resources for future FER research and autonomous vehicle fields.

본 논문에서는 실제 운전 실험에서 얻은 얼굴 표정 데이터 세트를 기반으로 운전자 행동 연구를 수행한다. 실제 운전 실험에서 얻은 운전자의 표정 데이터 세트에 표정 인식 모델 (Facial expression recognition) 을 적용하여 성능을 조사한다. 또한 딥 러닝 (Deep learning) 접근을 통해 운전자의 감정 상태 정보가 운전자의 전방 주시 분류에 도움이 되는지 조사한다. 실험 결과, 운전자의 감정 상태 정보는 운전자의 전방 주시 예측에 거의 도움이 되지 않는 것으로 나타났다. 후속 연구에서 딥러닝 기반 분류, 예측 성능을 높이고 표정 데이터 중 감정 상태 데이터의 불균형을 개선하기 위한 해결책을 제시하였다. 또한 실제 운전 실험 환경의 인간공학적 설계 문제를 발견하고 인간공학적 관점의 실험 설계 개선 방안을 제안하였다. 이 연구는 운전자 행동 연구, 차량용 인포테인먼트 (In-Vehicle-Infotainment) 및 인간-자동차 상호 작용 기능에 이르기까지 여러 잠재성을 가지고 있다. 실험 결과는 자율주행 자동차의 운전자 감정, 행동, 전방 주시 감지 연구에 새로운 시사점을 제공할 것이다. 또한, 실제 운전 실험에서 얻은 운전자의 얼굴 표정 데이터 세트는 미래의 FER 연구 및 자율 주행 차량 분야에 학술적 자원으로서 기여될 것이다.