Drowsiness Detection Based on Unconstrained Measurement of Biosignals

Abstract

In daily life, drowsiness during driving can lead to accidents caused by perception loss or by the inability to react immediately to emergencies. To prevent drowsiness, investigation on awareness state and drowsiness detection has been researched using various technologies such as behavioral observation, steering information, and biosignals. In addition, physiological signals such as the opening and closing of eyelids, brain waves, and heart-related signals are used for accurate drowsiness analysis. However, it is difficult to employ traditional methods to measure these signals as they require fixation procedures attaching sticky materials or bands which result in obtrusiveness or discomfort to the user. In order to improve accessibility to measure physiological signals for crisis prevention, drowsiness estimation techniques using two different form-factors are proposed in this paper: an intelligent system that employs biosignal measurements and machine learning that can recognize drowsiness. The biosignals include ear canal electroencephalogram (EEG), conventional photoplethysmogram (PPG) and electrocardiogram (ECG), and the heart-related signals measured by a biosignal chair without causing discomfort. Considering the difficulty in continuous measurements, with limited data accumulation being less than 120 s for machine learning, the ear canal EEG yielded the highest reliability compared to heart-related signals. The reliability of drowsiness detection through heart-related signals using the biosignal chair without direct-skin contact was less than those of conventional heart-related signals that required fixation procedures. The results demonstrated that machine learning could be utilized to compensate the less quantity of stable information and individual differences. Therefore, the proposed ergonomic approaches for drowsiness detection with usability and convenience could be utilized to prevent the danger caused by drowsiness. It is expected that the system will increase the opportunity of acquiring physiological information during drowsiness.

집중력을 필요로 하는 행동을 하는 동안 졸음이 온다면 위험을 초래할 수 있다. 특히, 일상 생활에서 졸음 운전은 지각 상실과 긴급 상황에 대한 즉각적인 반응이 어렵기 때문에 격심한 피해로 이어진다. 따라서 졸음을 감지하기 위해 행동 관찰, 운전 정보 및 생체 신호를 포함한 다양한 기술이 연구되었다. 생리학적으로, 정확한 졸음 분석을 위해 눈 상태 조사, 뇌파 및 심장 관련 신호가 사용되었다. 일상 중 이러한 신호를 실제적으로 취득하기 어려운 이유는 전통적인 측정 방법의 불편함 때문이다. 기존에는 접착력을 띄는 물질이나 밴드로 고정하는 등의 과정을 거쳐야했다. 위기 예방을 위한 생체 신호 측정의 접근성을 향상시키기 위해서 본 연구에서는 두 가지 인간공학적 형태와 추정 기법을 제안한다. 첫째, 일상적으로 외이도에서 뇌파 측정이 가능하도록 이어버드 형태의 시스템을 제안한다. 졸음 분류는 졸음의 과도기적 특성을 고려하여 동일한 생물학적 신호에서 얻은 다양한 길이의 데이터 즉 정보량 별로 수행하였다. 기계 학습을 이용한 분류 성능의 통계적 결과는 외이도 뇌파 데이터와 생리적 속성 데이터를 기반으로 한 이 시스템의 우수함을 나타냈다. 다중 랭킹 기법을 이용한 복합 랭킹 알고리즘을 이용한 특징 선정 과정과 비선형 특징 정보는 보다 적은 정보량에 대해서도 졸음 구분 성능의 향상을 가져왔다. 둘째, 측정이 편안하도록 개발한 생체 신호 의자는 졸음에 대한 심장 관련 신호인 심전도 (ECG), 광용적맥파 (PPG) 및 심탄도 (BCG)를 측정할 수 있다. 부가적인 장착이 없는 대신 부정확해질 수 있는 가능성을 고려하여, 정보의 신뢰성을 조사하기 위해 움직임의 영향을 연구했다. 직접 피부 접촉이 없는 센서는 기존 방법보다 신체 부위에 약하게 연결을 하기 때문이다. 생체 신호 의자를 사용하여 가상 운전 과제, 세 가지 속력의 동력 휠체어 구동 및 세 가지 유형의 신체 동작을 수행하였다. 신호 품질 지수는 관측된 신호와 노이즈가 없는 신호 사이의 유사성에 의해 계수의 개별 템플릿과의 상관 관계의 관점에서 정의되었다. 이 지표의 목표는 일상 생활에서 의자의 실제 사용을 평가하기 위해 참조 신호없이 신호를 검증하는 것에 있다. 예상대로, 모션은 생체 신호의 측정 안정성에 악영향을 미쳤다. 그러나 각 움직임 특성에 따라 여러 센서 유형 간의 보완 관계를 관찰할 수 있다. 극단적 인 움직임을 제외하면 신호 품질과 추정된 심박수 오차는 상태 모니터링에 사용할 수 있는 기준 범위 내에 있었다. 신호의 신뢰성을 조사함으로써, 안전 및 건강 관리를 개선하기 위해 실제 정보를 수집할 적정성을 확인할 수 있었다. 검증된 데이터를 바탕으로 기계 학습 방법 인 랜덤 포레스트 (RF)를 사용하여 졸음을 구분하였다. 두 간편한 측정 기기의 생리학적 신호를 기계 학습으로 분류하기 위한 깸과 졸음의 상태는 가상 시뮬레이션의 모의운전에서 지속적인 주의집중을 요구하는 과제 동안 측정되었다. 실험 결과, 졸음 위험을 예방하기 위한 생체 신호 감지 장치를 사용 편리성을 고려하여 인체 공학적으로 구현할 수 있음을 확인할 수 있었다. 제안하는 시스템은 졸음 뿐만 아니라, 다양한 상황에서 생리 학적 정보 획득의 기회를 증가시킬 것으로 기대된다.