Wearable Forehead EOG System and Comfortable Auditory Stimulation Method for Human Computer Interface

Abstract

the sounds of water streaming and cicadas singing were used in the natural sound sessions. Six healthy subjects participated in the experiment. Electroencephalograms were recorded using four electrodes (Cz, Oz, T7 and T8). Seven sessions were performed using different stimuli. The spectral power at 38 and 42 Hz and their ratio for each electrode were extracted as features. Linear discriminant analysis was utilized to classify the selections for each subject. In an offline analysis, the average classification accuracy with a modulation index of 1.0 were 89.67% and 87.67% using music and natural sounds, respectively. In online experiments, the average classification accuracies were 88.3% and 80.0% using music and natural sounds, respectively. Using the proposed method, we obtained significantly higher user-acceptance scores, while maintaining a high average classification accuracy. To date, the human–computer interface has achieved many technological advances. Henceforth, it will also be necessary to improve user convenience in consideration of ergonomic factors' increased performance. It is expected that the proposed system will be able to help disabled people accept and use human–computer interface systems without discomfort.

심각한 마비 환자는 외부 세상과 의사소통하기가 어렵다. 그러한 환자들을 위해서 인간-컴퓨터 인터페이스 기술들이 개발되고 있다. 안구 운동이 가능한 환자를 위하여 안구 운동을 이용한 인터페이스 기술들이 개발되었고, 안구 운동조차 불가능한 환자들을 위하여 남아 있는 다른 감각이나 생각을 이용한 인터페이스 기술들이 개발되었다. 하지만 기존의 인터페이스 기술들은 여러 가지 불편한 요소들로 인해 사용자가 쉽게 다가서지 못하는 단점이 있었다. 본 연구에서는 사용자의 편의 성을 증진시키기 위하여 인간공학적인 요소를 고려한 두 가지 인간-컴퓨터 인터페이스 기술을 제안하였다. 첫 번째로, 이마에서 안전도(EOG)를 측정하기 위한 새로운 전극 배치를 제안하여 이마 안전도의 가능성을 확인하였고, 제안된 전극 배치를 적용한 착용 형 이마 안전도 측정 시스템을 개발하여 세 가지 어플리케이션을 통해 검증하였다. 시스템은 총 네 개의 전극을 이용하여 두 채널로 구성되었고 안구의 상하 움직임과 좌우 움직임을 측정할 수 있다. 시스템 검증에 사용된 어플리케이션은 Bremen BCI speller를 수정한 가상 키보드, 순차적 자동 오-열 스캔을 이용한 가상키보드, 전동 휠체어 운전이다. 두 가상키보드의 평균 속도는 분당 10.81자와 7.74자이고, 평균 정확도는 각각 91.25%, 95.12%이다. 전동 휠체어 운전에서는 사용자가 두 개의 장애물과 충돌 없이 8자 주행을 완료하였다. 두 번째로, 청각 자극에 대한 사용자의 거부감을 감소시키기 위하여 모노톤 캐리어를 대신하여 음악과 자연의 소리를 이용한 청각정상상태 반응 기반의 인간공학적 뇌-컴퓨터 인터페이스를 제안하였다. 음악 세션에서는 피아노와 바이올린 연주 곡이 사용되었고 자연의 소리 세션에서는 매미소리와 물 흐르는 소리가 사용되었다. 여섯 명의 피험자가 실험에 참여하였다. 뇌전도(EEG)는 Cz, Oz, T7, T8 네 곳에서 측정되었다. 각각 다른 자극과 변조지수를 사용한 일곱 번의 세션이 진행되었다. 각 전극에서 측정된 신호의 38Hz 성분의 파워, 42Hz 성분의 파워, 그리고 그들의 비율이 특징으로 추출되었다. 각 피험자의 선택을 분류하기 위하여 선형판별분석법이 사용되었다. 변조 지수가 1.0인 음악과 자연의 소리를 사용한 세션의 오프라인 분석 결과, 평균 분류 정확도는 각각 89.67%, 87.67%였다. 온라인 실험에서는 음악 세션과 자연의 소리 세션 각각 88.3%, 80.0%의 분류 정확도를 보였다. 본 연구에서는 제안된 자극 방법을 이용하여 시스템의 성능을 증가시킴과 동시에 사용자 편의성을 증가시킬 수 있었다. 지금까지 인간-컴퓨터 인터페이스는 많은 기술적 발전을 이루었다. 이제는 성능의 증가뿐만 아니라 인간공학적인 요소들을 고려하여 사용자 편의성을 개선시키는 것도 필요하다. 본 연구에서 제안된 시스템이 장애가 있는 사람들이 인간-컴퓨터 인터페이스 기술을 불편함 없이 받아들이고 사용하는데 도움을 줄 것이라고 기대한다.

For patients with severe paralysis it is difficult to communicate with the outside world. Human-computer interface technologies have been developed for such patients. Patients who can move the eye use the interface through eye movement, and those who cannot even move the eye make use of the interface by leveraging other senses. However, existing interface technologies have disadvantages that users cannot easily accept due to various inconveniences. In this study, two approaches to ergonomic human-computer interfaces were proposed to improve user acceptance. First, a new electrode location for measuring the electro-oculogram in the forehead was proposed and a wearable forehead EOG measurement system using the proposed electrode arrangement was developed. Four electrodes, including the ground electrode, were placed on the forehead. The two channels were arranged vertically and horizontally, sharing a positive electrode. Additionally, a real-time eye movement classification algorithm was developed based on the characteristics of the forehead EOG. Three applications were employed to evaluate the proposed system: a virtual keyboard using a modified Bremen BCI speller and an automatic sequential row-column scanner, and a drivable power wheelchair. The mean typing speeds of the modified Bremen brain–computer interface (BCI) speller and automatic row-column scanner were 10.81 and 7.74 letters per minute, and the mean classification accuracies were 91.25% and 95.12%, respectively. In the power wheelchair demonstration, the user drove the wheelchair through an 8-shape course without colliding with obstacles. Second, an auditory stimulation method to minimize auditory stress was proposed by replacing the monotone carrier with familiar music and natural sounds for an ergonomic system. Piano and violin instrumentals were employed in the music sessions