고속 영상 기반 눈 깜박임 분석을 이용한 비접촉 진단 기법 개발

Abstract

본 연구에서는 고속으로 촬영된 영상을 이용하는 새로운 눈 깜박임 분석 방법과 눈 깜박임 패턴의 시각화 방법을 제안하고, 눈꺼풀의 움직임을 정량적으로 분석하고자 하였다. 이를 통해 기존의 측정 방법들로는 확인이 어려웠던 불완전 눈 깜박임을 검출하고, 이를 시각화하여 쉽고 직관적으로 분석 할 수 있도록 하였다. 또한, 서울대학교병원 및 분당서울대학교병원과 협력하여, 안과 관련 질병을 호소하지 않는 정상인들의 눈 깜박임 패턴을 기반으로 눈 깜박임 패턴의 표준색인, 눈꺼풀 표준 움직임 지표, 그리고 눈 깜박임을 평가하기 위한 평가 양식을 제안하고자 하였다. 눈 깜박임을 분석하기 위해서 피험자의 얼굴과 그 주변을 고속으로 촬영한 영상에서 노이즈를 감소시키고 눈이 깜박이는 구간을 추출하였다. 추출한 영상의 각 프레임마다 눈꺼풀의 위치와 모양을 검출하고, 눈이 깜박일 때 변화하는 눈꺼풀의 위치와 모양을 나타내는 하나의 행렬을 만들고 정규화 작업을 진행한다. 최종적으로 한 번의 눈 깜박임을 한 장의 이미지로 시각화하였다. 눈 깜박임의 시각화를 위해 만들어진 행렬에서 눈꺼풀 중간 위치 데이터를 추출하여 눈꺼풀 변위 그래프를 작성하였다. 그래프의 변화를 분석하여 눈 깜박임을 폐쇄 단계, 완전 닫힘 단계, 그리고 개방 단계의 총 세 단계로 구분하였다. 완전 닫힘 단계가 없는 경우를 불완전 깜박임으로 정의하였다. 정상인과 건성안 및 파킨슨병 환자의 눈 깜박임 패턴을 비교·분석하여 눈 깜박임의 대리 지표 가능성을 확인해 보았다. 건성안 증상을 보이는 환자의 경우 눈 깜박임 지속 시간의 분포, 불완전한 눈 깜박임의 비율, 안구 피로로 인한 눈 깜박임 패턴에서 정상인과 차이를 보였다. 따라서 이러한 특징들을 종합적으로 분석함으로써 건성안 증상을 예측할 수 있을 것으로 보인다. 파킨슨 환자의 경우 정상인에 비해 눈 깜박임의 지속 시간이 짧았으며, 눈 깜박임 시 눈꺼풀의 움직임 속도가 느렸다. 짧은 지속 시간동안 느린 속도로 눈꺼풀이 움직이기 때문에 전체 눈 깜박임 중 상당수가 불완전한 눈 깜박임의 형태로 나타났다.

The previous eye blink analysis method using an electrooculogram (EOG) consists only of several variables, such as the frequency and duration of eye blinks, using one-dimensional signals related to eye blinks. And there were many limitations due to the wires. In order to overcome these limitations, this study proposes a new method of visualization and analysis for eye blinks using high-speed videos and quantitatively analyzes eyelid movements. Therefore, incomplete eye blink, which was difficult to measure by conventional methods, was detected and visualized so that patterns could be analyzed easily and intuitively. In cooperation with Seoul National University Hospital and Bundang Seoul National University Hospital, a standard index of eye blink patterns, an indicator of eyelid standard movement, and an evaluation form for assessing eye blink were created based on eye blink patterns of normal volunteers. The proposed method for eye blink analysis reduces noise and extracts eye blinking sequences from whole video frame images. The position and shape of the upper eyelid are estimated during the eye blinking. A matrix representing eye blinking is created from the eyelid data removed the outlier, and is normalized by the first frame data. Finally, an eye blink is visualized as a single image. The result image of visualization shows changes in the position and shape of the eyelid during eye blink. Conventional method only analyzes several variables such as the rate and duration of eye blinks using one-dimensional signals regarding eye blinks. However, the proposed method can easily analyze the changes in the position and shape of eyelid, as well as various parameters related to eye blinks through visualized images. The new method makes it easy and intuitive to analyze eye blink patterns, and it is possible to quantify the position of the eyelid which was difficult in the conventional method. A displacement graph of the eyelid was created by center position data, extracted from the matrix created for the visualization. According to the change of displacement graph, an eye blinking cycle is divided into three phases: 'Closing phase', 'Closed phase', and 'Opening phase'. The blink absence of the closed phase is defined as incomplete blink. As a result of comparing the index of normal volunteers and eye blink patterns of patients with dry eye and Parkinson's disease, the possibility of eye blink as surrogate marker was confirmed. Patients with dry eye showed changes in the eye blink duration, the rate of incomplete eye blinks, reaction of eye fatigue, and the time interval between eye blinks. In Parkinson's patients, the duration of eye blinks was short, on average, and the eyelids movement slowed down. Many of the eye blinks were in the form of incomplete eye blink.