A performance comparison of the speech tasks

Abstract

Objective: Voice is one of the promising markers which facilitates the early screening of Alzheimer's disease (AD). Previous studies in automatic speech-based AD detection generally focused on the improvement of accuracy in AD classification by the refinement of algorithms, and rarely investigated the optimal speech task which induces and captures the distinguishing acoustic features of AD voice. In the present study, we suggest several speech tasks which imposes cognitive load to participants and evaluate the potential of speech tasks as an automatic speech-based AD detection method.

Methods: The present study collected speech recordings from 79 AD patients and 79 healthy controls using three speech tasks: Interview, Repetition, and Recall. The interview task consisted of 5 questions about participants' daily life. The repetition task and recall task were carried out using two modified well-known fairy-tales. In the repetition task, participants were asked to listen and repeat the given story phrase-by-phrase following a researcher. In the recall task, participants were asked to recall the new-learned information of modified well-known stories as specific as possible. Speech recordings were segmented into single utterances. We built separate AD classification models and cognitive impairment prediction models with speech datasets from each speech task: Interview, Repetition, and Recall. Features to be used to build models were selected by analysis of variance (p < 0.005). In AD classification, Random Forest (RF), Support Vector Machine (SVM), Naive-Bayes (NB), and k-Nearest Neighbor (k-NN) were used and in cognitive impairment prediction, RF, SVM, and Ridge were used.

Results: In AD classification, the best performing model was the RF model trained on the speech dataset from the recall task which reported a CV accuracy of 72.9%. The models trained on the speech dataset from the recall task outperformed speech datasets from other speech tasks regardless of the used classifiers. In cognitive impairment prediction, the best performing model was the SVM model trained on the speech dataset from the recall task which achieved a CV RMSE of 5.34 and a CV MAE of 4.38. Likewise, the speech dataset collected from the recall task achieved the best accuracy regardless of the used regressors.

Conclusions: The present study confirms that the performance of AD classification and cognitive impairment prediction can be influenced by the speech task used to collect speech data. Among three speech tasks, Interview, Repetition, and Recall, used in the present study, the recall task seems to have superiority over other speech tasks in AD classification and cognitive impairment prediction. The present study suggests the cognitive load imposed by the recall task might affect the speech production mechanism and induces the distinguishing acoustic feature of AD patients. For future works, it is necessary to focus on exploring the optimal task which reflects the characteristic of AD voice abundantly for automatic speech-based AD detection.

연구목적: 음성은 최근 주목받고 있는 진단 마커 중 하나로 알츠하이머병의 조기진단을 용이하게 한다. 음성을 활용하여 알츠하이머병을 진단하고자 하는 그간의 선행연구들은 대개 알고리즘의 개선을 통한 분류 및 예측 성능의 향상을 도모하였으나 음성데이터 수집 단계에서 어떠한 발화과제가 알츠하이머병 발화의 특성을 효과적으로 유도 및 반영할 수 있을지에 대한 연구는 비교적 이루어지지 않았다. 본 연구에서는 참가자에게 반응 억제의 형태로 인지적 부하를 부과하는 새로운 발화과제를 제안하며 여러 발화과제의 분류 및 예측 성능을 비교하여 자동화된 발화기반 알츠하이머병 탐지도구로서의 가능성을 진단해보고자 한다.

연구방법: 본 연구에서는 79명의 알츠하이머병 환자와 79명의 정상노인에게 인터뷰, 따라말하기, 회상 과제를 수행하도록 하여 음성데이터를 수집하였다. 인터뷰 과제는 참가자의 일상생활에 관한 다섯 가지 질문으로 구성되었다. 따라말하기 과제와 회상 과제의 경우 두개의 수정된 유명 전래동화를 활용하여 진행되었다. 따라말하기 과제에서는 수정된 유명 전래동화를 구절 별로 들려주고 참가자가 이를 따라말하도록 하였다. 회상 과제에서는 원래 알고 있던 전래동화의 인출을 억제하며 들려준 수정된 유명 전래동화에서 획득한 새로운 정보를 최대한 자세하게 회상하도록 하였다. 음성데이터는 단일발화 단위로 분절하여 사용하였다. 인터뷰, 따라말하기, 회상 과제를 사용하여 수집된 발화데이터를 활용하여 각각 알츠하이머병 분류 모형과 인지손상 예측 모형을 만들었다. 모형 학습에 사용된 음성 특성들은 분산분석을 통해 통계적으로 유의미한 것으로 판단되었을 경우 사용되었다. 알츠하이머병 분류 모형에서는 랜덤 포레스트, 서포트 벡터 머신, 나이브 베이즈, k-근접이웃 기법을 사용하였으며 인지손상 예측 모형에서는 랜덤 포레스트, 서포트 벡터 머신, 릿지 기법을 사용하였다.

연구결과: 알츠하이머병 분류에서 가장 우수한 성능을 보인 모형은 72.9%의 교차검증 정확도를 보인 회상 과제 데이터셋으로 훈련된 랜덤포레스트 모형이었다. 회상 과제 데이터셋으로 학습된 모형은 어떤 분류 알고리즘이 사용되었는가와 무관하게 다른 발화과제 데이터셋보다 우수한 성능을 보고하였다. 인지손상 예측에서 가장 우수한 성능을 보인 모형 역시 5.34 교차검증 RMSE와 4.38 교차검증 MAE를 보고한 회상 과제 데이터셋으로 훈련된 서포트 벡터 머신 모형이었다. 마찬가지로 어떤 예측 알고리즘의 경우에도 회상 과제에서 수집된 발화 데이터셋을 사용하였을 때 다른 발화과제에서 수집된 데이터셋을 통해 학습한 모형보다 더 우수한 예측 정확도를 보임을 알 수 있었다.

연구결론: 본 연구에서는 발화 데이터 수집 시 어떠한 발화과제를 사용하여 데이터를 수집하였는지가 알츠하이머병 분류와 인지손상 예측 모형의 성능에 영향을 미칠 수 있음을 확인하였다. 본 연구에서 사용한 인터뷰, 따라말하기, 회상 과제 중 회상 과제가 다른 발화과제에 비해 우수함을 보이는 것을 관찰되었다. 본 연구에서는 회상 과제 수행 시 참가자에게 부과된 인지적 부하가 발화 과정에 영향을 미쳐 알츠하이머병 환자의 특이적인 발화 특성이 보다 뚜렷하게 드러났을 가능성을 제안한다. 본 연구는 추후 연구에서 효과적인 자동화된 발화기번 알츠하이머병 탐지 도구를 개발하기 위하여 알츠하이머병 환자의 발화 특성을 풍부하게 반영할 수 있는 최적의 발화과제를 탐색 및 개발하여야 할 시사점을 제시한다.