The Cognitive Model & Framework Optimization for Auditory Attention Decoder

Abstract

It has been an important issue for cognitive scientists to reveal the mechanism of selective auditory attention, known as the cocktail party problem. Recently, there was a significant improvement in this field by the new approach has been suggested i.e. stimulus reconstruction technique based on neural response. This technology has been expected to be able to help hearing loss people who have difficulty with selective listening. However, still several problems have remained to develop real-world applications. So we scoped to solve the following two issues: First, we examined whether the decoding performance is invariant not only in the laboratory's controlled scenarios but also in the complex real-world environment. Through this process, we have suggested a cognitive model of selective attention mechanism. Second, we proposed a cost-efficient decoding framework that is optimized for real-time processing. Furthermore, we have shown the optimized framework has 16 times reduced computational cost on average while maintaining the decoding performance compared to the previous one. We expect that our findings could provide several clues to understand auditory attention mechanisms in the cocktail party scenario and contribute to adopting the auditory attention detection technology to the real-world application.

칵테일 파티 현상으로 알려진 선별적 청각 주의집중(selective auditory attention)의 작동원리를 밝히는 것은 인지과학자들에게 중요한 과제로 여겨져왔다. 최근 청취한 소리를 신경신호를 기반으로 추정하는 기술이 등장하면서 이에 대한 이해수준은 빠르게 향상되었으며, 이 접근법은 일반적으로 선택적 주의집중에 어려움을 겪는 난청환자들을 돕기 위한 응용 기술로써도 조명되고있다. 하지만 해당 기술이 상용화되기까지는 해결되어야 할 문제들이 많이 남아있으며 본 저자는 다음의 두 가지 문제를 해결하는 데 주목하였다. 첫째, 실험실의 통제된 환경이 아닌, 일상에서 마주하게 되는 복잡한 상황에서도 신경 디코더가 안정적으로 작동될 수 있는지 검토하였다. 이 과정을 통해 신경과학적 관점에서 선택적 주의집중 메커니즘의 인지 모델을 제안하였다. 둘째, 실시간 프로세싱에 최적화된 디코딩 프레임워크를 제안하였으며, 해당 프레임워크를 사용하면 기존 방식 대비 성능은 유지되면서 연산량은 약 16배 효율화 할 수 있음을 보였다. 본 연구 결과를 통해 향후 청지각 분야의 신경과학자들이 주의집중 메커니즘을 이해하는 단서를 제공하며, 청각 주목 대상 디코딩 기술(Auditory Attention Detection)을 일상에서 상용화하는데 기여할 것으로 기대한다.