Publications

Detailed Information

Complementing Individual Variability within Neural Data with Dual Model Transfer Learning at the Brain-Computer Interface : 뇌-컴퓨터 인터페이스에서 듀얼 모델 전이 학습을 통한 신경 데이터의 개별 다양성 보완 방법

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors

김준수

Advisor
김의태
Issue Date
2024
Publisher
서울대학교 대학원
Keywords
Brain-computer interface,Individual variability,Transfer learning,Deep neural network,Movement prediction
Description
학위논문(석사) -- 서울대학교 대학원 : 자연과학대학 뇌인지과학과, 2024. 8. 김의태.
Abstract
최근 뇌-컴퓨터 인터페이스(BCI) 기술이 발전하면서 심층 신경망(DNN)과 같은 복잡한 디코딩 모델을 통합하여 성능을 향상시키는 방향으로 크게 변화하고 있다. 이러한 모델은 임의의 움직임을 디코딩하기 위한 회귀와 같은 정교한 작업에 특히 중요하다. 하지만 개별 데이터에 대해 학습하고 테스트한 이러한 BCI 모델은 여러 피사체에 걸쳐 제한된 성능과 일반화 가능성이라는 문제에 직면하는 경우가 많다. 이러한 한계는 주로 DNN 모델의 파라미터 수가 엄청나게 많기 때문이다. 복잡한 모델을 훈련하려면 방대한 데이터 세트가 필요하다. 그럼에도 불구하고 많은 피험자의 그룹 데이터는 개인 간 및 시간에 따른 신경 신호의 고유한 가변성 때문에 충분한 디코딩 성능을 제공하지 못할 수 있다. 이러한 문제를 해결하기 위해 이 연구에서는 피질 영역의 피험자별 변동성에 효과적으로 적응할 수 있는 전이 학습 접근법을 제안한다. 이 방법은 개별 데이터와 단순 종합된 그룹 데이터에 대해 두 개의 개별 움직임 디코딩 모델을 훈련하는 것이다. 그런 다음 개별 모델에서 각 피질 영역에 대한 명료도 지도를 생성하여 피험자 간 입력의 기여도 분산을 식별하는 데 도움을 준다. 기여도 분산을 기반으로 수정된 지식 증류 프레임워크를 사용하여 개인 모델과 그룹 모델을 결합한다. 이러한 접근 방식을 통해 그룹 모델은 입력 데이터에 더 큰 가중치를 부여하여 보편적으로 적용할 수 있고, 개별 모델은 개인별 편차가 큰 영역에 집중하도록 미세 조정할 수 있다. 이렇게 결합된 모델은 개인별 변동성을 효과적으로 캡슐화 한다. 9명의 피험자를 대상으로 팔 뻗기 과제를 수행하여 이 접근법을 검증한 결과, 이 방법이 개별 모델(r = 0.70)과 그룹 모델(r = 0.40) 모두에서 해독 성능을 뛰어넘는(평균 상관계수, r = 0.75) 결과를 보였다. 특히 개별 모델이 낮은 성능을 보이는 경우(예: 개별 디코더의 r = 0.50에서 제안된 디코더의 r = 0.61)에는 눈에 띄는 개선이 있었다. 이러한 결과는 강력한 BCI를 위한 우리 방법의 잠재력을 보여줄 뿐만 아니라 개별 데이터를 일반화하여 폭넓게 적용할 수 있는 능력을 강조한다.
Recent advancements in brain-computer interface (BCI) technology have seen a significant shift towards incorporating complex decoding models such as deep neural networks (DNNs) to enhance performance. These models are particularly crucial for sophisticated tasks such as regression for decoding arbitrary movements. However, these BCI models trained and tested on individual data often face challenges with limited performance and generalizability across different subjects. This limitation is primarily due to a tremendous number of parameters of DNN models. Training complex models demands extensive datasets. Nevertheless, group data from many subjects may not produce sufficient decoding performance because of inherent variability in neural signals both across individuals and over time. To address these challenges, this study proposed a transfer learning approach that could effectively adapt to subject-specific variability in cortical regions. Our method involved training two separate movement decoding models: one on individual data and another on pooled group data. We then created a salience map for each cortical region from the individual model, which helped us identify the input's contribution variance across subjects. Based on the contribution variance, we combined individual and group models using a modified knowledge distillation framework. This approach allowed the group model to be universally applicable by assigning greater weights to input data, while the individual model was fine-tuned to focus on areas with significant individual variance. Our combined model effectively encapsulated individual variability. We validated this approach with nine subjects performing arm-reaching tasks, with our method outperforming (mean correlation coefficient, r = 0.75) both individual (r = 0.70) and group models (r = 0.40) in decoding performance. In particular, there were notable improvements in cases where individual models showed low performances (e.g., r = 0.50 in the individual decoder to r = 0.61 in the proposed decoder). These results not only demonstrate the potential of our method for robust BCI, but also underscore its ability to generalize individual data for broader applicability.
Language
eng
URI
https://hdl.handle.net/10371/215154

https://dcollection.snu.ac.kr/common/orgView/000000186017
Files in This Item:
Appears in Collections:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share