Voxel-wise adversarial semi-supervised learning for medical image segmentation

Abstract

Semi-supervised learning for medical image segmentation is an important area of research for alleviating the huge cost associated with the construction of reliable large-scale annotations in the medical domain. Recent semi-supervised approaches have demonstrated promising results by employing consistency regularization, pseudo-labeling techniques, and adversarial learning. These methods primarily attempt to learn the distribution of labeled and unlabeled data by enforcing consistency in the predictions or embedding context. However, previous approaches have focused only on local discrepancy minimization or context relations across single classes. In this paper, we introduce a novel method that effectively embeds both local and global features from multiple hidden layers and learns context relations between multiple classes. Our voxel-wise adversarial learning method utilizes a voxel-wise feature discriminator, which considers multilayer voxel-wise features as an input by embedding class-specific voxel-wise feature distribution. The experimental results demonstrate that our method outperforms current best-performing state-of-the-art semi-supervised learning approaches by improving the network performance by 2% in Dice score coefficient for multi-organ dataset. Furthermore, visual interpretation of the feature space demonstrates that our proposed method enables a well-distributed and separated feature space from both labeled and unlabeled data, which improves the overall prediction results.

의료 영상 분할에서 신뢰성 있는 큰 규모의 정답 레이블을 생성하기 힘들다는 점에서 준지도 학습은 중요하다. 최근 준 지도 학습 연구들은 일관성 정규화(consistency regularization), 의사 레이블링(pseudo-labeling) 그리고 적대적 학습(adversarial learning) 방법을 이용하여 좋은 결과를 보여주었다. 해당 방법들은 주로 정답이 있는 데이터(labeled data)와 정답이 없는 데이터(unlabeled data)의 분포를 학습하여 그들 간의 예측 값이나 임베딩 값에 일관성을 부여한다. 하지만 이전 방법들은 영상의 지엽적인 특성과 하나의 클래스 간의 관계만을 고려한다는 단점이 있다. 따라서 우리는 이 논문에서 영상의 지엽적인 특징과 전역적인 특징을 동시에 고려하며, 여러 클래스 간의 표현 관계를 학습할 수 있는 적대적 학습 기반의 준 지도 학습 의료 영상 분할 네트워크를 제안한다. 우리의 복셀 간 적대적 학습(voxel-wise adversarial learning) 메소드는 멀티레이어로부터 추출한 클래스 별 복셀 간 표현(voxel-wise feature)를 인풋으로 취급하는 복셀 간 표현 분류자(voxel-wise feature discriminator)를 활용한다. Left Atrial Segmentation Challenge data과 Abdominal Multi-Organ dataset을 이용한 실험을 통해 우리의 메소드의 효과를 이진 분류와 다중 분류 각각의 상황에서 증명하였다. 실험 결과는 우리의 메소드가 최근 준지도 학습 기법 연구들을 능가하는 것을 보여주며, 우리가 제안한 메소드가 정답이 없는 데이터를 학습에 효과적으로 활용하는 것을 보여준다. 더욱이, 표현 공간 상에서의 시각적 해석을 통해 우리의 메소드가 전반적으로 향상된 예측 결과와 클래스 별로 분리된 표현 공간을 구성한다는 것을 확인할 수 있었다.