Multi-Organ Segmentation for CT Images through Deformable Window Attention

Abstract

Multi-organ segmentation is a crucial task for clinical applications of computer-aided diagnosis. Recent development in deep learning, especially convolutional neural networks(CNN), showed promising outcomes on the simultaneous segmentation of multiple organs in medical images. However, most approaches with a backbone consisting of CNNs tend to weakly relate to global feature representations due to the limited shape of convolutions. As architecture modifications are being explored, vision transformers(ViT) have been displaying significant improvements even surpassing the performance of CNNs on image classification tasks. In this paper, to increase the performance of multi-organ segmentation, inspired by deformable convolutional networks, we introduce a deformable attention network that learns offsets and scales in order to focus the attention to more informative areas of the image rather than focusing on comparing each patch to the whole image. The overall architecture effectively utilizes both CNNs and ViTs to not only increase accuracy but also reduce computational complexity of self-attention mechanisms. We used the Beyond the Cranium Vault(BTCV) dataset which contains only 30 CT abdominal images for training and validation, and 17 CT abdominal images for testing. The experimental results show that the proposed network produces more accurate results compared to previous methods by achieving a 3.7% increase in pancreas segmentation and a 3.6% increase in duodenum segmentation in terms of dice similarity coefficient (DSC) score.

다중 장기 분할은 컴퓨터 보조 진단의 임상 응용에 중요한 작업이다. 딥러닝, 특히 합성곱 신경망의 최근 발전은 의료 영상에서 다중 장기의 동시 분할에 대한 유망한 결과를 보여주었다. 그러나 합성곱 신경망으로 이루어진 백본을 가진 대부분의 접근 방식은 합성곱 신경망의 제한된 모양으로 인해 전역 특정 표현이 약해질 우려가 있다. 다중 장기 분할을 위한 여러 아키텍쳐들이 탐구됨에 따라, 비전 트랜스포머 (ViT)는 이미지 분류 작업에서 합성곱 신경망의 성능을 능가하는 상당한 개선을 보여주었다. 본 논문에서는 비정형 합성곱 신경망 네트워크에서 영감을 받아 다중 장기 분할의 성능을 높이기 위해 각 패치를 전체 이미지와 비교하는데 초점을 맞추기보다는 이미지의 중요 영역에 어텐션을 집중하기위해 오프셋과 척도를 학 습하는 비정형 어텐션 네트워크를 소개한다. 전체 아키텍처는 합성곱 신경망과 비전 트랜스포머를 모두 효과적으로 활용하여 정확도를 높일 뿐만 아니라 셀프 어텐션 메커니즘의 계산 복잡성을 감소시킨다. 모델의 학습 및 검증을 위해 30개의 CT 복부 이미지를, 실제 테스트를 위해 17개의 CT 복부 이미지를 포함하는 BTCV(Beyond the Cranium Vault) 데이터 세트를 사용하였다. 실험 결과는 제안된 네트워크가 다이스 유사도 계수(DSC) 점수 측면에서 췌장 분할에서 3.7%, 십이지장 분할에서 3.6% 증가를 달성하여 이전 방법에 비해 더 정확한 결과를 생성한다는 것을 보여준다.