딥러닝 기반 응급 기관 내 삽관 영상의 해부학적 구조물 분할에 관한 연구

Abstract

본 연구는 응급실에서 비디오 후두경을 이용해 촬영된 기관 내 삽관 영상을 이용하여 구강 내 구조물인 성대, 후두 덮개, 연골, 그리고 혀를 딥러닝을 이용해 segmentation하는 연구이다. 본 연구는 Mask R-CNN, DeepLabv3+, 그리고 U-Net 모델을 이용하여 segmentation을 진행했다. Mask R-CNN 모델은 추론을 통해 각 구조물에 대해 여러 개의 마스크가 생성될 수 있다. 본 연구에서 segmentation을 진행하는 구조물의 레이블링은 구조물별로 하나의 마스크에 표현되었다. 따라서 모델의 결과로 나오는 각 구조물에 대한 여러 개의 마스크를 각각 하나의 마스크로 만드는 과정이 필요하다. 본 논문은 Mask R-CNN 모델의 결과로 각 구조물 별로 나오는 여러 개의 마스크를 각각 하나의 마스크로 만드는 과정을 진행했다. 이후 DeepLabv3+, U-Net 모델과 같은 평가 방식을 이용해 모델의 성능을 검증하였다. 성능 검증을 위한 평가 지표로 dice similarity coefficient, detection모델 평가에 사용되는 방법을 도입하였고 frames per second도 평가 지표로 사용하였다. 본 연구에서 사용된 응급 상황에서 촬영된 기관 내 삽관 동영상은 실제 기관 내 삽관이 이뤄지는 환경을 반영하기 위해 기도 주변의 이물, 모션 블러, 그리고 빛 반사가 존재하는 이미지를 포함하여 연구가 진행되었다. 본 연구를 통해 실제 상황을 반영한 데이터는 딥러닝을 통해 구조물의 segmentation이 이뤄질 수 있음을 확인하였고, 실시간으로 활용이 가능할 수 있는 모델을 확인할 수 있었다. 응급 상황에서 촬영된 데이터를 이용한 첫 연구로 본 연구에서 개발된 알고리즘은 실제 촬영된 영상에 적용해 구조물이 segmentation된 영상을 얻을 수 있다. 이렇게 얻어진 영상을 통해 경험이 적은 의료 종사자들이 구강 내 구조물에 대한 이해를 높일 수 있을 것으로 생각되며, 원격 기관 내 삽관 보조 시스템 구축 및 기관 내 삽관 자동화 시스템 개발의 초석으로 사용될 수 있을 것이라 생각된다.

This study is about segmenting vocal cord, epiglottis, corniculate cartilage, and tongue by deep learning from the data acquired from emergency department using video laryngoscope in Endotracheal Intubation (ETI) process. This study was conducted using Mask R-CNN, DeepLabv3+, and U-Net models for segmentation. The Mask R-CNN model can generate multiple masks for each structure through inference. As a result of the model, several masks are made for each structure. For vocal cord, epiglottis, corniculate cartilage, and tongue in the oral cavity, one mask was labeled for each structure. Therefore, masks for each structure are necessary to be made into one mask. In this paper, several masks for each structure, output of the Mask R-CNN model, were made into a single mask respectively. The performance of the model was verified using same evaluation methods for all three models. Dice similarity coefficient, method used to evaluate detection model and frames per second were used as an evaluation method. The ETI images used in this study, include foreign objects around the airway, motion blur, and light reflection were used to reflect the actual endotracheal intubation environment. Through this study, it was confirmed that the data reflecting the actual situation could be segmented using deep learning and found the model that could be used in real-time inferencing. As the first study using data taken in emergency, the algorithm developed in this study can be applied to the actual video to obtain video which the structures are segmented. From the videos, which the structures were segmented, it is thought that less experienced medical workers can improve their understanding of structures in the oral cavity and can be used as a cornerstone for establishing a remote intubation assistance system and developing an automatic intubation system.