Developing a deep learning model to diagnose metabolic bone disease of prematurity using wrist x-ray results of preterm infants

Abstract

Background: Metabolic bone disease (MBD) of prematurity is an important complication of prematurity and accurate diagnosis and timely intervention should be made for preterm infants.

Objective: To develop a diagnostic tool for MBD of prematurity via deep learning by using wrist x-rays of preterm infants.

Methods: Study enrolled preterm infants whose birth weight was less than 1500g born at Seoul National University Childrens Hospital and admitted to Neonatal Intensive Care Unit from 2010 to 2020. Demographic and clinical information as well as wrist x-rays taken between 4-8 weeks of postnatal age were collected retrospectively. Two types of regions of interests (ROI 0 and ROI 1) were annotated for deep learning model training. Demographic and clinical data was analyzed to determine the factors associated with MBD of prematurity, thus evaluating the representativeness of our study population. Wrist x-ray images were used to train and develop a diagnostic model via various deep learning algorithms, including AlexNet, DenseNet-121, ResNet-50, ResNext-50, VGG-19, CheXNet, and EfficientNet-b3.

Results: Fourteen percent (116/814) of enrolled patients were diagnosed with MBD of prematurity between 4-8 weeks of postnatal age. Analysis of clinical information revealed that birth weight less than 1000g (82.8% vs. 37.5%, p<0.001), gestational age less than 28 weeks (75.0% vs. 29.5%, p<0.001), parenteral nutrition longer than or equal to 28 days (49.1% vs, 12.0%, p<0.001) were statistically significant risk factors of MBD of prematurity. These risk factors concurred with renowned risk factors of MBD, suggesting that our population could represent general preterm population and our ground truth is reliable. Deep learning models developed by EfficientNet-b3 and VGG-19 using ROI 0 appeared to show the best quality of performance demonstrated by highest F1-score (0.844 for both models) and AUROC (0.962 for EfficientNet-b3 and 0.968 for VGG-19). ROI 0 EfficientNet-b3 model and VGG-19 model both showed sensitivity of 0.907, specificity of 0.924, positive predictive value of 0.790, negative predictive value of 0.969, and accuracy of 0.915.

Conclusion: Novel deep learning models to diagnose MBD of prematurity have been developed as a result. Our models showed sensitivity of 0.907, specificity of 0.924, and accuracy of 0.915. If applied to clinical settings, it would assist clinicians, especially for those who are novice, to detect MBD more accurately and conveniently, thereby enabling timely management to treat and prevent disease progression for preterm infants.

서론: 미숙아 대사성 골질환은 미숙아가 겪는 중요한 합병증 중 하나로 정확한 진단 및 적절한 시점에서의 치료적 개입이 필요한 질환이다.

목적: 본 연구는 미숙아 대사성 골질환의 진단을 용이하게 하고자 손목 x-ray 영상 정보를 바탕으로 미숙아 대사성 골질환 진단 딥러닝 모델을 구축하고자 한다.

방법: 2010년부터 2020년 사이에 서울대학교 어린이병원에서 1500g 미만으로 출생한 미숙아들 중 신생아중환자실에 입실한 환자들을 대상으로 연구가 진행되었다. 인구학적 정보, 임상 정보, 생후 4-8주 사이에 촬영된 손목 x-ray 영상들은후향적으로 수집되었다. 딥러닝 모델 학습을 위해 두 가지 관심 영역 (ROI 0과 ROI 1)의 어노테이션이 완료되었다. 임상정보는 미숙아 대사성 골질환과 연관된 인자들을 분석하고자 사용되었고, 이를 통해 연구 모집단의 대표성을 확인하고자 하였다. 수집된 손목 x-ray 영상은 딥러닝을 통한 진단 프로그램을 개발하기 위한 학습데이터로 사용되었다. 프로그램 개발을 위해 AlexNet, DenseNet-121, ResNet-50, ResNext-50, VGG-19, CheXNet, EfficientNet-b3 딥러닝 architecture 가 사용되었다.

결과: 모집단 중 14.3% (116/814)가 생후 4-8주 사이에 미숙아 대사성 골질환으로 진단되었다. 생후 4-8주 이내에 한 번이라도 손목 영상에서 대사성 골질환으로 진단된 경우와 그렇지 않은 경우를 두 군으로 비교하였고, 출생체중 1000g 미만 (82.8% vs. 37.5%, p=0.000), 재태주수 28주 미만 (75.0% vs. 29.5%, p=0.000), 정맥영양 공급 기간 28일 이상 (49.1% vs, 12.0%, p=0.000)이 질환을 겪은 군에서 유의미하게 높은 빈도임이 확인되어, 대사성 골질환의 위험인자로 확인되었다. 이는 이미 잘 알려진 미숙아 대사성 골질환의 위험인자와 일치하며, 이를 통해 모집단이 일반적인 미숙아 집단을 대표할 수 있음을 확인하였다. 더불어 학습에 사용된 ground truth의 신뢰도 또한 입증할 수 있었다. ROI 0을 이용하여 EfficientNet-b3와 VGG-19를 통해 개발한 진단 모델이 가장 뛰어난 성능을 나타내며, 최대값의 F1 스코어 (0.844)와 AUROC 값 (EfficientNet-b3: 0.962, VGG-19: 0.968)을 보였다., 두 모델의 민감도는 0.907, 특이도는 0.924, 양성 예측도는 0.790, 음성 예측도는 0.969, 정확도는 0.915였다.

결론: 본 연구를 통해 미숙아 대사성 골질환 진단을 위한 딥러닝 모델이 개발되었고 민감도는 0.907, 특이도는 0.924, 정확도는 0.915이다. 향후에 이러한 진단기법이 실제 임상에 적용된다면, 특히나 임상경력이 적은 임상의의 경우에도 질환의 진단이 정확하고 간편하게 이루어질 수 있을 것으로 생각하며, 이를 통해 치료 및 예방을 위한 적절한 개입이 가능해질 것으로 기대한다.