Deep Learning Assisted Diagnosis of Pediatric Skull Fracture on Plain Radiographs

Abstract

Objectives: This study aimed to develop and evaluate a deep learning model that detects pediatric skull fractures on plain radiographs. Materials and Methods: This retrospective multi-center study consisted of development data set acquired from two hospitals (n = 157 and 264) and an external test set (n = 95) from a third hospital. Data sets included pediatric patients who presented for head trauma at different ranges of dates and underwent skull radiography. The development data set was split into training, validation, and internal test sets at a 6:1:2 ratio. The reference standard for the development data set was radiographic findings, while it was cranial CT findings for the external test set. We used a YOLOv3 architecture that predicts bounding boxes and scores for candidate lesions. We conducted a two-session observer study on the external test set that radiologists participated without and with the assistance of the model in each session. To evaluate the diagnostic performance of the model and radiologists, we calculated the area under the receiver operating characteristic curve (AUC), sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV), as well as their 95% confidence intervals (CI). Results: Our trained model showed an AUC of 0.984 (95% CI, 0.929–0.999) in the internal test set and 0.791 (95% CI, 0.695–0.868) in the external test set. The model had a sensitivity of 90.6% (95% CI, 0.750–0.980), a specificity of 94.3% (95% CI, 0.843–0.988), a PPV of 90.6% (95% CI, 0.762–0.967), and an NPV of 94.3% (95% CI, 0.850–0.980) for the internal test set. For the external test set, the model had a sensitivity of 68.4% (95% CI, 0.435–0.874), a specificity of 88.2% (95% CI, 0.787–0.944), a PPV of 59.1% (95% CI, 0.421–0.741), and an NPV of 91.8% (95% CI, 0.851–0.956). The AUCs of the radiologists were 0.765 (95% CI, 0.667–0.846) and 0.908 (95% CI, 0.831–0.958) in the first sessions and 0.812 (95% CI, 0.718–0.885) and 0.925 (95% CI, 0.852–0.969), respectively, in the second sessions, but the differences were not statistically significant (Ps > 0.05). The less-experienced radiologist showed a higher specificity (71.1% to 93.4%, P <0.001) with a comparable sensitivity (68.4% to 63.2%, P = 1.000) when assisted by the model, while a pediatric radiologist showed no significant differences between the sessions (Ps > 0.05). Conclusions: Our study demonstrated a deep learning model for the diagnosis of pediatric skull fracture on plain radiographs, which is the first to date that has succeeded in such a task and may improve the diagnostic performance of inexperienced radiologists.

목적: 단순 방사선 영상에서 소아 두개골 골절을 진단하는 딥러닝 기반 모델을 개발하고 평가하고자 한다. 대상 및 방법: 본 후향적 다기관 연구는 두 병원으로부터 구성된 개발용 데이터군과 제3병원으로부터 구성된 외부 검정 데이터군으로 이루어졌다. 두부 외상으로 내원하였고 두개골 단순 방사선 촬영을 시행한 소아 환자들이 포함되었으며, 각 병원 별 내원 날짜 기준은 상이하였다. 개발용 데이터군에서는 단순 방사선 소견을 기준으로 골절 여부를 분류하였고, 외부 검정 데이터군에서는 전산화단층촬영 소견을 기준으로 하였다. 개발용 데이터군은 6:1:2 비율로 훈련, 검증, 내부 검정군으로 나뉘어졌다. 딥러닝 모델로 의심 병변에 대한 경계 상자와 그 점수를 출력하는 YOLOv3 구조를 사용하였다. 외부 검정군을 대상으로 영상의학과 의사가 두개골 골절을 판독하였는데 단독으로 판독하는 첫번째 세션, 모델의 예측 결과의 도움을 받으며 판독하는 두번째 세션으로 구성되었다. 모델 및 영상의학과 의사의 진단 성능을 평가하기 위해 수신자 조작 특성 곡선하 면적 (AUC), 민감도, 특이도, 양성예측도 및 음성 예측도와 대응되는 95% 신뢰구간 (CI)를 계산하였다. 결과: 모델의 진단능 분석 결과, 내부 검정군에서 AUC 0.984 (95% CI, 0.929–0.999), 그리고 외부 검정군에서 0.791 (95% CI, 0.695–0.868)의 결과를 보여주었다. 모델의 민감도는 내부 검정군에서 90.6% (95% CI, 0.750–0.980), 특이도는 94.3% (95% CI, 0.843–0.988), 양성예측도는 90.6% (95% CI, 0.762–0.967), 음성예측도는 94.3% (95% CI, 0.850–0.980)으로 계산되었다. 외부 검정군에서의 모델의 분석 결과, 민감도 68.4% (95% CI, 0.435–0.874), 특이도 88.2% (95% CI, 0.787–0.944), 양성예측도 59.1% (95% CI, 0.421–0.741), 음성예측도 91.8% (95% CI, 0.851–0.956)의 진단능을 보였다. 영상의학과 의사의 AUC값은 첫번째 세션에서는 0.765 (95% CI, 0.667–0.846), 0.908 (95% CI, 0.831–0.958)이었고, 두번째 세션에서는 각각 0.812 (95% CI, 0.718–0.885), 0.925 (95% CI, 0.852–0.969)이었으나 그 차이들은 모두 통계적으로 유의미하지 않았다 (Ps > 0.05). 경험이 적은 영상의학과 의사는 모델의 도움을 받았을 때 특이도가 유의미하게 증가하였고 (71.1%에서 93.4%, P < 0.001), 유사한 민감도를 (68.4%에서 63.2%, P = 1.000)를 보였으나 소아영상의학전문의는 세션 사이에 유의미한 차이를 보이지 않았다 (Ps > 0.05). 결론: 본 연구에서는 단순 방사선 영상에서의 소아 두개골 골절 진단을 위한 딥러닝 모델을 개발 및 평가했다. 현재까지 발표된 같은 주제를 다룬 딥러닝 관련 연구가 없어, 최초의 연구임에 의의가 있으며, 경험이 적은 영상의학과 의사의 진단능을 향상시킬 가능성이 있다.