이미지 딥러닝을 통한 소아의 몸무게 추정 알고리즘 개발

Abstract

초록

이미지 딥러닝을 통한 소아의 몸무게 추정 알고리즘 개발

장준호 서울대학교 대학원 협동과정 바이오엔지니어링 전공

본 연구의 목표는 이미지 딥러닝을 통하여 소아 환자의 사진만으로 환자의 키 및 몸무게를 추정하는 알고리즘을 개발하는 것으로, 응급 상황 등 체중계를 사용한 정확한 몸무게 측정이 불가능한 상황에서 기존 몸무게 추정 방식을 대체하는 추정 정확도로 환자의 몸무게를 추정함을 목표로 한다. 본 연구에서는 소아과를 방문한 0~17세 사이의 환자 중 연구목적으로의 정보 사용에 동의한 환자 514명을 대상으로 네 개의 위치 기준 점이 붙어 있는 침상위에 누운 환자의 모습을 스마트폰으로 촬영하여 얻은 이미지 3802장과 실제 신장 및 체중 측정기를 통해 측정한 각 환자의 키 및 몸무게 정보를 기반으로 알고리즘을 개발하였다. 본 연구에서 개발한 알고리즘은 환자 이미지 전처리 과정과 딥러닝 학습, 그리고 몸무게 자동 추정을 위한 키 추정 및 몸무게 추정 과정으로 나뉜다. 이미지 전처리 과정에서는 실제 키 및 몸무게 추정에 중요한 영향을 끼치는 정보인 이미지 속 사람의 실루엣만을 추출해 사용하기 위해 Mask R-CNN을 통하여 자동으로 사진에서 환자를 인식하고 환자의 실루엣만을 흑백으로 추출하게 하고, 추출한 이미지를 원근 변환 방법을 사용하여 딥러닝 모델이 각 이미지의 절대적 크기를 비교할 수 있도록 하였다. 모델의 학습 및 검증을 위해 환자군을 6:2:2의 비율로 학습 세트, 검증 세트, 시험 세트의 세 집단으로 나누어 학습 및 검증에 사용하였으며, 회귀 문제 분석을 위해 마지막 층 만을 수정한 ResNet50, VGG16, DenseNet121 모델을 사용하였다. 학습 과정에서는 추출 및 변환된 흑백의 환자 실루엣 이미지를 입력, 환자의 실제 키 및 몸무게 정보를 결과로 하여 학습하게 하였으며 특히 몸무게 추정 모델의 학습 과정의 경우, 추정 혹은 측정한 키를 실루엣 이미지에 합산하여 생성한 이미지를 학습 및 추정 과정에서의 입력값으로 하여 보다 많은 정보를 몸무게 추정에 사용하게 하여 각 모델별로 총 50회의 학습 과정을 거치며 가장 검증 정확도가 높은 학습 가중치를 저장하여 키 및 몸무게 추정에 사용한다. 학습을 완료한 모델을 통하여 키 및 몸무게를 추정한 결과, 키 추정 결과에 있어서는 ResNet50이 가장 높은 정확도를 보였고, 몸무게 추정 결과로는 VGG16이 가장 높은 정확도를 보였다. 특히 가장 높은 몸무게 추정 정확도를 보인 VGG16의 경우에는 현재 일반적으로 사용하는 소아 대상 체중 추정 방법인 Broselow Tape 방법에 필적하는 높은 몸무게 추정 정확도를 보인다. 본 논문은 이미지 딥러닝을 통하여 환자의 사진에서 몸무게를 추정하는 알고리즘을 최초로 제시한 것에 가장 큰 의의가 있다. 특히 높은 왜곡도를 보인 이미지 전처리 결과와 적은 학습 데이터 개수에도 불구하고 본 알고리즘의 최종 체중 추정 정확도는 기존 체중 추정 방법과 유사한 추정 정확도를 보인다. 비록 본 논문에서는 현재의 추정 방법에 비해 높은 정확도를 보이지는 못하였으나, 딥러닝 기반 몸무게 추정 알고리즘이라는 본 알고리즘의 특성은 추후 대중화 시에 학습량의 증가를 바탕으로 본 알고리즘의 추정 정확도가 지속적으로 상승하여 기존 체중 추정 방법을 상회하는 정확도를 얻어낼 수 있다는 가능성을 시사한다. ________________________________________ 주요어 : 딥러닝, 추정, 몸무게, 키, 소아 학번: 2015-21219

Abstract

Deep learning based pediatric weight estimation algorithm from 2D Image

Jun Ho, Jang Interdisciplinary Program of Bioengineering The Graduate School Seoul National University

The aim of this research is to develop an image deep learning based pediatric weight estimation algorithm, which is automatic and has a competitive accuracy with previous weight estimation methods for the emergency situations when the weight measuring instruments(weight scale) are not available. For developing the algorithm, this research used total 3802 pictures from 514 pediatric patients who agreed to use their information for the research purpose and their real height and weight information. All the pictures are photographed from each patient who lied on a bed which has four reference points. This algorithm consists of patients image preprocessing part, training model part, estimation of height part for weight estimation and weight estimation part.. For data preprocessing part, Mask R-CNN model is used to automatically recognize and extract the patients monochrome silhouette only from each picture. After extraction of the silhouette, each picture gets a perspective correction with homography transformation. For training and testing model part, we used three deep learning models- ResNet50, VGG16 and DenseNet121. The last layer of every model is modified to solve regression problems for the estimation of height or weight. All thee preprocessed pictures are labeled with each patients height or weight information to train models. For the weight estimation model, the preprocessed pictures are also merged with each patients height information to give more information to the model. The patient group is divided into train set, validation set and test set with 6:2:2 ratio. Each model is trained during 50 epochs. And each model is saved as trained model when the model gets highest validation accuracy. From the result of trained model comparison, ResNet50 model shows the highest accuracy on height estimation and VGG16 shows the highest accuracy on weight estimation. VGG16 also shows a competitive weight estimation accuracy with the previous clinical weight estimation method(Broselow tape). For the first time, this paper suggested the way of estimation body weight from a picture of a human with image deep learning. It showed clinically capable accuracy despite of the small size of the training set. Though the algorithms weight estimation accuracy does not exceed the accuracy of existing clinical weight estimation methods in this paper, this algorithm has a potential as a new weight estimation methods because the accuracy of this algorithm will keep rising with the continuous collection of user data due to the characteristic of deep learning.

Keywords : Deep learning, Estimation, Weight, Height, Pediatric Student Number : 2015-21219