Interexaminer Reliability of Pharyngeal Injection and Palatine Tonsillar Hypertrophy in a Pediatric Emergency Department

Abstract

Background Interpretation of physical examination findings can differ based on the examiner's characteristics. In previous studies, the interrater reliability of physical examination varies and improvements in standardization of physical examination methods are necessary. In this study, we evaluated the interrater reliability of pharyngeal injection (PI) and palatine tonsillar hypertrophy (PTH) in children according to each examiner's major (emergency medicine (EM) or pediatrics) and training stage using photographs of the throats of children who visited the pediatric ED.

Methods We performed a prospective observational study of interrater reliability. The participants included physicians with various amounts of experience and majors who were working in an urban, tertiary hospital. We collected 20 photos of the throats of children who presented to the pediatric emergency department (ED) and performed 2 surveys (with or without medical history). The primary outcome was the interrater agreement for pharyngeal injection (PI) and palatine tonsillar hypertrophy (PTH), and the secondary outcome was the interrater agreement for PI and PTH in subgroups of examiners divided by major and duration of clinical experience.

Results Thirty-three examiners participated in this study. The overall percent agreement for PI was 0.669, and Fleiss' kappa was 0.296. The interrater reliability was similar before and after providing patients' medical history. The overall percent agreement for PTH was 0.408, and Kendall's W was 0.674. When the patients' medical history was provided, Kendall's W increased (0.692). In the subgroup analysis, Fleiss' kappa for PI ranged from 0.257 to 0.33, and Kendall's W for PTH ranged from 0.593 to 0.711.

Conclusions Examiners' agreement for PTH was more reliable than that for PI when evaluating children who visited the ED. The interrater reliability did not improve with increased clinical experience. These findings should be considered in the examination of pharyngeal pathology.

서론 : 신체 검사 소견의 해석은 평가자의 특성에 따라 다를 수 있으며, 이전의 연구에서는 복부 검진에서 평가자의 전공과 경력에 따라 평가자 간의 해석이 다르게 나타났다. 본 연구에서는 소아응급실을 방문한 어린이의 목구멍 사진을 이용하여 평가자의 임상 경험과 전공에 따른 어린이의 인두 발적 및 구개편도비대의 평가자 간 일치도를 평가 하였다.

방법 : 본 연구는 평가자 간 일치도에 대한 전향적 관측 연구였으며, 연구대상자들은 3차 병원에서 일하는 소아과 및 응급의학과 의사로, 전공의와 전공의를 두루 포함하였다. 소아 응급실에 방문한 어린이들의 목구멍 사진 20 장을 추출하여 웹 기반 설문지를 작성 후 연구 대상자들에게 답변하게 하여 자료를 수집하였다. 1차 연구 결과는 인두 빌적과 구개편도비대에 대한 평가자 간 일치도였고, 2차 연구 결과는 임상 경험 기간 및 전공 별 소그룹로 나누어 평가자 간 일치도를 측정하였다.

결과 : 모집 결과 소아과 의사 11명과 응급의학과 의사 22명, 총 33명의 평가자가 연구에 참여하였다. 인두 발적의 경우 전반적으로 퍼센트 동의 0.669, Fleiss kappa 0.296의 일치도를 보였으며, 환아의 병력을 제공하기 전화 후의 일치도 변화는 없었다. 구개편도비대의 경우 전반적으로 퍼센트 동의 0.408, Kendalls W 0.679의 일치도를 보였으며 환아의 병력이 제공된 경우 Kendalls W가 소폭 증가 (0.692) 하였다. 임상 경험 기간 및 전공 별 소그룹 분석에서 인두 발적에 대한 Fleiss kappa는 0.257에서 0.33의 범위를 보였으며 구개편도비대에 대한 Kendalls W는 0.593에서 0.711의 범위를 보였다.

결론 : 소아응급실을 방문한 어린이들의 구개편도비대에 대한 평가자간 일치도는 인두 발적의 평가자간 일치도보다 더 높은 경향이 있었다. 평가자간 일치도는 임상 경험이 증가함에 따라 향상되지 않았다. 이러한 결과를 소아의 목구멍 검진 시 고려할 필요가 있다.