유치도뇨관 관련 요로감염 자동감시 툴 개발 및 평가

Abstract

본 연구의 목적은 전자의무기록 데이터를 활용하여 Centers for Disease Control and Prevention (CDC)의 National Health-care Safety Network (NHSN) 진단기준에 기반한 유치도뇨관 관련 요로감염(catheter-associated urinary tract infection, CAUTI) 자동감시 툴을 개발하여 평가하는 데 있다. 자동감시 툴은 시스템 생명 주기 방법론에 따라 분석, 설계, 개발, 구현 및 평가의 단계로 개발하고 평가하였다. 분석 단계에서는 NHSN CAUTI 진단규칙을 추출하고, 자동감시 툴에 필요한 데이터 분석 및 자동감시 툴의 기능을 분석하였다. 설계 단계에서는 CAUTI 진단 알고리즘, 데이터베이스 및 사용자 인터페이스를 설계하였다. 개발 단계에서는 서울 소재 연구 대상 상급종합병원의 의료정보 시스템 내에 자동감시 툴을 개발하였다. 구현 및 평가 단계에서는 난이도가 높은 10개의 사례를 수기감시로 진단하여 감시자 간 신뢰도를 검증하였고, Post-Study System Usability Questionnaire (PSSUQ) 설문지를 이용하여 자동 감시 툴의 사용성을 평가하였다. 자동감시 결과를 수기감시 결과인 참조 표준(reference standard)과 비교하여 자동감시 툴의 정확도를 평가하였고, 수기감시와 자동감시에 소요되는 시간을 비교하여 업무 효율성을 평가하였다. 연구 결과 분석 단계에서 8개의 NHSN CAUTI 진단규칙을 추출 하였고, 자동감시 툴에 필요한 23개의 데이터 항목과 5개의 주요 기능 및 상세 기능을 도출하였다. 설계 단계에서 CAUTI 알고리즘과 7개의 데이터 베이스를 설계하였고, 5개의 메인 화면과 17개의 서브 화면으로 구성된 사용자 인터페이스를 설계하였다. 개발 단계에서 연구 대상 상급종합병원의 의료정보시스템인 Asan Medical Information System (AMIS) 3.0 내에 Microsoft Visual Studio 2015 (.Net Framework 4.6)의 개발 환경에서 C#으로 CAUTI 자동감시 툴을 개발하였다. 구현 및 평가 단계에서는 감시자 간 신뢰도 검증 결과 100% 일치도를 확인하였다. 자동감시 툴의 사용성 평가 결과 모든 항목에서 평균 1.7점으로 매우 높은 성능과 만족도를 나타냈다. 자동감시 툴의 정확도 평가 결과 민감도 99.04%, 특이도 99.93%, 양성 예측도 97.17%, 음성 예측도 99.98%로 나타났다. 업무 효율성 평가 결과 수기감시는 평균 267.8초가 소요되는 반면 자동감시는 평균 28.9초가 소요되어 약 89%의 시간 단축 효과가 있었다(p<0.001). 본 연구에서 개발된 CAUTI 자동감시 툴은 높은 정확도와 시간 단축으로 CAUTI 감염감시에 활용될 수 있을 것으로 기대된다. 데이터가 구조화되어 있지 않아 이번 연구에서 포함하지 못한 주관적 요로감염 증상을 포함한 자동감시 툴 개발 연구를 제언한다.

The purpose of this study was to develop and evaluate an automated surveillance tool for catheter-associated urinary tract infection (CAUTI) based on the Centers for Disease Control and Prevention (CDC) National Healthcare Safety Network (NHSN) criteria using electronic medical records at a tertiary teaching hospital in Seoul. The automated surveillance tool was developed and evaluated following the phases of the systems life cycle methodology: analysis, design, development, implementation, and evaluation. During the analysis phase, the CAUTI identification rules, the necessary data and functionality for the automated surveillance tool were extracted. In the design phase, the CAUTI algorithm, database, and user interfaces were designed. In the development phase, the automated surveillance tool was developed within the medical information system. In the implementation and evaluation phase, ten difficult CAUTI cases were identified and used to assess the inter-rater reliability of the manual surveillance system which served as the reference standard. The usability of the automated surveillance tool was evaluated using the PSSUQ questionnaire. The accuracy of the automated surveillance tool was evaluated by comparing surveillance results with those of manual surveillance. The work efficiency was evaluated by comparing the time required for CAUTI identification between manual and automated surveillance. As results, 8 NHSN CAUTI rules were extracted, 23 data elements, and 5 main with 17 detailed functions required for the automated surveillance tool were extracted. In the design phase, we designed the flowchart of the CAUTI algorithm, the database with 7 tables, and user interfaces for 5 main and 17 sub-screens. In the development phase, the tool was developed in C# in the development environment of Microsoft Visual Studio 2015 (.Net Framework 4.6) within Asan Medical Information System (AMIS) 3.0, of the study hospital. During the implementation and evaluation phases, the inter-rater reliability was confirmed with 100% agreement. The usability evaluation of the automated surveillance tool showed very high performance and satisfaction with an average score of 1.7 for all items. The accuracy of the automated surveillance tool showed sensitivity of 99.04%, specificity of 99.93%, positive predictive value of 97.17% and negative predictive value of 99.98%. For work efficiency, automated surveillance took an average of 28.9 seconds, while manual surveillance took an average of 267.8 seconds to identify CAUTI event (p<0.001). The automated surveillance tool developed in this study can be used for CAUTI infection surveillance with high accuracy. However, in order to improve accuracy of event identification, further research is recommended to develop an automated surveillance tool with a set of subjective UTI symptoms, which were not included in the tool developed in the study because these symptoms were neither standardized nor structured.