국제보건 평생의학교육 프로그램에서 기획, 형성, 총괄평가를 통합한 평가모형 개발과 적용

Abstract

전세계적으로 의료인력 역량강화를 위한 평생의학교육의 중요성이 강조됨에 따라 다양한 평생의학교육 프로그램이 개발되어 운영되고 있다. 이에 반하여 평생의학교육 프로그램에 대한 평가는 제대로 이루어지지 않고 있는 실정이다. 프로그램 평가는 그 목적과 역할에 따라 크게 기획평가, 형성평가, 총괄평가로 분류할 수 있다. 기획평가는 프로그램이 시작되기 전에 개발에 참여하고 있는 주체들이 프로그램에 대하여 세밀하게 이해하고 계획을 수립할 수 있도록 하기 위함이며, 형성평가는 프로그램이 진행되는 중에 프로그램이 제대로 진행되고 있는지에 관한 정보를 제공하고 필요한 경우에 적절하게 프로그램을 향상시킬 수 있도록 하기 위한 목적이 있다. 총괄평가는 가장 흔하고 전형적인 형태의 평가로서 의사 결정권자들이 프로그램의 성과와 가치에 대한 판단을 내릴 수 있도록 정보를 제공하기 위하여 시행된다. 최근 국제원조개발 사업 성과에 대한 평가가 강조되면서 프로그램 평가가 대부분 성과를 증명하기 위한 총괄평가에 치우쳐 있으나, 프로그램 평가가 총체적이고 효과적으로 이루어지기 위해서는 기획평가, 형성평가, 총괄평가가 통합적으로 수행될 필요가 있다. 본 연구는 국제보건 평생의학교육 프로그램에서 기획, 형성, 총괄평가를 통합한 평가모형을 개발하고 Kirkpatrick 모델을 활용하여 이를 실제로 적용함으로써, 국제보건 평생의학교육 프로그램의 통합적 평가에 대한 가능성과 의미를 규명하고자 하였다. 본 연구는 라오스 루앙프라방 지역의 군립병원 의료인력 평생의학교육 프로그램을 대상으로 하였으며 참가자는 총 53명이었다. 루앙프라방 주립병원에서 시행된 평생의학교육 프로그램은 10주 동안 4회에 걸쳐 시행하였으며, 프로그램 참가자는 매회 12명씩이었다. 이와는 별도로 남박 군립병원 수술팀 평생의학교육 프로그램은 중앙병원에서 10주 동안 2회에 걸쳐 시행하였으며, 참가자는 5명이었다. 프로그램 평가는 프로젝트가 시작될 때부터 함께 계획하고 시행하였으며, Kirkpatrick 모델을 활용하여 기획평가, 형성평가, 총괄평가를 통합적으로 수행하였다. 기획평가는 평생의학교육 프로그램 기획과 개발 과정에서 중요한 기준을 제공하는 역할을 하였으며, 형성평가는 프로그램을 진행하면서 지속적으로 시행하여 프로그램을 개선하는 데에 활용하였다. 총괄평가는 매회 프로그램이 끝난 직후부터 3개월 이상 지난 후까지 충분한 기간에 걸쳐서 진행하였다. 프로그램에 대한 참가자들의 종합적인 만족도는 5점 만점에 평균 4.48점으로 대체로 양호한 것으로 나타났다. 이처럼 참가자들의 반응이 종합적으로 양호할 수 있었던 것은 것은 기획평가 단계에서부터 참가자들의 만족도와 프로그램의 효과를 충분히 고려하고 계획하여 프로그램을 준비했기 때문이며, 형성평가 단계에서 초기에 부족한 점을 진단하고 지속적으로 보완하였기 때문이다. 각 임상과별 프로그램이 시작될 때 참가자들의 평정척도 평균점수는 5점 만점에 2.32점이었으나, 프로그램이 끝날 때 3.77점으로 평균 1.45점이 증가하였으며, 이러한 차이는 통계적으로도 유의하였다. 참가자들이 효과적인 학습을 할 수 있었던 것은, 기획평가에서부터 학습의 효과를 높이기 위한 다양한 방안들을 계획하여 실행하였고 형성평가를 통하여 강의보다는 실습을 지속적으로 늘렸기 때문이다. 프로그램에 참여하기 전에 참가자들이 작성한 의무기록 전체 평균점수는 5점 만점에 2.92점이었고, 프로그램이 종료되고 나서 3개월 이상 지난 후에 참가자들이 작성한 의무기록 전체 평균점수는 3.34점으로 0.42점이 더 높은 것으로 나타났으며, 이러한 차이는 통계적으로도 유의하였다. 기획평가 단계에서 임상수행능력을 향상시킬 수 있는 프로그램 모듈과 교재를 개발하고, 형성평가를 통하여 실습 비중을 늘리고 군립병원의 현실을 더 반영하였으며 우호적인 리더십과 조직문화를 이끌어내기 위한 노력을 기울였기 때문에, 프로그램을 마친 참가자들이 각자의 군립병원으로 돌아가서 유의미한 활동을 실제로 수행할 수 있었던 것으로 보인다. 현지조사 및 인터뷰 결과, 프로그램이 종료된 후 군립병원 진료가 여러 면에서 향상되고 연간 외래 및 입원 환자 수가 급격히 증가한 것으로 나타났는데, 이러한 변화는 군립병원에 대한 지역주민들의 만족도와 신뢰가 높아졌기 때문이라고 판단된다. 본 연구는 기획, 형성, 총괄평가를 통합한 평가모형을 개발하고, Kirkpatrick 모델을 활용하여 이를 실제로 적용함으로써, 단일 평가모형으로도 이러한 통합적 평가가 가능함을 보여주었다. 본 연구를 통하여 기존의 구분적인 개념을 넘어서는 프로그램 평가의 통합적인 역할에 대한 이론적 개념의 확장이 가능할 것이다. 또한 향후 평생의학교육 프로그램의 통합적인 평가가 확대되어, 궁극적으로 국제보건 평생의학교육 프로그램의 질적 향상에 기여할 것으로 기대한다.