CIPP와 Kirkpatrick 평가모형을 기반으로 한 의과대학 역량중심교육과정 평가준거 개발과 적용방안 탐색

Abstract

The present study was conducted to develop evaluation criteria that can be applied to the evaluation in competency-based curriculum by the context, input, process, and product (CIPP) evaluation model and the Kirkpatrick evaluation model to improve the quality of the evaluation in medical colleges. In addition, to increase the applicability of the developed evaluation criteria, it was analyzed by whom and at what time the individual indicators of the evaluation criteria may appropriately be used. The results of the present study were acquired by the procedures described below. First, previous studies were reviewed to prepare a draft of the evaluation criteria of the competency-based curriculum for medical colleges. The evaluation areas, evaluation items, and evaluation indicators of the evaluation criteria based on the CIPP evaluation model and the Kirkpatrick evaluation model were identified to prepare a theoretical foundation of the evaluation criteria. The five evaluation areas derived from the previous studies are context, input, process and leaning outcome and continuous quality improvement (CQI) of curriculum. A draft was prepared about the evaluation items and evaluation indicators corresponding to the sub-areas. Second, semi-structured interviews conducted with four medical education experts and 1 educational evaluation expert to develop more realistic evaluation criteria based on the theoretical foundation obtained by the literature review. A draft of the evaluation criteria, consisting of 5 evaluation areas, 19 evaluation items and 61 evaluation indicators, was derived from the literature review and the expert interviews. A draft of evaluation subjects and evaluation time points was also prepared by summarizing the literature review and interviews. A total of evaluation time points were established: the exit outcome evaluation time point, phase outcome evaluation time point, course outcome evaluation time point, and lesson outcome evaluation time point, which are according to the basic design of the competency-based curriculum, and the curriculum starting point. The evaluation subjects in the draft were the school (medical college evaluation committee), professors in charge of curriculum, and professors in charge of courses. With regard to the evaluation subjects for each evaluation time, the evaluation subject is the school (medical college evaluation committee) at the exit outcome and phase outcome evaluation time points, the professors in charge of curriculum at the course outcome evaluation time point, and the professors in charge of courses at the professors in charge of curriculum and the professors in charge of courses at the lesson outcome evaluation time point. Third, to examine whether the draft of the developed evaluation criteria is valid, the contents validity was investigated by the Delphi method with 20 experts in the fields of medical education and dent education who majored medical education, pedagogy, medicine, etc. The first and second Delphi surveys were participated by all the 20 experts at a response rate of 100%, and the third survey by 17 of the 20 experts at a response rate of 85%. The questionnaire for the Delphi surveys was developed in a 5-point Likerts scale, and the subjects of the surveys were asked to choose the degree of validity. The participating experts were requested to give comments freely about the portions of the evaluation criteria that they thought require amendments or compensation. The results of the surveys showed that most of the evaluation criteria were valid in the extensive areas of the context, input, process, leaning outcome and curriculum CQI. Specifically, 5 evaluation areas, 18 evaluation items and 52 evaluation indicators were derived from the first Delphi survey, and 5 evaluation areas, 16 evaluation items and 51 evaluation indicators were finally derived from the second Delphi survey. Fourth, the third Delphi survey was conducted to analyze the relative importance of the evaluation criteria(AHP: Analytic Hierarchy Process). The results showed that although the evaluation areas of 1. context and 2. input were highly valid as evaluation criteria, they were considered as less important. In more details, the relative importance of the evaluation areas, that is, the weight was high in the order of 4. evaluation of learners outcome, 5. curriculum quality management(CQI: continuous quality improvement), and 3. process. The composite weight of the evaluation indicators was in the order of 4.2.1. sufficient accomplishment of the learners competency in knowledge, skill and attitude, 5.1.4. feedback to curriculum evaluation results, 3.2.1. substantial implementation of evaluation plans, 5.1.2. appropriateness of curriculum evaluation method, and 5.1.1. appropriateness of evaluation monitoring system for curriculum improvement. Fifth, the school (medical college evaluation committee) was found to be a valid evaluation subject at the phase outcome evaluation time point, while none of the suggested evaluation subjects satisfied the Content Validity Ratio (CVR) criterion value at the course outcome evaluation time point. This was because of the Delphi expert opinion presented by many of the experts that the course outcome and lesson outcome may be appropriately evaluated by the medical school (medical college evaluation committee), the professors in charge of curriculum, and the professors in charge of courses together, and the opinion was reflected to the second Delphi survey. The second Delphi survey conducted with the experts showed that the valid evaluation subjects at the exit outcome evaluation time point and the phase outcome evaluation time point is the medical school (medical college evaluation committee), as pointed out by the first Delphi survey, and the valid evaluation subjects at the course outcome evaluate on time point is the professors in charge of curriculum, and the professors in charge of courses With regard to the evaluation time point, the expert panel was asked in the first Delphi survey to indicate the appropriate evaluation time points for the 58 indicators. The ratios of the selected evaluation time points for each evaluation indicator were provided to the panel in the second Delphi survey, and the same data from the second Delphi survey were provided to the panel in the third Delphi survey. The final validity of evaluation time points for each of evaluation criteria was examined in the second and third Delphi surveys, and the results showed that the largest number of evaluation indicators are valid at the curriculum start point and the smallest number of evaluation indicators are valid at the lesson outcome evaluation time point. All the evaluation indicators were found to be valid at the exit outcome evaluation time point and the phase evaluation time point. The evaluation indicators of the evaluation areas of 1. context and 5. curriculum quality management(CQI) were not included in the course outcome evaluation time point and the lesson outcome evaluation time point. The significance of the present study was that an evaluation model and evaluation criteria appropriate for the competency-based curriculum for the medical colleges in Korea were derived from the consensus of the experts. The preparation of valid evaluation criteria may open the way to improved evaluation of medical colleges and contribute to the increase of the educational quality and the continuous quality improvement of the medical education, which are the ultimate goals of the curriculum evaluation.

본 연구는 CIPP 평가모형과 Kirkpatrick 평가모형을 기반으로 하여 의과대학 평가의 질적 제고를 위해 의과대학 역량중심교육과정 평가에 활용할 수 있는 평가준거를 개발하는 것을 목적으로 하였다. 즉, 본 연구에서는 평가준거 초안을 마련하고 이에 대한 타당도를 검증하여 최종적으로 타당도가 검증된 평가준거를 개발하였다. 또한 개발된 평가준거의 현실 적용가능성을 높이기 위해 평가준거의 각 지표들이 누가 어떤 시점에 사용하는 것이 타당한지를 밝히고자 하였다. 이를 위해 다음과 같은 절차로 결과를 도출해 내었다. 첫째, 의과대학 역량중심교육과정 평가준거의 초안을 마련하기 위해 선행연구를 검토함으로써 의과대학 역량중심교육과정과 CIPP 평가모형, Kirkpatrick 평가모형의 개념과 특성에 대한 이론적 탐색을 실시하였으며, 특히 의학교육 프로그램을 다루고 있는 평가 연구 중 CIPP 평가모형, Kirkpatrick 평가모형을 바탕으로 한 평가준거의 평가영역, 평가항목, 평가지표에 대해 정리함으로써 평가준거에 대한 이론적 토대를 마련하였다. 이를 통해 평가영역은 상황(context), 투입(input), 과정(process), 학습자의 성과 평가(learning outcome), 교육과정 결과 평가(CQI: Continuous Quality Improvement)의 다섯 영역으로 하였으며 그 하위에 해당하는 평가항목, 평가지표의 초안을 얻어내었다. 둘째, 선행연구 검토를 통한 이론적 바탕을 기반으로 보다 현실성 있는 준거를 개발하기 위해 의학교육 전문가 4인과 교육평가 전문가 1인을 인터뷰 하였다. 인터뷰 방식은 문헌연구로 정리한 기본적인 의학교육 프로그램 평가준거를 제시하고 의과대학 역량중심교육과정의 도입, 운영, 평가준거에 대해 질문지를 준비하여 반구조화된 인터뷰를 진행하였다. 앞선 선행연구와 전문가 인터뷰 내용을 토대로 하여 5개의 평가영역, 19개의 평가항목, 61개의 평가지표로 구성된 초안을 도출하였다. 인터뷰를 통해 선행연구 분석에서 나타난 역량중심교육과정의 도입 배경, 특징 등이 현실에서도 동일하게 나타난다는 점을 확인하였으며 일부는 이론에서 제시된 것을 그대로 구현하기에 한계가 있다는 사실도 발견하였다. 특히 이러한 한계에 대해 전문가들은 역량 체계가 단원역량까지 제대로 설계되었는지 여부와 역량체계 하위 수준까지 모니터링하여 관리가 되는지에 대한 의구심을 드러냈다. 문헌연구와 인터뷰 결과를 종합하여 평가주체와 평가시점을 설정하였다. 평가시점은 역량중심교육과정의 기본적인 설계인 졸업역량 평가시점, 시기역량 평가시점, 과정역량 평가시점, 단원역량 평가시점으로 구분하였고 여기에 교육과정 시작 시점의 평가를 더하여 총 5가지의 평가시점으로 나누었다. 평가주체의 초안은 학교(의과대학 평가위원회), 과정 책임교수, 강의 책임교수로 도출되었다. 평가시점 별 평가주체를 살펴보면 졸업역량과 시기역량 평가시점에서는 학교(의과대학 평가위원회), 과정역량 평가시점에서는 과정 책임교수, 단원역량의 평가시점은 과정 책임교수, 강의 책임교수로 마련되었다. 셋째, 개발된 평가준거 초안이 타당한지 여부를 확인하기 위해 의학교육학, 교육학, 의학 등을 전공하고 의학교육, 치의학교육 분야에 종사하고 있는 전문가 20명을 대상으로 델파이 조사기법을 활용하여 내용타당도를 검증하였다. 1차, 2차에 걸친 델파이 조사는 20명의 델파이 패널이 모두 참여하여 100%의 응답률을 보였으며 3차에서는 20명의 델파이 패널 중 17명이 응답하여 85%의 응답률을 나타냈다. 델파이 조사는 리커트 5점 척도로 개발되었고 타당도가 어느 정도라고 판단하는지를 선택하게 하였으며, 전문가들이 평가준거에 대해 수정해야 하거나 추가가 필요한 부분에 대해서 자유롭게 기재할 수 있도록 하였다. 평가준거 초안에서 제시하였던 평가영역에 대한 델파이 패널들의 의견을 반영하여 최종적으로 상황(context), 투입(input), 과정(process), 학습자 성과(learning outcome), 교육과정 질 관리(CQI; Continuous Quality Improvement)라는 광범위한 영역의 평가준거가 대부분 타당하다는 결과가 도출되었다. 구체적으로 살펴보면 1차 델파이 결과 5개의 평가영역, 18개의 평가항목, 52개의 평가지표가 도출되었고 2차 델파이 조사에서는 최종적으로 5개의 평가영역, 16개 평가항목, 51개의 평가지표가 도출되었다. 평가지표의 CVR(Content Validity Ratio)은 모든 지표에서 타당도가 확보된 수치를 보였으며 그 중 항목의 삭제 등으로 인한 지표의 이동과 용어, 평가내용 변경 등의 전문가 의견이 반영되었다. 델파이 조사의 안정성을 나타내는 CV(Coeficient of Variation) 값은 모두 0.5 미만으로 나타났다. 이는 다음 라운드의 델파이 조사를 시행하지 않고도 충분히 받아들여질 수 있는 평가지표라는 것이 검증되었다는 의미이다. 넷째, 3차 델파이에서는 평가준거에 대한 상대적 중요도 분석을 실시하였다. 그 결과 1. 상황과 2. 투입 평가영역은 평가준거로 매우 타당하나 중요도 차원에서는 상대적으로 중요성이 낮은 것으로 인식되었다. 세부적으로 평가영역의 상대적 중요도 즉, 가중치를 살펴보았을 때 4. 학습자의 성과 평가, 5. 교육과정 질 관리, 영역과, 3. 과정 순으로 가중치가 높았다. 평가지표에서는 4.2.1. 학습자 지식, 술기, 태도의 역량 달성의 충분성, 5.1.4. 교육과정 평가 결과의 피드백, 3.2.1. 평가 계획 이행의 충실성, 5.1.2. 교육과정에 대한 평가방법의 적절성, 5.1.1. 교육과정 개선을 위한 평가 모니터링 체제의 적절성 순으로 복합적 가중치가 높았다. 다섯째, 평가주체와 평가시점의 타당화는 다음과 같다. 1차 델파이에서 졸업역량과 시기역량 시점에서의 평가주체로 학교(의과대학 평가위원회)가 타당성을 입증 받았는데 반해 과정역량 시점에서는 제시한 평가주체 중에서 CVR 기준 값을 충족하는 평가주체가 없었다. 이러한 결과가 도출된 원인으로 델파이 전문가 의견에서 과정역량과 단원역량은 학교(의과대학 평가위원회), 과정 책임교수, 강의 책임교수가 함께 책임지는 것이 바람직하다는 의견이 다수 있어 2차 델파이에 반영하였다. 2차 델파이에서의 평가주체는 졸업역량 평가시점과 시기역량 평가시점은 1차 델파이와 동일한 결과인 학교(의과대학 평가위원회)에서 하는 것이 타당하다는 결과가 도출되었고 과정역량 평가시점은 학교(의과대학 평가위원회), 과정 책임교수가 타당하다는 결과가 도출되었다. 마지막으로 단원역량 시점은 과정 책임교수, 강의 책임교수가 평가하는 것이 타당하다고 전문가들은 응답하였다. 평가시점은 1차 델파이에서 58개의 지표들에 대해 전문가 패널로 하여금 적합한 평가시점에 표시하도록 하였는데 각 평가지표 별 평가시점 선택 비율을 2차 델파이 조사 시 패널들에게 제시하였으며 2차 델파이 결과 역시 3차 델파이 조사에 제시하였다. 2차, 3차 델파이를 통한 평가준거 별 평가시점의 최종 타당도 도출에서는 교육과정 시작 시점에서 가장 많은 평가지표가 타당하였으며 단원역량 평가시점에서 가장 적은 평가지표가 타당하다는 결과가 도출되었다. 또한 졸업역량 평가시점, 시기역량 평가시점은 모든 영역의 평가지표가 타당하였다. 과정역량 평가시점, 단원역량 평가시점에서는 1. 상황과 5. 교육과정 질 관리 평가영역의 평가지표는 포함되지 않았다. 본 연구는 국내 의과대학의 대부분이 채택하고 있는 역량중심교육과정의 질적 제고를 위한 교육과정평가의 첫 걸음이라 할 수 있는 타당성 있는 평가준거를 개발하고 평가준거에 대한 상대적 중요도와 평가준거의 타당한 주체, 평가준거 별 타당한 평가시점을 분석하였다. 이를 통해 전문가들이 합의한 국내 의과대학 교육과정에 적합한 평가모형과 평가준거를 도출해 내었다는 데 의의가 있다. 타당성 있는 평가준거의 마련은 의과대학의 평가를 개선할 수 있다는 가능성을 열어주면서 교육과정 평가의 궁극적인 목적인 교육의 질적 향상과 의학교육의 지속적인 질 관리에 기여할 수 있을 것으로 기대한다.