웹기반 수행형 ICT 리터러시 검사도구 개발 연구

Abstract

이 연구의 목적은 학생들의 고차원적 사고능력을 직접적으로 측정하기 위한 웹기반 수행형(遂行形) ICT 리터러시 검사도구를 개발하는 것이다. 이를 위해 선행연구와 교육과정 분석을 통해 상황(context)×과제(task)×기능(functionality)의 3개 차원으로 구성된 수행형 검사도구 개발 프레임을 개발하고, 이를 바탕으로 각 학교급별로 2～3개의 소과제 및 대과제로 구성된 수행형 검사문항과 그에 따른 루브릭을 제작하였다. 그리고 실제 학생의 수행 결과를 분석하여 검사도구를 수정·보완한 후, 총 20명의 전문가 평정을 통해 검사도구의 내용타당도를 검증하였다. 그리고 수행형 검사를 효율적으로 시행하기 위하여 ① 등록 및 로그인, ② 선다형 검사 수행, ③배경변인 설문 응답, ④ 수행형 검사 수행, ⑤ 수행형 검사 채점, ⑥ 평가결과 조회의 순으로 구성된 웹기반 검사 시스템을 개발하였다. 예비검사는 전국 소재의 초․중․고등학교에서 총 14개 학급을 대상으로 실시하였으며, 최종 분석은 초등학교 6학년 66명(3개교), 중학교 3학년 49명(2개교), 인문계고 2학년 66명(2개교), 전문계고 2학년 77명(3개교)으로 총 258명을 대상으로 하였다. 분석 결과, 개발된 수행형 ICT 리터러시 검사도구의 문항 난이도와 변별도는 대체로 양호하였으며, 상관분석을 이용한 구인타당도와 변별타당도, 채점자 간 일치도 역시 양호한 것으로 나타났다.

The purpose of this study is to develop the web-based performance assessment tool of ICT literacy for elementary and secondary school students to evaluate their high-level thinking abilities directly. To do this, three-dimensional framework ('context×task×functionality') was developed on the basis of literature reviews and analysis of Korean curriculum materials and textbooks. Test items and their rubrics with 2-3 large and short tasks were developed under this framework. The content validity of the test was verified by 20 experts. Pilot test was performed in the following stages by the web-based test system: ① registration and log-in, ② administration of multiple-choice test, ③ response to the background questionnaire, ④ administration of performance-based test, ⑤ scoring for performance-based test, and ⑥ check evaluation results. The pilot test was analyzed targeting 66 sixth grade elementary school students (3 schools), 49 third grade junior high school students (2 schools), 66 second grade senior humanities high school students (2 schools), and 77 vocational high school students (3 schools). The results of pilot test showed that the item difficulty and discrimination were reasonable. Also, the construct validity, discriminant validity, and inter-rater reliabilities of the developed test were moderate.