학습곤란 학생을 위한 데이터기반교수(DBI)의 효과크기 분석

Abstract

In general school classrooms, there are students who have severe difficulties in acquiring and using basic learning skills for various reasons. These students include those with learning disabilities, dyslexia, emotional and behavioral problems, below-average or borderline intelligence, multicultural backgrounds, environmental deficits, and insufficient educational opportunities. Learning difficulties is an umbrella term for heterogeneous learners who require additional support due to the significant underachievement and difficulties in the basic academic areas (i.e., reading, writing, and mathematics). It is quite difficult to clearly distinguish these subgroups in the educational field. Among students with learning difficulties, some are identified as having special educational needs and can receive support. However, others, which is a large number, are just left in the classroom without being provided with adequate support to resolve their difficulties. There has been increasing concern that difficulties of these students should be recognized as 'special educational needs' as well and appropriate interventions should be provided prior to diagnosis, identification, and classification. In Korea, as social interest in diverse students with learning difficulties has gradually increased, some legal-institutional foundations and support systems has been established and improved. Nevertheless, the number of students with learning difficulties in general classrooms is increasing and many of them are reported to be left in blind spots of education. Data-based instruction (DBI) is an educational approach that is suggested as effective to enhance achievements of struggling learners, particularly for those who did not respond to intensive intervention in usual ways. DBI is defined as a series of successive and systematic procedures in which students data are used to determine instructional changes. In DBI, teachers monitor and measure the progress of each student frequently while providing research-based interventions. Whether instructional changes are required, when and how it should be done are determined based on the collected data. For progress monitoring, curriculum-based measurement (CBM) is used. DBI can be applied in a multi-tiered systems of support for academic and behavioral intervention. If a specific intervention or instructional strategy is to be actively implemented in educational practices, it must be proved that it is an evidence-based practice. To determine whether the specific intervention can be considered as an evidence-based practice, both the quality of individual studies in terms of research design and method and the overall effectiveness of the intervention from different study results should be examined. In Korea, although research on DBI has been steadily conducted especially since the development of the Basic Academic Skills Assessment (BASA), there is a lack of study that tries to identify the level of evidence-based practice of DBI research. Therefore, this study aims to synthesize the DBI research so far in Korea by analyzing the effectiveness of DBI for school-aged students with learning difficulties via meta-analysis and evaluating the quality of the research. In this study, a total of 32 single-subject design studies were used. Group experimental or quasi-group design studies, which were only six were briefly reviewed. The single-subject design studies were analyzed based on two specific methods. First, a qualitative analysis was conducted using the quality indicators suggested by Horner et al. (2005). Second, meta-analysis was conducted to quantitatively synthesize the effects of DBI on school-aged students with learning difficulties. Data standardization and effect size calculation were based on the method suggested by Van den Noortgate & Onghena (2003a; 2003b; 2007). Then, a two-level multilevel meta-analysis was implemented using the HLM program. In this way, the mean effect size was calculated at the level of study participants. Then, the heterogeneity between the effect sizes and some predictor variables affecting the heterogeneity were examined. The main results of this study are as follows. First, it was identified that research on DBI for students with learning difficulties have been conducted constantly in Korea since 2000s. However, a significant number of studies did not report information sufficiently regarding the specific standards and procedures used for instructional change and data-based decision making. Second, the results of the qualitative analysis showed that the overall quality of DBI research was sufficient. Nevertheless, it was found that some aspects such as description of interventionist, comparability of interventionists across conditions, fidelity of intervention, manipulation of independent variable, and reliability of data collection were not reported explicitly, which can lower the reliability of the study results. Third, as the result of multi-level meta-analysis, the mean effect size of DBI was 1.34 and statistically significant. Fourth, there was significant variance across participants in effect sizes. The results from the conditional model showed that exceptionality type, the number of sessions, and the length of each session were significantly accountable for the variability of effect sizes. Fifth, while the provision of support for teachers has been constantly reported to increase the effect of DBI, there were only few studies that included teacher support in Korea. Based on these findings, implications and study limitations were discussed.

일반학교 교실에는 여러 가지 이유로 기초학습기능 습득 및 활용에 심한 어려움을 보이는 학생들이 있다. 여기에는 학습장애를 비롯하여 난독증, 정서 및 행동적 문제, 평균 이하 또는 경계선 수준의 지능, 다문화적 배경, 환경적 결손, 불충분한 교육 기회 등 다양한 요인의 영향이 존재한다. 학습곤란(learning difficulties)이라 함은 읽기, 쓰기, 수학의 기초학습영역에서 현저히 낮은 성취와 어려움을 보여 추가적 지원이 요구되는 이질적인 학습자들을 가리키는 포괄적 용어이다. 교육현장에서 이들 내 하위집단을 명확히 구분하는 것은 상당히 어려운 일이며, 이 중에는 특수교육대상자로 진단되어 지원을 받는 학생들도 있지만 그렇지 못해 적절한 개입을 놓치는 경우도 많다. 이에 다양한 학습곤란 학생들의 어려움을 특수한 교육적 요구(special educational needs)로 인식하고, 진단 및 분류에 앞서 적절한 중재를 제공할 필요성이 제기되었다. 국내에서도 다양한 학습곤란을 지닌 학생들에 대한 관심이 점차 증대됨에 따라 각종 법적, 제도적 기반 마련 및 사업 수행 등 지원이 이루어져왔다. 그럼에도 불구하고 여전히 일반학급 내 학습곤란 학생의 수는 증가하고 있고 많은 수가 적절한 지원을 받지 못한 채 사각지대에 놓여있는 것으로 보고되므로, 이들에게 효과적인 중재를 제공하여 실질적인 학습권을 보장하려는 노력이 적극적으로 이루어질 필요가 있다. 데이터기반교수(data-based instruction, DBI)는 학습곤란을 지니며 특히 일반적인 방식의 중재 강화에도 반응하지 않는 학생들에게 효과적이라고 보고되는 교수적 접근 방식이다. 이는 학생에게 연구에 기초한 중재를 제공하면서 진전도를 주기적으로 측정하고, 수집된 객관적인 데이터를 바탕으로 교수적 수정의 필요성과 그 시기, 방법 등을 결정하는 일련의 반복적인 과정을 일컫는다. 진전도 모니터링을 위하여 교육과정중심측정(curriculum-based measurement, CBM)에 기초한 측정도구가 사용되고, 데이터기반교수는 일반학교 전체학급에서 시작하여 소집단, 개별중재로 나아가는 다층 체제에서 적용될 수 있다. 한편 특정한 중재 및 교수전략이 학생들에게 활발하게 적용되기 위해서는 그것이 과학적으로 입증되어 증거가 확보된 증거기반실제(evidence-based practice)임을 밝혀야 한다. 이를 위해서는 첫째, 관련 연구들이 체계적인 연구 설계 및 방법으로 수행되었는지에 대한 질적 분석, 둘째, 연구결과에서 밝히는 효과의 크기가 일정 수준 이상인지에 대한 확인이 요구된다. 국내에서는 교육과정중심측정 원리에 따른 기초학습능력 수행평가체제(Basic Academic Skills Assessment, BASA)가 개발된 이후 데이터기반교수 연구가 꾸준히 진행되어 왔음에도 불구하고, 그것이 증거기반실제로서 갖춘 수준은 어떠한지 확인한 연구는 부족한 실정이다. 따라서 본 연구에서는 국내에서 학령기 학습곤란 학생을 대상으로 데이터기반교수를 적용한 연구들을 종합하여 질적 분석과 메타분석을 통한 효과크기 분석을 실시하고, 이를 통해 증거기반실제를 위한 자료를 제공하고자 진행되었다. 본 연구에서 활용된 분석대상논문은 단일대상설계 연구 32편이고, 크게 두 가지 연구방법을 활용하여 분석하였다. 첫째, 데이터기반교수 연구의 연구설계 및 방법 측면의 질을 확인하기 위하여 Horner 외(2005)의 질적 지표에 기초하여 질적 분석을 실시하였다. 둘째, 학령기 학습곤란 학생에게 데이터기반교수가 미치는 효과를 양적으로 종합하기 위하여 메타분석을 실시하였다. Van den Noortgate & Onghena (2003a; 2003b; 2007)에서 제시한 방법을 활용하여 데이터 표준화 및 효과크기 계산을 한 후 HLM 프로그램을 활용하여 2수준 다층메타분석을 실시하였다. 이를 통해 연구참여자 수준의 전체 효과크기를 산출하고, 효과크기의 이질성을 검증하였으며, 효과크기의 이질성에 영향을 주는 예측변인을 탐색하였다. 본 연구의 주요 결과는 다음과 같다. 첫째, 국내 학령기 학습곤란 학생 대상으로 데이터기반교수 연구는 2000년 이후 지속적으로 이루어져온 것으로 확인되었다. 그러나 상당수의 연구에서 어떠한 기준 및 절차에 따라 교수적 수정, 데이터기반 의사결정을 하였는지를 구체적으로 제시하지 않고 있었다. 둘째, 질적 지표를 활용한 분석 결과, 데이터기반교수 연구는 전반적으로 충분한 질적 수준을 갖춘 것으로 분석되었다. 다만 중재제공자, 중재충실도, 측정신뢰도, 실험통제 등 연구결과의 신뢰도를 높이기 위하여 더 나은 질적 수준 확보가 필요한 측면도 있는 것으로 나타났다. 셋째, 다층메타분석 결과 연구참여자 수준에서 데이터기반교수의 표준화된 전체 효과크기는 1.34로 상당히 높은 수준으로 나타났고, 통계적으로 유의했다. 넷째, 데이터기반교수의 효과는 연구참여자에 따라 이질적인 것으로 나타났다. 예측변인이 효과에 미치는 영향을 확인한 결과, 학생유형 중 지적장애의 유무, 전체 회기 수, 1회기 당 중재 시간이 효과크기의 이질성을 유의하게 설명하는 것으로 나타났다. 다섯째, 교사에 대한 지원은 데이터기반교수의 효과를 유의하게 높이는 변인으로 보고되는 반면, 국내에서 실시된 데이터기반교수에 있어 교사 지원이 이루어진 경우는 거의 없는 것으로 나타났다. 본 연구에서는 이러한 분석 결과에 따라 논의, 제한점 및 후속 연구에 대한 제언을 제시하였다.