혼합효과 랜덤 포레스트 기법을 활용한 중학생의 학업성취도 예측 요인 분석

Abstract

중학생은 초등학생과 다른 발달 심리적 특성을 가지며, 학업성취의 중요성이 본격적으로 부각되는 시기이다. 그러므로 중학생의 학업성취도를 면밀히 분석하고 이해하는 것은 향후 개인의 진로 및 학교 수준의 효과적인 교육활동을 위해 매우 중요하다. 그동안 중학생의 학업성취도를 분석한 다수의 선행 연구에서는 일부 교과를 대상으로 하거나 여러 교과들의 평균값을 활용하고 있어서 국어, 영어, 수학 교과간의 중요 예측 요인들을 체계적으로 비교‧분석하는 데 미흡하였다. 아울러, 기존 분석 방법들에서 투입할 수 있는 독립변인의 개수 제한 등으로 새로운 예측 요인들을 탐색하는 데에는 많은 어려움이 있었다. 이에 다수의 예측 요인들을 투입할 수 있는 머신러닝 알고리즘 중 하나인 표준 랜덤 포레스트 기법이 활용되기 시작하였으나, 이 또한 학업성취도 관련 데이터에 내재된 다층 구조의 특성을 제대로 반영하지 못하는 한계가 있었다. 이 연구는 학업성취도 관련 데이터에 내재된 다층 구조를 반영할 수 있는 혼합효과 랜덤 포레스트 기법을 활용하여, 중학생의 국어, 영어, 수학 학업성취도를 보다 정확히 예측하고, 각 교과별 중요 예측 요인들을 종합적으로 비교·분석하고자 하였다. 주요 연구문제는 다음과 같다.

첫째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 표준 랜덤 포레스트 기법에 비해 중학생의 국어, 영어, 수학 학업성취도 예측의 정확성을 더 높이는가? 둘째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 중학생의 국어, 영어, 수학 학업성취도를 예측하는 교과별 중요 요인들은 무엇인가? 셋째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 중학생의 국어, 영어, 수학 학업성취도를 예측하는 교과간 공통 요인들은 무엇인가? 넷째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 중학생의 국어, 영어, 수학 학업성취도를 예측하는 교과별 차별 요인들은 무엇인가?

이 연구에서는 한국교육개발원에서 수집·관리하고 있는 한국교육종단연구2013 5차 연도 데이터(중학교 3학년 대상)를 활용하여, 중학생의 학업성취도(국어: 6,246명, 영어: 6,236명, 수학, 6,246명)를 학생 수준 예측 요인 457개와 학교 수준 예측 요인 138개, 총 595개의 예측 요인들을 투입하여 비교‧분석하였다. 주요 연구 결과는 다음과 같다. 첫째, 혼합효과 랜덤 포레스트 기법과 표준 랜덤 포레스트 기법으로 중학생의 국어, 영어, 수학 학업성취도를 분석한 결과, 혼합효과 랜덤 포레스트 기법을 활용하였을 때 학업성취도 예측의 정확성이 더 높았다. 구체적으로 살펴보면, 세 교과의 훈련 데이터에서 두 기법간 모형 평가 지수의 차이는 혼합효과 랜덤 포레스트 기법이 표준 랜덤 포레스트 기법보다 RMSE는 12.14∼16.09%, MAE는 13.03∼17.18%, MAPE는 13.08∼17.66% 낮았고, 는 4.19∼6.71% 높았으며, 시험 데이터에서도 RMSE는 2.92∼3.94%, MAE는 3.77∼4.71%, MAPE는 3.75∼5.30% 낮았고 는 5.82∼11.51% 높아 중학생의 학업성취도를 더 정확하게 예측하였다. 둘째, 혼합효과 랜덤 포레스트 기법을 활용하여 교과별 학업성취도 중요 예측 요인들을 탐색한 결과는 다음과 같다. 먼저 국어 교과의 경우 상위 30개 중요 예측 요인들로는 시간 활용 관련 8개, 수업참여 관련 7개, 고교진학계획 관련 5개, 비인지적 성취 관련 4개, 진로 및 직업 관련 프로그램 관련 2개, 그리고 그 외 4개(초6 국어 학업성취도, 성별, 키, 부모가 기대하는 자녀 학력 수준) 요인들이 나타났다. 영어 교과의 경우 수업참여 관련 7개, 시간 활용 관련 6개, 고교진학계획 관련 4개, 진로 및 직업 관련 프로그램 관련 3개, 비인지적 성취 관련 3개, 자기효능감 관련 2개, 그 외 5개(동기 관련 1개, 수업 분위기 관련 1개, 학교 폭력 관련 1개, 초6 영어 학업성취도, 월평균 교육비) 요인들이 포함되었다. 수학 교과의 경우 수업참여 관련 6개, 고교진학계획 관련 5개, 자기효능감 관련 4개, 시간 활용 관련 4개, 동기 관련 3개, 진로 및 직업 관련 프로그램 관련 3개, 비인지적 성취 관련 2개, 그 외 3개(초6 수학 학업성취도, 월평균 교육비, 월평균 가구소득) 요인들이 포함되었다. 셋째, 혼합효과 랜덤 포레스트 기법을 활용하여 교과간 학업성취도 공통 예측 요인들을 분석한 결과는 다음과 같다. 먼저 세 교과간 공통 예측 요인들은 총 12개(상위 30개 요인 중 40%)로, 수업참여 관련 5개, 고교진학계획 관련 4개, 진로 및 직업 관련 프로그램 관련 2개, 비인지적 성취 관련 1개 요인으로 나타났다. 이를 제외한 국어와 영어 교과간 공통 예측 요인들은 총 7개(상위 30개 요인 중 23%)로, 시간 활용 관련 4개, 비인지적 성취 관련 2개, 수업참여 관련 1개로 나타났다. 국어와 수학 교과간 공통 예측 요인들은 총 2개(상위 30개 요인 중 7%)로, 수업참여 관련 1개와 시간 활용 관련 1개 요인으로 나타났으며, 영어와 수학 교과간 공통 예측 요인들은 총 4개(상위 30개 요인 중 13%)로, 시간 활용 관련 2개, 진로 및 직업 관련 프로그램 관련 1개, 월평균 교육비로 나타났다. 넷째, 혼합효과 랜덤 포레스트 기법을 활용하여 교과별 학업성취도 차별 예측 요인들을 분석한 결과는 다음과 같다. 먼저 국어 교과의 경우 총 9개(상위 30개 중 30%)로, 시간 활용 관련 3개와 비인지적 성취 관련 1개, 고교진학계획 관련 1개, 초6 국어 학업성취도, 성별, 키, 그리고 부모가 기대하는 자녀 학력 수준으로 나타났다. 영어 교과의 경우 총 7개(상위 30개 중 23%)로, 영어 교과와 관련된 자기효능감과 동기 관련 3개와 수업참여 관련 1개, 수업 분위기 관련 1개, 학교 폭력 관련 1개, 초6 영어 학업성취도로 나타났다. 수학 교과의 경우 총 12개(상위 30개 중 40%)로, 수학 교과와 관련된 자기효능감과 동기 관련 7개, 시간 활용 관련 1개, 비인지적 성취 관련 1개, 고교진학계획 관련 1개, 초6 수학 학업성취도, 월평균 가구소득으로 나타났다. 이 연구는 학업성취도 관련 데이터의 다층 구조를 반영할 수 있는 머신러닝 기법인 혼합효과 랜덤 포레스트 기법을 활용하여 중학생의 학업성취도를 보다 정확히 예측하고, 선행연구에서 밝혀진 요인 외에 기존에 부각되지 않았던 비인지적 성취나 진로 및 직업 관련 프로그램 등을 중요 예측 요인으로 밝혔다. 또한, 교과별 학업성취도의 중요 예측 요인들을 밝히고, 교과간 공통 및 차별 요인들을 비교‧분석하여 학교 교육 개선을 위한 정책 수립에 시사점을 제공하였다는 데 의의가 있다. 아울러, 이 연구에서 활용한 혼합효과 랜덤 포레스트 기법을 후속 연구를 통해 보다 정교히 발전시키고, 이 연구에서 부각된 학업성취도의 새로운 예측 요인을 보다 심층적으로 이해할 수 있도록 후속 연구가 수행될 필요가 있다.

Middle school students have different developmental and psychological characteristics from elementary school students, and this is the age when the importance of academic achievement is getting highlighted. Therefore, it is very important to analyze and understand the academic achievement of middle school students for individuals future career and effective educational activities at school level. In the past, previous studies that analyzed the academic achievement of middle school students were insufficient to systematically compare and analyze important predictive factors among Korean, English, and Mathematics subjects because those studies only targeted specific subjects or used the average values ​​of several subjects. In addition, analysis methods of previous studies have limitations in the number of input variables, so it has been difficult to search for new significant predictors of academic achievement. Thus, machine learning algorithms, such as standard random forests, which allows to input limitless predictors, has been introduced and utilized; however, standard random forests cannot properly reflect the multi-level structure in the academic achievement-related data. This study uses mixed-effects random forest that can reflect the multi-level structure in academic achievement-related data, to predict academic achievement of middle school students more accurately. In addition, this study also aims to compare and analyze significant predictors for each subject(Korean, English, mathematics). The main research questions are as follows.

First, when mixed-effects random forest is used, does it increase the accuracy of predicting Korean, English, and Mathematical academic achievement of middle school students compared to standard random forests? Second, when mixed-effects random forest is used, what are the important factors for each subject that predict the academic achievement of middle school students in Korean, English, and Mathematics? Third, when mixed-effects random forest is used, what are the common predictors between subjects that predict the academic achievement of middle school students in Korean, English, and Mathematics? Fourth, when mixed-effects random forest is used, what are the differentiating predictors for each subject that predict the academic achievement of middle school students in Korean, English, and Mathematics? In this study, academic achievements of middle school students were analyzed with 595 predictors(student level: 457 predictors, school level: 138 predictors), using the 5th year of the Korean Educational Longitudinal Study 2013(third year of middle school) which was collected and managed by the Korean Educational Development Institute(Korean: 6,246 students, English: 6,236 students, Mathematics: 6,246 students). The main research results are as follows.

First, when mixed-effects random forest was used, the accuracies of predicting academic achievement(Korean, English, and mathematics) were higher than when the standard random forests was used. More specifically, the accuracy indices of mixed-effects random forest were more accurate than those of the standard random forests in both training and test data, for all three subjects. In the training data, RMSEs were 12.14∼16.09% lower, MAEs were 13.03∼17.18% lower, and MAPEs were 13.08∼17.66% lower, and s were 4.19∼6.71% higher for the mixed-effects random forest, comparing to the standard random forests. In the test data, RMSEs were 2.92∼3.94% lower, MAEs were 3.77∼4.71% lower, and MAPEs were 3.75∼5.30% lower, and s were 5.82∼11.51% higher in mixed-effects random forest comparing to the standard random forests. Second, the results of using mixed-effects random forest for exploring important predictors of academic achievement by subject are as follows. In the case of Korean, the top 30 important predictors included 8 predictors of use of time, 7 predictors of class participation, 5 predictors of high school plan, 4 predictors of non-cognitive achievement, 2 predictors of career and job-related programs and 4 other predictors(6th grade academic achievement of Korean, gender, height, parents' expectations of each student's educational level). In the case of English, the top 30 important predictors included 7 predictors of class participation, 6 predictors of use of time, 4 predictors of high school plan, 3 predictors of career and job-related programs, 3 predictors of non-cognitive achievement, and 2 predictors of self efficacy and 5 other predictors(6th grade academic achievement of English, 1 predictor of motivation, 1 predictor of class climate, 1 predictor of school violence, average monthly educational expenses). In the case of Mathematics, the top 30 important predictors included 6 predictors of class participation, 5 predictors of high school plan, 4 predictors of self efficacy, 4 predictors of use of time, 3 predictors of motivation, 3 predictors of career and job-related programs, 2 predictors of non-cognitive achievement, and 3 other predictors(6th grade academic achievement of Mathematics, average monthly educational expenses, average monthly household income). Third, the results of using mixed-effects random forest for exploring the common predictors among subjects are as follows. First, there were a total of 12 common predictors of three subjects (40% of the top 30 predictors), consisting of 5 predictors of class participation, 4 predictors of high school plan, 2 predictors of career and job-related programs, 1 predictor of non-cognitive achievement. Excluding these, there were 7 common predictors between Korean and English(23% of the top 30 predictors), which included 4 predictors of use of time, 2 predictors of non-cognitive achievement, and 1 predictor of class participation. There were 2 common predictors between Korean and mathematics(7% of the top 30 predictors), which included 1 predictor of class participation and 1 predictor of use of time. There were 4 common predictors between English and Mathematics(13% of the top 30 predictors) included 2 predictors of use of time, 1 predictor of career and job-related programs, and the average monthly educational expenses. Fourth, when using mixed-effects random forest, there were differentiating predictors for each subject. For Korean, there were 9 unique predictors(30% of the top 30 predictors), which included 3 predictors of use of time, 1 predictor of non-cognitive achievement, 1 predictor of high school plan, 6th grade academic achievement of Korean, gender, height, and parents' expectations of each student's educational level. In English, there were 7 unique predictors(23% of the top 30 predictors), which included 3 predictors of 'self-efficacy' and 'motivation', 1 predictor of class participation, 1 predictor of 'class climate', 1 predictor of school violence', and 6th grade academic achievement of English. In Mathematics, there were 12 unique predictors(40% of the top 30 predictors), which included 4 predictors of 'self-efficacy' and 3 predictors of 'motivation', 1 predictor of 'use of time', 1 predictor of non-cognitive achievement, 1 predictor of high school plan, 6th grade academic achievement of mathmatics, and monthly average household income. This study not only used mixed-effects random forest which can reflect the multi-level structure of academic achievement-related data, to predict the academic achievement of middle school students with greater accuracy, but also newly discovered important predictors that had rarely been mentioned in prior researches; non-cognitive achievement and career and job-related programs. This study is meaningful in that it provided implications for policy establishment by revealing important predictors by subject and comparing and analyzing common and discriminatory predictors between subjects. It is necessary to develop mixed-effects random forest more precisely through follow-up studies. Moreover, follow-up studies regarding new predictors of academic achievement highlighted in this study are neede to be conducted.