English Language Use and the Validity of English Test Score Interpretation in Two Korean Corporations

Abstract

영어는 모국어를 달리하는 사람들이 상호 의사소통을 위하여 글로벌 기업에서 주로 사용하는 국제공용어(lingua franca)이다. 따라서 한국 대기업에서는 영어시험 결과가 입사와 승진시 실력있는 지원자를 가려내기 위한 중요한 도구로 사용되고 있다. 본 연구는 한국 대기업의 영어시험 결과에 대한 해석의 타당성(validity)을 검증하기 위해(Messick, 1989) 영어가 기업 내에서 현재 어느정도로, 그리고 어떠한 형태로 사용되고 있는지 살펴보았다. 구체적으로 기업부서에 따른 영어사용의 유형별 차이를 살피고, 영어시험 결과에 대한 해석의 타당성을 검증하기 위해 토익시험(TOEIC)결과와 영어능력(English proficiency)뿐아니라 토익시험 결과와 업무능력(working competency)의 관계를 알아보았다. 양적연구와 질적연구를 동시에 진행했으며 양적연구는 설문조사로, 질적연구는 인터뷰로 시행하였다. 기업 업무에 따라 4개의 대표 업무부서인 인사부/관리부, 영업 마케팅부, 생산부, 연구 개발부에 종사하는 참여자들을 모집하였다. 두대기업을 중심으로 진행되었으며 설문지 참여자 193명을 대상으로 4개의 부서들과 4개의 영어사용 영역(말하기, 듣기, 쓰기, 읽기)을 일원 다변량 분산분석(One-way MANOVA)으로 통계분석하였다. 마지막으로 참여자 19명의 개방형 인터뷰 질문답변을 분석하였다. 영어읽기가 전체 업무 부서에서 가장 사용빈도가 높은영역으로 일관되게 나타났으며,그중 다른 부서에 비해 영업 마케팅부의 빈도가 가장 높은 것으로 확인되었다. 하지만 읽기 사용 빈도가 가장 높았던 영업 마케팅부에서 조차도 그비율은 낮았다. 한편 업무 부서 전체에서 가장 사용 빈도가 낮은 영역은 말하기로, 거의 사용되지 않는 것으로 확인되었다. 참여자의 89%는 토익시험 결과와 영어능력은 연관성이 없다고 답했으나 토익은 여전히 입사 조건에서 가장 중요한 역할을 하고 있는 것으로 확인되었다. 이는 토익시험 결과가 영어 실력 측정보다는 지원자의 성실성, 지능, 업무능력 측정을 위해 기능하며, 토익시험 결과에 가치를 부여(value implications)하기 때문임을 알 수있다. 이는 명백하게 시험결과 해석에 대한 타당도를 위협할 수 있는 사례이며,오히려 토익점수를 업무능력과 상관없이 영어읽기와 듣기능력만을 재는 척도로 사용하는 것이 타당하다고 볼 수 있을 것이다. 현재 한국 기업의 영어 사용 빈도가 전반적으로 낮다는 결과를 고려해볼때, 모든 직장인에게 영어시험 점수를 요구하는 것이 바람직한지는 재고해 볼 필요가 있다. 또한 영어 시험 점수에 영어능력 외의 가치 부여를하는 행위는 Messick(1989)이 제안한 구인타당도(construct validity)를 위협할 수 있으며, 더 나아가 시험의 진정성(authenticity) 또한 훼손할 수 있다. 즉, 한국기업은 점수를 입사 필수 조건으로 내세우고 있지만, 일부 참여자는 지원자의 실력을 더 정확히 평가할 수 있는 도구가 필요함을 토로했다. 본 연구는 언어 평가 연구자들과 국내 기업인들이 외재적 변인이 통제된 기업 영어 능력만을 측정할 수 있는 타당한 방법을 연구하고 개발할 것을 촉구하고, 우리나라 기업 영어시험 결과 해석에 영향을 미칠 수 있는 다른 특성들을 규명해주는 후속연구를 제안해본다.

English serves as a lingua franca for communication in the increasingly global corporations and often serves as a shared language between speakers whose native language is not English. It is a widespread practice in Korean industries to use English language test scores as a definitive tool to screen qualified candidates during recruitment and promotion. Theresearch study examined the current conditions of English language use in the South Korean corporate worldin order to evaluate the validity of English test score interpretation practiceon the basis of Messicks (1989)framework of construct validity. The study investigated two major Korean corporations in the following two steps:First, the actual use of the English language in the Korean workforce by organizational divisions was examined. Second, the study delved into a proportion of the workforce that regarded the Test of English for International Communication (TOEIC) score as a reflection of English proficiencyand overall working competency to investigate the validity of test score interpretation. For the first part of the study,businesses comprised of four functional organizational divisions- administration, production, sales & marketing, and research & development- were investigated. Two Korean businesses were sampled for the study and a total of 193 questionnaire survey participants were included in the final analysis. A One-way Multivariate Analysis of Variance (MANOVA) was conducted to illustrate the relationship between the functional organization and English language skills, reading, listening, speaking, and writing. The second part of the study set out to examine, through a written interview, certain values that may be embedded in the TOEIC score interpretation as proposed by Messick (1989). A total of 19 interview respondents were included in the final analysis. The findings revealedconsistency in the highest and least demanded skill across all four organizational divisions: reading and speaking skill. In the actual use of the English languagein two companies, sales & marketingorganizational divisionwas significantly more likely to employ English skills compared to other organizational divisions. However, even the reading skill was demanded less than moderate across the four divisions in both corporations and the speaking skill was almost never used. Furthermore, the proportion that regarded the TOEIC score and English proficiency, which is widely misassumed to beonlythe speaking skill, as not having relevance comprised to approximately 89%

yet, the TOEIC score was being used as an essentialtool for recruitment. In fact,the reason behind the paradoxicality was indeed values embedded in the interpretation of the TOEIC scores. Some participants interpreted the test score as indicators of diligence, intelligence, and better working skills, rather than a measurement of English language ability, a practice that puts its construct validity at a risk. In sum, although the TOEIC score is being required as a prerequisite for the hiring process in South Korea, it was revealed through the data that the English skills were not used often in the two corporations for all candidates to be obliged to submit an English standardized test score for employment. Also, the practice of placing value implications on test scores in the hiring practice may threaten the construct validity of score interpretation in the context of the South Korean workforce. As a result, some participants reflected the need for a better assessment tool than the TOEIC. It is necessary to draw attention to the discrepancy between very little actual speaking ability and relatively high level of perceived importance of the skill in the Korean workplace. Thus, the TOEIC may be a legitimate test

however, only if the TOEIC score is used and interpreted as an indicator of nothing more than English language proficiency. Hence, future research should take into consideration the unanticipated adverse effects that could arise from the widely believed notion of perceived importance of the speaking skill and assist corporations of a more suitable and authentic tool of English assessment and/or methods of assessment interpretation, which removes the side effects of misinterpretingthe English test score in Korean companies.