Working Memory in English Speech Production: Native Speakers vs. Korean EFL Learners

Abstract

This dissertation investigates how speech sounds may change as a function of varying working memory load during speech. While cognitive factors have long been suspected to influence speech sounds, being responsible for unexplained variability in speech prosody, the hypothesized connection between cognition and speech production has yet to be systematically theorized with empirical data. Despite the widely accepted assumption in psycholinguistics that working memory involves speech production for temporary maintenance and active manipulation of speech information, the sound planning process remains an open question. Production models not only acknowledge that they only partially account for the phonological-phonetic encoding processes, but production models also adopt direct retrieval of memorized articulatory routines from long-term memory that may allow speakers to bypass the working memory process. Moreover, a comprehensive review from a memory perspective requires direct evidence and reexamination of the psycholinguistic assumption, suggesting that there is no working memory used in speech production. Furthermore, if the key lies between active ongoing planning and automatic routined response, then native speakers and nonnative speakers of a language may reveal different production patterns. These speaker types and their production patterns have not yet been directly compared in the literature. To address this gap, this study asks whether working memory is involved in English speech production and whether the involvement differs between native (first-language, L1) and nonnative (second-language, L2) speakers of English. To explore how cognitive processing overload derails typical speech sounds, in this study I experimentally manipulated the amount and the type of cognitive load in working memory by having participants engage in multitasking while speaking. Native speakers of American English and Korean EFL learners of English produced a set of syntactically complex sentences under two working memory load conditions and two control conditions. In the load conditions, speakers engaged in an additional task that taxed either verbal or spatial working memory while speaking. In the control no-load conditions, they solved an equation before speaking. The results show different working memory influences on L1 vs. L2 speech production. Both the L1 and the L2 speech had more errors and were faster during multitasking. However, the effect of load type was different. The L1 speech remained similarly intact, regardless of whether the task was verbal or spatial. By contrast, the L2 speech was impaired only by the verbal task; speech produced during a concurrent verbal task became more erroneous, faster, less variable in word durations, and less distinctive in vowel quality. The spatial task did not impact L2 prosody. I interpret these results as suggesting that different cognitive processes underly L1 and L2 speech production. This dissertation proposes a tentative model for L1 and L2 speech production with direct reference to working memory versus long-term memory. L1 speech production is usually automatic and spontaneous via retrieval from long-term memory and not impacted by (verbal) working memory. Thanks to sufficient exposure to and practice of form-sound units, speech production directly accesses long-term memory and instantly executes the articulatory gestural routines that are already stored along with the lexical forms. As L1 speech production draws from long-term memory, working memory is not overloaded by a (verbal or spatial) working memory task, and speech becomes only more erroneous and faster due to divided attention within a set time frame. By contrast, L2 speech sounds mainly emerge on the go via phonological-phonetic encoding in (verbal) working memory. Due to limited language experience in L2, articulatory templates are often not fully developed or readily retrievable for automatic execution. As L2 speech production draws from verbal working memory, a concurrent verbal task, but not a spatial task, overloads the capacity-limited verbal working memory component. While a general effect of divided attention can be observed just as in most multitasking, a verbal task disrupts speech more significantly than a non-verbal task. The study contributes direct evidence regarding the relationship between working memory and speech production. I examine some speculated effects of cognitive load on prosodic variations and move toward resolving the controversy over the encoding and the retrieval processes by referring to language experience. Beyond the scope of this dissertation and as a guidepost for research, we need to investigate how speech production processes may develop as a function of L1 language experience and L2 proficiency.

Keywords: working memory, working memory capacity, speech production, prosody, phonological-phonetic encoding, retrieval, L1 versus L2 Student Number: 2006-30916

본 논문은 멀티태스킹을 하면서 말을 할 때 말소리가 어떻게 변화하는지 살펴봄으로써, 작업기억이 발화의 말소리 생성에 관여하는지를 모국어와 외국어로서의 영어 발화를 비교하여 연구하였다. 이는 선행 연구에서 발화시 말소리 생성이 두뇌의 작업기억 시스템을 통해 계획되고 처리된다고 설명함에도 불구하고, 직접적인 실증 근거가 없고 간접적인 자료들이 반증한다는 점에서 출발하였다. 우선, 인지적 요인들이 리듬과 억양으로 정의되는 운율의 설명되지 않는 변이와 관련이 있을 것이라는 추측이 제기되어 왔지만, 이런 인지와 발화 사이의 연관성은 여전히 추측일 뿐 실증적 자료는 아직 제시되지 않았다. 게다가, 심리언어학에서 널리 수용되는 발화 모델들에서, 소리 정보의 일시적 저장 및 능동적 조작이 작업기억을 통해 처리된다고 설명하고 있지만, 역시 직접적 실험 근거가 없고, 특히 음운-음성적 발화 단계에 대한 해당 이론의 설명이 부분적일 뿐임을 인정하였고, 장기기억에 저장된 조음 뭉치를 그대로 출력해서 사용한다는 설명을 혼합함으로써, 작업기억이 필수적인지 의문을 남겼다. 아울러, 기억 이론 관점에서의 선행연구 리뷰 역시 작업기억이 말소리 생성에는 관여하지 않을지도 모른다는 잠정적 결론에 이르렀다. 마지막으로, 만약 말소리 생성이 작업기억을 통해 이루어지는지 아닌지 결정 여부가, 실시간으로 능동적으로 계획하며 만들어 발음하는 것인지 아니면 이미 저장된 발음 루틴을 습관적이고 반사적으로 출력하는 것인지에 달려 있다면, 원어민들과 외국어 학습자들이 다른 발화 처리 과정을 거칠지도 모른다는 추측을 하게 되었다. 따라서, 본 연구는 영어 발화의 말소리 생성에 작업기억이 연관되어 있는지, 그리고 영어 모국어 화자와 외국어 학습자가 다른 패턴을 보이는 지의 두 질문을 직접적으로 실험하였다. 미국인들과 한국인들이 각각 의미와 통사형태적으로 친숙해진 영어 문장들을 언어 혹은 공간 과제를 동시에 수행하는 멀티태스킹 상황에서 소리내어 말했다. 이들은 또한 같은 영어 문장들을 오직 말만 하는 비-멀티태스킹 상황에서 대조군으로 발화했다. 실험 결과 미국인들과 한국인들은 작업기억에 부과되는 인지 부하에 따라 다른 발화 패턴을 보였다. 우선 미국인과 한국인 모두 말을 하면서 멀티태스킹을 하게 되면 말실수를 더 많이 하고 더 빨리 말했다. 미국인들은 말을 하면서 멀티태스킹한 과제가 언어 과제이든 공간 과제이든 상관없이 같은 말소리 패턴을 보였으며, 측정한 그 외 모든 운율적 특성에서 말만 할 때와 통계적으로 동일했다. 그러나 대조적으로, 한국인들은 말하면서 언어 과제를 동시에 했을 때 발음에 큰 어려움을 보였다. 언어 과제를 할 때는 말만 할 때 뿐만 아니라 공간 과제를 할 때와 비교해서도 말실수가 더 많았고 운율이 평소와 더 많이 달라졌다. 공간 과제와 말을 멀티태스킹할 때는 앞서 말한 더 많은 말실수와 더 빠른 말속도 외에 다른 어떤 말소리의 차이를 보이지 않은 반면, 언어 과제와 말을 멀티태스킹할 때는 말 실수도 훨씬 더 많이 하고, 훨씬 더 빨리 말하고, 명사나 동사와 관사 등의 단어들 길이가 더 비슷해지고, 모음을 좀 더 웅얼거리며 발음했다. 본 논문은 이 실험 결과를 다음과 같이 해석한다. 작업기억은 말소리 생성에 관여할 수도 하지 않을 수도 있다. 이는 화자가 해당 언어에 대해 가지는 언어 경험과 훈련의 양과 그에 따라 장기 기억에 저장된 정보의 양에 따라 결정된다. 이는 해당 실험에서는 이분법적으로 나타났으나 실제로는 점진적인 선형 관계일 수도 있다. 이분법적으로 설명하자면, 모국어 성인 화자는 다년간의 언어 경험과 발음 훈련을 통해 이미 단어 형태와 조음 정보가 쌍으로 엮여 장기 기억에 루틴화된 템플릿 형태로 존재함으로써, 실제 발음을 할 때는 시각적 혹은 개념적으로 주어진 단어 형태를 실시간으로 조작하여 발음을 계획하고 시행하지 않는다. 즉각적이고 자동적으로 장기기억에서 저장된 형태-조음을 직접 출력해서 반사적으로 발음하게 되기 때문에, 작업기억을 통한 정보 처리는 이루어지지 않는다. 반면, 외국어로 언어를 배우는 학습자는, 그 언어 경험이 상당히 제한적이고, 특히 많은 경우 말하기 경험에서 더욱 그러하기에, 언어 형태와 조음 정보가 단단하게 장기 기억에 묶음으로 저장되어 있지도 않고 조음기관 훈련도 반사적으로 즉각적으로 이루어질 만큼은 아닐 확률이 높다. 따라서 할 말이 이미 의미, 문법, 단어, 형태적으로 모두 준비된 상태라 하더라도, 이를 발음하는 일 조차 실시간으로 계획되고 조작된다. 작업기억이 필요한 것이다. 이를 바탕으로 본 논문은 두뇌 기억 시스템의 작업기억과 장기기억과 관련하여 모국어와 외국어 말소리 생성에 대한 모델을 제시한다. 또한, 오랫동안 실증적 자료 없이 상반되는 추측에 그친 작업기억과 발화 말소리 생성의 관계를 직접적인 실험을 통해 검증을 시도했다는 점, 언어 운율에 대한 변이 중 멀티태스킹 시 발생할 수 있는 운율 변화를 인지와 연결하여 설명한 점, 상반된 선행연구의 추측과 논의들이 실제로는 해당 언어에 대한 경험과 훈련에 바탕을 두면 일관적으로 설명될 수 있음을 제안한 점, 그리고 이것이 모국어 대 외국어 혹은 나아가 모국어 어린이와 외국어 초급 학습자 대 모국어 성인과 외국어 숙련자로 확대하여 말소리 생성의 정보 처리 모델 및 교육적 함의를 제시한다는 점 등에서, 본 논문은 의의를 갖는다.

주요어 : 작업기억, 작업기억 능력, 발화, 운율, 음운적-음성적 부호화, 검색, 모국어 대 외국어 학 번 : 2006-30916