Investigating the effect of anxiety on model-based reinforcement learning in reward and punishment conditions : a computational modeling study

Abstract

Decision-making and learning in anxiety is volatile. There have been inconsistent findings on the learning patterns in highly anxious people. For example, anxiety level often showed a negative correlation with adaptive learning measures during aversive tasks but not during neutral ones. Recently, psychologists investigated learning in anxiety based on two decision-making systems: model-free (MF) and model-based (MB) control. MF control reinforces habitual behavior by repeating previously rewarded actions, whereas MB control governs goal-directed behavior by internalizing the structure of a task. Previous findings examined that anxiety was not associated with MB control deficits under monetary gains. However, it remains unclear whether this null association is domain-general or subject to change depending on outcome valence. In this study, I probed whether state anxiety, trait anxiety, and worry are distinctly associated with MB control deficits under monetary losses. I recruited non-clinical adults and asked them to perform a multi-step decision-making task in both reward and punishment conditions. Using computational modeling, I estimated individual MB control measures and tested for between-condition differences in the association between MB control and three anxiety levels. Here, worry showed a significantly negative correlation with MB control in the punishment condition. Also, refocus on planning strategy moderated the relationship between worry and MB control. This study suggests that worry negatively impacts MB control in punishment when it interacts with certain emotion regulation strategies.

불안한 사람들의 의사결정과 학습은 가변적이다. 선행 연구에 따르면 불안 수준이 높은 집단에게서 일정하지 않은 학습 패턴이 관찰되었다. 예를 들어, 처벌 상황에서는 불안 수준이 높을수록 적응적인 학습 지표가 낮아졌던 반면, 중립적이거나 보상 상황에서는 그러한 상관이 유의하지 않았다. 최근 심리학자들은 불안의 의사결정과 학습을 모델프리(model-free) 그리고 모델기반(model-based) 시스템을 기반으로 연구해왔다. 모델프리 시스템은 보상이 주어졌던 선택을 단순히 강화함으로써 습관적인 행동에 관여하는 반면, 모델기반 시스템은 과제의 구조를 내면화함으로써 보다 목표 지향적인 행동에 기여한다. 선행 연구에서 금전적 보상이 주어졌던 조건에서는 불안 수준과 모델기반 학습 결함이 유의한 상관을 보이지 않았다. 그러나 처벌 조건에서도 불안 수준이 높은 집단에서 모델기반 학습 결함을 보이지 않는지는 아직 충분히 연구되지 않았다. 따라서 본 연구에서는 상태 불안, 특성 불안, 그리고 걱정 수준이 각각 보상과 처벌 조건에서 모델기반 학습 지표와 어떠한 관계를 갖는지 탐구하였다. 이를 위해 비임상군 성인을 모집한 뒤 보상과 처벌 조건에서 같은 의사결정 과제를 실시하도록 하였다. 계산모델링을 통해 개인의 모델기반 학습 지표를 추정한 후 각 불안 지표와 모델기반 학습의 상관이 조건별로 유의하게 달라지는지를 분석하였다. 그 결과 처벌 조건에서는 걱정 수준이 모델기반 학습 지표와 유의한 부적 상관을 보인 반면, 보상 조건에서는 그러한 상관을 보이지 않았다. 또한 걱정 수준이 높은 집단에서만 해결중심사고(refocus on planning)를 더 많이 사용할수록 모델기반 학습 지표가 유의하게 낮아졌다. 본 연구는 불안과 모델기반 학습의 관계를 처벌 조건에서 규명했을 뿐만 아니라, 걱정 수준이 높고 특정 정서조절 전략 사용을 지향할수록 처벌 조건에서 낮은 모델기반 학습 능력을 보일 수 있음을 제시하였다.