Imbalanced arbitration between decision-making strategies in obsessive-compulsive disorder

Abstract

서론: 목적-지향적 행동전략과 습관적 행동전략 사이의 조율 불균형으로 발생하는 습관 편향은 강박장애(OCD) 주증상인 강박행동의 기저를 이룬다. 강화학습 인공지능 알고리즘에 기반한 계산신경과학 모델은 이러한 두 행동전략 사이의 조율 기전을 설명할 수 있다. 사람의 뇌는 목적-지향적(모델-기반) 학습 시스템과 습관적(모델-자유) 학습 시스템의 상태/보상 예측 신뢰도를 계산하고, 신뢰도가 높은 학습 시스템을 선택하여 의사결정을 조율한다. 하지만, 강박장애 환자에서 나타나는 의사결정 조율 불균형이 잘못된 학습전략 신뢰도 추정에 원인을 둔 것인지 아직 불분명하다. 또한, 학습전략 신뢰도 계산을 담당하는 하전두회(IFG)와 전두극피질(FPC)의 기능 손상이 이러한 조율 불균형의 신경생물학적 기저인지 연구가 필요하다. 방법: 연구참여자들의 모델-기반 학습전략과 모델-자유 학습전략 행동을 분리해 관찰하기 위해 마르코프 의사결정 과제(sequential two-choice Markov decision task)를 사용했다. 30명의 강박장애 환자와 31명의 건강 대조군이 연구에 참여했으며, 의사결정 과제를 수행함과 동시에 기능적 뇌 자기공명영상(fMRI)을 촬영했다. 강화학습 알고리즘에 기반한 계산모델을 이용해 의사결정 조율 과정 동안의 행동을 추정했다. 모델 행동변수 및 관련 뇌 기능에 대해 환자군과 대조군 사이의 차이를 통계적으로 검증했으며, 해당 뇌 기능 차이가 신뢰도 추정 오류 및 강박행동 증상을 설명하는지 회귀분석을 통해 확인했다. 결과: 강박장애 환자들은 대조군에 비해 의사결정 과제 수행 시 보상 획득에 더 큰 어려움을 겪고 더 보속적으로 행동했다. 모델-기반 학습전략이 필요한 상황에서, 환자들은 오히려 모델-자유 학습전략을 과도히 신뢰했다. 그 결과, 환자들에서 두 학습전략 사이의 조율 안정성이 더 높았으며, 모델-자유 학습전략으로의 편향이 확인되었다. 환자에서 과도히 높은 조율 안정성은 전두극피질 영역 중 전외측 안와전두피질(anterolateral OFC)의 과활성화와 관련있었으며, 신뢰도 정보를 바탕으로 학습전략을 선택할 때 전외측 안와전두피질과 쐐기앞소엽 사이의 기능적 연결성이 비정상적으로 강화되었다. 반면, 환자에서 과활성화된 하전두회는 조율 안정성 및 강박행동 중증도와 부적 상관관계를 보였다. 결론: 본 연구는 강박장애의 의사결정 조율 불균형이 모델-자유 학습전략에 편향된 조율을 야기하는 뇌 기능 이상에 원인이 있음을 밝혔다. 나아가, 예측 신뢰도를 추정하는 하전두회 및 전두극피질을 강박행동 및 습관 편향에 대한 신경회로-기반 치료의 뇌 생물지표로 제안한다.

Introduction: Habit bias, resulted from imbalanced arbitration between goal-directed and habitual controls, is thought to underlie compulsive symptoms of patients with obsessive-compulsive disorder (OCD). A computational reinforcement learning (RL) model accounts for that, between the goal-directed (model-based; MB) and habitual (model-free; MF) RL systems, brain allocates weight to a controller with higher reliability in state or reward prediction. However, it remains unclear whether the impaired arbitration in OCD is attributed to faulty estimation of the reliability in the RLs and if inferior frontal gyrus (IFG) and/or frontopolar cortex (FPC), known to track the reliability signals, are grounded on this impairment. Methods: The sequential two-choice Markov decision task was used to dissociate the MB and MF learning strategies. Thirty patients with OCD and thirty-one healthy controls (HCs) underwent a fMRI scan while performing the behavioral task. Behaviors of the arbitration process were estimated through a computational model based on RL algorithms. The model parameters and their neural estimates were compared between groups. Regression analyses were conducted to examine if neural differences explained faulty estimation of the reliability, in addition to compulsion severity, in OCD. Results: Patients with OCD earned less reward and showed higher perseveration than HCs. During MB-favored trials, the uncertainty of prediction based on the MF strategy was lower in patients, which led to higher maximum reliability of the RL systems arbitrating behaviors (i.e., stability of the arbitration) and higher probability to choose the MF strategy. The higher stability of the arbitration was associated with hyperactive signal of the lateral orbitofrontal cortex (OFC)/FPC in patients. Patients increased connectivity strength between the OFC/FPC and precuneus when choosing an action strategy. On the other hand, the hyperactive IFG signal was inversely associated with the lower stability of the arbitration and less severe compulsion in patients. Conclusions: It was demonstrated that the hyperactive neural arbitrators encoding the excessively stable arbitration in which the MF reliability was predominant underlay the imbalanced arbitration in OCD. Therefore, the findings suggest the IFG and FPC as brain biomarkers useful to plan a neurocircuit-based treatment for habit biases and compulsions of OCD.