Towards robust parameter estimation of computational models across multiple tasks: comparison of utility functions

Abstract

Computational modeling may allow us to identify latent cognitive processes underlying behavioral performance on cognitive tasks by estimating parameter values corresponding to the specific cognitive processes. The fundamental assumption behind computational modeling is that latent model parameters reflect individuals stable traits, but the assumption might be often violated. Here, we aimed to improve test-retest reliability and individual parameter consistency of computational models by testing six utility functions. If the assumption is valid, the parameter values of a computational model are expected to be robust across multiple tasks in multiple sessions. For this purpose, we asked participants (N=64) to perform three related cognitive tasks (peer influence, choice under risk and ambiguity, and risk decision tasks) assessing their decision-making repeatedly in two consecutive days. To evaluate the utility functions, we used three model comparison methods including leave-one-out in- formation criterion (LOOIC), test-retest reliability, and individual parameter consistency. We found that the exponential-power utility function outperformed other models with the LOOIC, but all models showed similar performance in test-retest reliability and individual parameter consistency. These findings suggest the importance of using multiple model comparison methods and highlight the challenge of robust parameter estimation across multiple tasks.

계산 모델링을 이용하면 특정한 인지과정에 해당하는 파라미터의 값을 추정함으로써 인지 과제 중 나타나는 행동의 기저에 있는 잠재적인 인지 과정들을 구분하여 분석할 수 있다. 계산 모델링의 근본적인 가정은 모델 파라미터가 개인의 안정적인 특성을 반영한다는 것이지만, 이 가정은 종종 성립하지 않는다. 본 연구에서는 여섯 개의 효용 함수(utility function)들을 적용하여 계산 모델의 검사-재검사 신뢰도(test-retest reliability)와 개별 매개변수 일관성(individual parameter consistency)을 향상시키고자 했다. 만약 이 가정이 성립한다면, 계산 모델을 통해 얻어진 같은 인지적인 특성에 대한 파라미터의 추정치는 서로 다른 인지 과제들 간에, 여러 번의 세션에 걸쳐서 안정적으로 나타날 것이다. 이를 위해, 실험 참여자(64명)들은 의사 결정 경향성을 평가하는 세 가지의 인지 과제들을 연속된 이틀 동안 반복해서 수행했다. 각 효용 함수(utility function)들을 평가하기 위해, 우리는 교차 검증 지수(leave-one-out information criterion; LOOIC), 검사-재검사 신뢰도(test-retest reliablity), 개별 매개변수 일관성(individual parameter consistency)을 사용했다. 실험 결과, 지수-멱급수 함수(exponential-power function)가 다른 모델에 비해 더 좋은 모델 적합도(LOOIC)를 보였지만, 모든 모델이 검사-재검사 신뢰도(test-retest reliability)와 개별 매개변수 일관성(individual parameter consistency)의 측면에서는 비슷한 성능을 보였다. 이러한 결과는 개별 매개변수 일관성(individual parameter consistency)을 포함한 다양한 모델 비교 기준을 사용하는 것의 중요성을 시사하고, 여러 인지 과제에 걸쳐서 안정적인 파라미터 추정이 어렵다는 것을 보여준다.