Principle-based design selection using adaptive design optimization with history-based restriction

Abstract

실험은 과학산업과 지식의 발전에 있어서 핵심적인 연구도구이며, 실험으로부터 얻어지는 정보를 최대화하는 것은 매우 중요한 문제이다. 그 데이터의 측정에 있어서 최적의 실험 디자인을 사용하는 것은 지식의 축적을 촉진하는 데에 한 가지 해결책이 될 수 있다. 이를 위한 실험 디자인 방법 중 하나가 베이지안 프레임워크에 기반하여 최적 실험 디자인을 계산하는 방법인 적응적 실험 최적화(Adaptive Design Optmization, ADO)이다. ADO는 지금까지 관찰된 자료를 기반으로 최대의 정보가를 가지는 실험 디자인을 찾아주며, 기존 연구들에서는 이를 통해 ADO가 데이터 수집에 있어서 추정된 모델 파라미터의 정확도나 신뢰도를 크게 높여준다는 것을 보고한 바 있다. 그러나 ADO를 사용하여 실험을 진행할 때에, ADO는 파라미터 추정에 대한 정보를 최대화하기 위하여 같거나 유사한 실험 디자인을 반복적으로 선택하는 모습을 보이는데, 이는 실험 참여자를 지루하게 만들거나 선택의 무작위성을 늘릴 수 있다. 본 연구에서는 이를 해결하기 위하여 기록-기반 제한(history-based restriction, HR)이라는 새로운 알고리즘을 제안하였다. 이를 불확실 상황에서의 선택 과제(Choice under risk and ambiguity, CRA; Levy et al., 2010)에 적용하여 기존의 ADO가 가지는 최적 디자인 선택은 유지하면서도, 디자인의 반복을 자동적으로 피할 수 있었다. 이러한 결과를 통하여 HR 알고리즘을 적용시킨 ADO를 통해 반복되는 디자인은 피하여 인간 참여자를 대상으로 하는 연구들에 ADO를 적용하기 보다 적합하게 하는데에 기여하였다고 할 수 있다.

Experimentation is the core of scientific enterprise and advance in knowledge, and maximizing information from an experiment is an outstanding and important issue. Utilizing optimal designs for measurement can be one solution to accelerate the acquisition of knowledge. A well-established method is adaptive design optimization (ADO), a Bayesian framework for optimal experimental design. ADO identifies maximally informative experimental design in response to collected data, and previous studies showed that ADO could vastly increase the efficiency of data collection as well as the precision and reliability of parameter estimates. As an experiment goes with ADO, however, ADO often selects the same or similar designs repetitively, which may increase the chance of human participants' making random responses or getting them bored. Here, to address the design repetition issue, I suggest a new algorithm called history-based restriction that can avoid design repetition by extending the original ADO. I performed an experiment using the choice under risk and ambiguity task \parencite{levy_neural_2010}, and showed that ADO with history-based restriction (ADO-HR) showed a similar test-retest reliability compared to the original ADO approach while obtaining more reliable parameter estimates in fewer trials than the conventional designs of \textcite{levy_neural_2010}. The results suggest that ADO-HR successfully addresses the design repetition issue and makes it even more feasible to apply ADO to psychological tasks with human participants.