일관성 가정 검증이 불가능한 개방형 네트워크 메타분석 결과의 신뢰성 평가 방법 개발

Abstract

다수의 대안 의료 중재들 간 상대적인 효과크기 추정을 통해 비교효과를 평가하고자 할 때 주요 연구방법론으로 고려되는 체계적 문헌 고찰 기반의 네트워크 메타분석은, 여러 중재들에 대한 상호 무작위배정 비교임상시험(Randomized Controlled Trial, RCT)들을 연결하여 근거 네트워크를 형성하고 각 연구들로부터 추출한 데이터를 통합하는 통계적 분석 방법이다. 근거 네트워크는 네트워크 내에서 같은 비교를 다루는 RCT 간 동질성 가정, 분석에 포함된 모든 RCT들은 임상적 및 방법론적으로 유사하다는 전이성 가정, 중재 간 비교의 직접비교 결과와 간접비교 결과의 일관성 가정을 만족해야 한다. 그러나 대안치료들 간 직접비교 연구가 부재한 상황에서 구성되는 개방형 네트워크에서는 일관성에 대한 통계적인 검정이 실제적으로 불가능함에도 많은 경우 일관성을 가정하고 네트워크 메타분석을 수행한다. 우리나라와 유사한 의료기술평가 체계를 가지고 있는 캐나다, 영국, 호주의 의료기술평가 지침에서는 모두 네트워크 메타분석을 수행할 때 네트워크 내 근거의 일관성에 대해 탐색하여 보고하도록 하고있다. 캐나다와 호주의 경우, 공통대조군들의 결과값을 활용하여 연구 간 동질성을 평가하고 측정하기 어려운 환자 특성의 대리 지표로서 이를 사용하도록 하였다. 특히 호주 지침의 경우 메타회귀분석 외에도 개별환자데이터를 가용할 수 있는 경우 이를 이용한 보정 방법 사용 등 비일관성의 원인이 될 수 있는 요인들을 정량적으로 파악하고 완화시킬 것을 안내하고 있다. 서로 간 상호 비교된 바 없었던 제2형 당뇨병 환자 대상의 인슐린 병합 치료제들인 DPP4i, GLP-1RA, SGLT2i, TZD 간의 비교효과 평가를 위해, 해당 약제들의 인슐린 병합 치료군을 인슐린 치료군과 비교하였던 무작위배정 비교임상시험 연구들을 쳬계적 문헌고찰을 통해 선정하고 50개의 RCT로 구성된 개방형 네트워크 메타분석을 수행하였으며, 본 분석 수행을 통해 잠재적 교란요인을 평가하고 이를 보정하였을 때의 결론이 보정 전의 결론과 차이가 있을 수 있음을 제시하였다. 특히, 공통대조군인 인슐린군에서 관찰되는 결과 값을 기저 위험률 지표로서의 역할을 밝히고 이를 통한 보정이 결론에 미칠 수 있는 영향을 파악하여 제시하였다. 이질성이 보이는 RCT들로 구성된 개방형 네트워크에 대하여 일관성 가정하에 근거를 통합하였을 때, 각 치료제들 간에 불분명하게 나타났던 치료효과 차이는 각 연구들에서 상이하였던 기저 위험 수준을 동일하게 보정함으로써 명확히 구분될 수 있었음을 확인 하였고, 해당 분석 과정을 통해 일관성 검증이 불가능한 개방형 네트워크에서 전이성의 조건을 최대한 확보하여 잠재적인 일관성 위배를 최소화하는 접근의 중요성을 제시하였다. 네트워크 메타분석 접근을 사용하여 출판된 기존 연구 문헌들 중 개방형 네트워크 메타분석의 빈도 및 해당 연구들의 일관성에 대한 접근 방법과 결론의 한계점 등에 대한 경험적 근거 파악을 위해 수행한 체계적 문헌 고찰을 통하여 약 1년간 출판된 113개의 개방형 네트워크 메타분석 문헌을 검토한 결과, 네트워크 메타회귀분석 등의 구체적인 보정 방법을 적용하여 분석 결과에 반영한 연구는 단 10개에 지나지 않음을 확인하였다. 나머지 연구 중 96개의 연구에서는 일관성에 대한 가정 평가를 수행하지 않았거나(33개), 연구 특성의 정성적 비교만을 수행하여 일관성을 가정한 경우(57개), 또는 정성적 비교를 통해 비일관성이 예상됨에도 자료 수 부족으로 교란요인 보정 방법의 고려가 불가능하였던 경우(6개)였으나, 모두 일관성 가정하에서 자료 통합을 수행하였다. 이처럼 출판된 대다수의 개방형 네트워크 메타분석들은 확신할 수 없는 일관성 가정하에 간접비교결과에만 기반하여 통합된 결과가 제시되고 있었음을 확인할 수 있었고, 본 정성적 체계적 문헌고찰을 통해 이들 연구에 실제적으로 직접비교 연구 자료가 포함될 수 있었다면 기존 결론이 유지될 수 있을 것인가에는 심각한 불확실성이 존재하며 이러한 불확실성이 최종적인 결론 및 의료 의사결정에 반영에 될 수 있어야 함에 대한 문제를 제기하였다. 최종적으로 근거 네트워크에 포함된 연구들 간 특성의 정성적 평가 만을 통해 일관성이 충족될 수 있을 것임을 가정하여 근거 통합이 수행되는 개방형 네트워크 메타분석에서 얻어지는 결과의 신뢰성 평가를 위해, 개방형 네트워크에 가상의 직접비교 연구 자료를 생성하여 산입(算入) 후 통합하여 기존 결과를 보정하고 보정 후 기존 결론의 유지될 수 있을 것인지에 대한 확실성을 평가하는 자료산입을 통한 보정법(adjustment through imputation)을 개발하였다. 생성되는 가상의 직접 비교 자료는 주어진 간접비교 결과와 일정 크기의 비일관성이 존재하되 통계적으로 허용될 수 있는(일관성 가정이 통계적으로 기각되지 않는) 수준이 되도록 하였고, 직접비교 결과는 간접비교 결과보다 보수적인 효과크기를 갖도록 조건을 설정하였다. 제안한 알고리즘을 통해 비일관성 크기의 허용범위를 찾고, 허용 범위 내에서 비일관성 증가에 따른 자료산입을 통한 보정법을 적용한 결과를 도출한 후 기존 결과의 유지 정도를 평가하여 기존 결과의 신뢰성을 평가하였다. 예시 시뮬레이션을 통해 본 방법의 타당성을 확인하였고, 시나리오에 따라 생성된 가상의 개방형 네트워크들에 본 방법을 적용하고 결과를 비교하여 적용성을 확인하였다. 의료기술평가 과정에서 네트워크 메타분석을 통해 제시된 근거에 기반하여 의사결정을 이루기 위해 참고하도록 여러 나라의 의료기술평가기관에서 제시한 지침에서는, 네트워크 메타분석을 수행할 때 일관성에 대한 탐색 및 보고를 하도록 권고하고 있으며, 개방형 네트워크에 기반한 분석을 수행하여 결과를 제공할 때에는 교란요인을 탐색하고 보정을 통하여 일관성 확보를 최대한 소명하여야 한다. 그러나 의료기술평가 현장에서 수행되는 많은 비교효과연구에서는 교란요인 보정을 수행하기에는 분석에 포함된 자료수가 충분하지 않은 경우가 많으며 개별환자자료 확보는 현실적으로 더욱 어렵다. 실제로 많은 연구들은 정성적인 평가에 기반하여 포함된 연구들이 임상적으로 매우 유사하다고 판단하고 이를 통해 일관성은 가정될 수 있다고 전제하여 분석을 수행하고 있으나, 이 경우 통계적으로 허용될 수는 있으나 결과의 불확실성으로써 분석에 반영되어야 할 일정 수준의 비일관성은 실제로 존재할 수밖에 없고 이는 사실상 효과추정 결과 및 추론에 반영되어야 함을 인지하여야 하며, 본 연구를 통해 개발된 방법론은 이와 같은 상황에 적용되어 결과의 신뢰성을 평가하고 보수적인 결론에 반영하기 위해 유용하게 활용될 수 있을 것이다.

Network meta-analyses based on systematic reviews are often used to produce evidence for medical decision-making, such as deciding which of various treatment options is the best for a pre-defined population of patients. Specifically, network meta-analysis is a statistical method for integrating the data available from a network of multiple randomized controlled trials (RCTs) that involve multiple interventions compared directly, indirectly, or both. Since a network meta-analysis combining all information from RCTs on multiple interventions provides an internally coherent set of estimates of the relative treatment effects between competing interventions, the comparability of the included trials should be ensured; that is, there should be no imbalance in the distribution of potential effect modifiers across the trials. The assumption of consistency across direct and indirect evidence should then be statistically checked. In an open-loop network, statistically detecting or checking inconsistency is impossible, but when a qualitative evaluation indicates that studies are comparable, researchers try to integrate the data into a network meta-analysis based only on indirect estimates under the consistency assumption. The Canadian, British, and Australian Health Technology Assessment Guidelines require that the consistency between direct and indirect evidence within a network should be explored and reported when performing a network meta-analysis. The Canadian and Australian guidelines recommend that the results of a common comparator were used as a proxy for unmeasured patient characteristics which may be modifiers of intervention effect and therefore a potential source of heterogeneity and/or inconsistency. In particular, the Australian guideline suggests using a meta-regression analysis or methods for population-adjusted indirect comparisons to quantitatively identify factors that may cause inconsistency. In order to evaluate the comparative effectiveness among DPP4i, GLP-1RA, SGLT2i, and TZD as an adjunctive treatment in patients with poorly controlled type 2 diabetes mellitus on insulin therapy, which had never been compared with each other, an open loop network meta-analysis including 50 RCTs was performed. We identified as many potential confounders as possible and adjusted for their effect in the final analysis. In particular, the results of the common comparator were identified as an underlying risk indicator and an effect modifier. This exercise presented the importance of a covariate-adjustment approach that may neutralize potential inconsistency by ensuring transitivity in an open-loop network under unverifiable consistency assumption. We systematically reviewed 113 open-loop network meta-analyses published during about 1 year to identify empirical evidence for their analytical limitations. In 10 studies there applied a covariate-adjustment method. In 96 studies there did not test for the essential assumptions (33 studies), or did qualitatively assess similarity between studies (57 studies), or did not apply covariate-adjustment due to a lack of data (6 studies). We confirmed that most of the published open-loop network meta-analyses have presented incorporating results based on indirect comparisons under unverifiable consistency assumption. Through this systematic literature review, we raised the question of whether the existing conclusions could be maintained if direct comparison studies are included, and this uncertainty should also be reflected in the final conclusions and medical decision making. Finally, we suggested a method of performing a sensitivity analysis through data imputation to assess the robustness of results from an open-loop network meta-analysis with an unknown degree of inconsistency. The method described herein involves data imputation for the disconnections in an open-loop network caused by the absence of RCTs for active treatments, producing a complete network. The imputed data simulate a situation that would allow for mixed treatment comparison, with a statistically acceptable extent of inconsistency. By comparing the agreement between the results obtained from the original open-loop network meta-analysis and the results after incorporating the imputed data, the robustness of the results of the original open-loop network meta-analysis can be quantified and assessed. We called this approach adjustment through imputation. To illustrate this method, we applied it to a real data set and some simulated data sets. The adjustment through imputation applied to a hypothetically formed open-loop network by discarding all RCT data between active treatments from a real complete network showed that in 33% of the results from the analysis incorporating imputed data under acceptable inconsistency, the resulting treatment ranking would be inconsistent with the ranking obtained from the open-loop network. Through a simulation study, we demonstrated the sensitivity of results after data imputation for an open-loop network with different levels of within- and between-study variability. Our method will serve as a practical technique to assess the reliability of results from an open-loop network meta-analysis under the unverifiable consistency assumption.