PROGNOSIS PREDICTION OF CANCER PATIENTS AND DISCOVERY OF CANCER MICROENVIRONMENT BIOMARKERS USING GRAPH NEURAL NETWORK

Abstract

In this dissertation, I propose a new approach named tumor environment-associated context analysis using deep graph learning (TEA-graph) based on a memory- efficient graph representation of WSIs and interpretable graph neural networks (GNNs) that considers the contextual features of the tumor environment in a semi- supervised manner. Gigapixel resolution whole-slide image (WSI), which is a digitally scanned tumor section, has changed the approach of pathological analysis in a quantitative and data-driven manner. The combination of deep learning and WSI brought more synergetic effects and revolutionized pathological analysis in clinically important tasks. Although deep learning on WSIs shows revolutionary results as an assistive tool for computer-aided diagnosis (CAD) and automated analysis, it still cannot account for clinically important pathological features such as the tumor microenvironment (TME), which is a contextual pathological feature. The TEA-graph extracts the contextual pathological features of WSIs in a memory-efficient and semi-supervised manner. While similar concepts were introduced that using graph neural networks for contextual learning and compressed the whole-slide image (WSI) in various ways, none of them introduce geometry structure features (positional features) which are important features to differentiate the various tumor microenvironment. The proposed TEA-graph utilized the WSI at once without losing contextual information on the WSI through a network compression technology named superpatch. Therefore, the TEA-graph is scalable to massive WSIs without manual annotation of experts and interpretable to researchers and clinicians. I validated the prognosis prediction performance of TEA-graph using data from a total of 4,967 patients consisting of four different types of cancer. Especially, TEA-graph captured heterogeneous contextual features of clear cell renal cell carcinoma (ccRCC) on a dataset from 1366 patients and reflected these features to predict the prognosis of ccRCC. Additionally, TEA-graph provided interpretable contextual features and enabled us to categorize the contextual features into several groups that had different prognostic effects. Proposed results indicated that TEA- graph identified the complex interaction of histopathological features and therefore provided prognostic biomarkers in a data-driven manner. I showed the pathological features related to the favorable or unfavorable prognosis and suggested the angiogenetic pathological feature as a novel indicator of renal cell carcinoma. Furthermore, I checked which part of TEA-graph is critical for optimal performance with thorough hyperparameter screening and ablation studies, including performance comparison. Overall, the proposed method, including geometrical features, attention-based model, and the compressed network construction method, is critical in achieving optimal performance. Because contextual feature learning will introduce new insights to researchers and clinicians and overall performance increases to models, I believe that follow-up studies that incorporate other datasets, such as genetic materials or extend beyond pathology (radiology or MRI, CT), are possible. Overall, proposed TEA-graph can aid researchers from various fields that use deep-learning to the medical application.

본 연구는 WSI의 (WSI, Whole slide image) 메모리 효율적인 그래프 표현 과 맥락적 (Contextual) 특징을 고려하는 해석 가능한 그래프 신경망 (GNN, Graph neural network)을 기반으로 반 감독 방식 (Semi-supervised learning)의 그래프 학습을 사용하는 종양 환경 관련 맥락 분석이라는 새로 운 접근 방식인 TEA-graph를 제안합니다. 디지털 스캔한 종양 단면인 기 가픽셀 해상도의 WSI는 양적 및 데이터 기반 방식으로 병리학 분석의 접근 방식을 변경했습니다. 딥 러닝과 WSI의 결합은 임상적으로 중요한 작업에 서 더 많은 시너지 효과를 가져오는 동시에 병리학적 분석의 패러다임을 바 꾸었습니다. WSI에 대한 딥 러닝은 CAD (Computer-Aided diagnosis) 및 자동화된 분석을 위한 보조 도구로서 유례없는 결과를 보여주었지만 여전히 "환경적 병리학적 특징"인 종양 미세 환경 (TME, tumor microenvironment) 과 같은 임상적으로 중요한 병리학적 특징을 설명할 수 없었습니다. 본 연구에서 제안하는 TEA-graph는 메모리 효율적이고 반 감독 방식으로 WSI의 "환경적 병리학적 특징"을 학습하는 방식입니다. 기존에도 맥락 학습 을 위해 그래프 신경망을 사용하고 다양한 방식으로 전체 슬라이드 이미지 (WSI)를 압축한다는 유사한 개념이 도입된 바 있지만, 다양한 종양 미세 환 경을 구별하는 중요한 특징인 기하 구조적 특징을 그래프 신경망에 도입한 연구는 없었습니다. 본 연구는 제안한 슈퍼패치 (Superpatch)라는 네트워크 압축 기술을 통해 WSI에 대한 맥락적 정보를 잃지 않고 한번에 WSI를 활용하였습니다. 따라서 TEA-graph는 전문가의 모니터링이 없어도 대규모 WSI 데이터셋으로 확장이 가능하고 연구자와 임상의가 해석할 수 있는 정보까지 제공할 수 있습니다. 제안한 기술의 검증을 위해 4가지 다른 유형의 암으로 구성된 총 4,967명의 환자로부터 얻은 WSI 데이터를 사용하여 TEA-graph 의 예후 예측 성능을 확인했습니다. 특히, TEA-graph는 1366명의 환자로 부터 얻은 데이터 세트에서 투명 세포 신세포 암종(Clear cell renal cell carcinoma, ccRCC)의 이질적 맥락 특징을 포착하고 이러한 특징을 반영하 여 ccRCC의 예후를 예측했습니다. 또한 TEA-graph는 해석 가능한 맥락적 특징을 제공하고 이를 서로 다른 예후 효과를 갖는 여러 그룹으로 분류할 수 있게 해주었습니다. 이와 같은 결과는 TEA-graph가 조직병리학적 특징의 복잡한 상호작용을 식별하여 데이터 기반 방식으로 예후 바이오마커를 제공 했음을 나타냅니다. 또한, ccRCC의 새로운 예후 바이오마커적 특징을 제안 하였으며 성능 비교를 포함한 하이퍼파라미터 스크리닝 (Hyperparameter screening)을 통해 최적의 성능을 위해 TEA-graph의 파이프라인 상에서 중요한 부분을 확인했습니다. 본 연구는 병리학적 조직에 맥락적 특징 학습 을 활용하였지만, 이는 MRI, CT 등 다양한 데이터 종류에 활용될 수 있습니 다. 맥락적 특징 학습은 임상의에게 새로운 통찰력을 제공하고 병리학 분석 모델의 전반적인 성능을 향상시킬 것이기 때문에 향후 딥러닝을 의료 응용 에 활용하는 다양한 분야의 연구자에게 도움이 되고 활용 될 것으로 기대됩 니다.