Microscopic Augmented Reality for Long-Term Live Cell Imaging

Abstract

Long-term, live cell imaging has been one of the inevitable process of the cell fate investigation. However, without relatively expensive equipments like stage encoder or built-in incubator microscope, the process of re-locating region of interest (ROI) generally becomes troublesome work. Thus it is ongoing work to develop inexpensive, efficient way to re-locate the ROI during imaging time. We printed the augmented reality indicators in microscopic scale, to accomplish the imaging area re-locating convenience and developed the process of using them. An open-source algorithm of recognizing the pattern of the indicators from captured image gives the x, y and rotation data of the indicator. The performance of the developed imaging method are measured, and tested with the real-cell fate investigation. We found that with focusing the augmented reality indicators during location finding time(using computer vision based pattern recognition), then focusing the specimen only during investigation, augmented reality indicators can provide accurate, convenient, inexpensive way to re-locate the ROI without using any other additional equipments.

장기간에 걸친 세포 관찰은 세포의 일생을 탐구하는 데에 있어서 필수적인 과정이다. 그러나 현미경 스테이지 인코더, 혹은 인큐베이터가 포함된 현미경과 같은 고가의 장비 없이, 관찰하고자 하는 흥미 영역 (Region of Interest: ROI)를 반복해서 찾아가는 것은 매우 번거로운 일이다. 따라서 저가의 효율적인 ROI 재탐색 방법을 개발하고자 하는 다양한 방법이 시도되고 있다. 이 연구에서는 증강현실 표지를 마이크로 스케일로 인쇄하여 이를 활용한 편리한 ROI 재탐색 방법을 제안한다. 마이크로 스케일로 인쇄된 증강현실 지표는 관찰하고자 하는 세포 배양지 아래에 부착된다. 이 지표는 현미경의 카메라로 촬영되었을 때, 이미지 분석 알고리즘을 통하여 각 지표의 x, y, 회전각, ID 정보를 제공한다. 따라서 부착된 지표는 세포 배양지의 상대적인 좌표를 제공하게 된다. 이 시스템에서 관찰자는 원하는 위치를 찾고자 할 때에 증강현실 지표에 초점을 맞추고, 해당하는 위치에 도달하면 관찰 세포에 초점을 맞추는 과정을 거치게 된다. 본 논문에서 제안한 방법으로 증강현실 지표를 활용하면 고가의 부가적인 장비 없이도, 정확하고, 편리하며, 값싼 장기간 세포 관찰 방법을 제공할 수 있다.