로봇 수술에서의 머리 착용형 디스플레이 기반 제어에 관한 연구

Abstract

현존하는 복강경 로봇 수술은 다양한 이점을 제공하지만 수술 중 집도의는 목, 어깨 그리고 등의 통증을 유발하는 불편한 자세를 유지해야 한다. 본 연구에서는 이러한 단점을 개선하기 위하여 머리 착용형 디스플레이(Head-mounted display, HMD)에 기반한 제어 시스템을 제안한다. 본 연구에서 활용되는 전체 시스템은 da Vinci research kit (dVRK)와 4 자유도의 내시경 제어 시스템 (Endoscope control system, ECS), 내시경 모듈, Attitude and heading reference system (AHRS)이 내장된 HMD로 구성된다. 4 자유도 ECS에 결합되어 사용되는 내시경 모듈은 HMD에 내장된 AHRS에 의해 제어되며, 이 HMD은 dVRK에 있는 Stereo viewer를 대체하여 수술 로봇 시스템의 크기를 축소할 수 있다. 수술 로봇 플랫폼에서 HMD 기반 제어의 적용 가능성을 평가하기 위해 해당 시스템을 다루어 본 경험이 없는 4명의 지원자들을 모집하여 Peg transfer task를 수행하게 하였다. 또한, HMD 기반 제어의 사용성을 평가하기 위해 Line tracking test를 진행하였다. 지원자들은 본 시스템에 빠른 속도로 학습하는 경향을 보여주었으며, 사용자 간 변산도 (Inter-user variability) 또한 매우 작았다. 내시경과 수술 도구를 동시에 제어하는 경우, 내시경 하드웨어와 수술 도구 사이의 충돌에 취약할 수 있다. 이에, HMD을 기반으로 ECS을 조종할 때에 적용되는 충돌 방지 전략을 개발하였다. 수술 기구와 내시경을 둘러싸는 Oriented bounding boxes (OBBs)를 정의하고 박스들 간의 충돌 가능성을 계산함으로써 수술 기구와 내시경 간의 충돌 여부를 추정하였으며, 사용자의 의도와 충돌 방지를 동시에 제어 신호에 반영하였다. dVRK에서는 End-effector의 실시간 위치 추적 데이터를 제공하지 않기 때문에 충돌 방지 전략을 검증하기 위해 MATLAB®을 활용한 컴퓨터 시뮬레이션을 수행하였다. 그 결과, 충돌 방지 전략이 수술 환경의 안전성을 보장함을 확인할 수 있었고, 안전성과 사용자의 의도 간 Trade-off를 적절히 고려한 Blending 파라미터 범위를 제안하였다. 본 연구를 통해 제안하는 HMD 기반 내시경 제어는 집도의의 목, 어깨 그리고 등에 발생하는 통증을 감소시킬 수 있어, 결과적으로 보다 효율적인 수술이 가능할 것이다. 또한, 기존의 Stereo viewer와 비교하여 공간적 효율성 또한 크게 개선할 수 있어, 차세대 수술 로봇의 제어 인터페이스로서 활용이 가능할 것으로 사료된다.

Robotic laparoscopic surgery has provided various benefits, but during the surgery, the surgeons are experiencing uncomfortable positioning issue which leads to neck, shoulder, and back pain. For improving this issue, a novel head-mounted display (HMD) based endoscope control system (ECS) considering an ergonomic aspect is proposed in this research. The overall system is composed of a da Vinci research kit (dVRK), 4-degree-of-freedom ECS, endoscope module, and HMD with a built-in attitude and heading reference system (AHRS). The endoscope module is controlled by a built-in AHRS in the HMD. The stereo viewer in dVRK could be replaced by the HMD, so it would reduce the size of surgical robot system. Applicability of the proposed system to surgical robot platform was verified by peg-transfer task with four novice volunteers. Also, line tracking test was conducted to assess usability of the HMD based control. They showed rapid learning to the system and small value of inter-user variability. In the case of simultaneous control of HMD and surgical instruments, the collision issue between them could be raised. Thus, a collision avoidance strategy for HMD based ECS control was developed. Oriented bounding boxes (OBBs) containing the surgical instruments and endoscope were defined. And then, it is estimated whether the surgical instruments and endoscope collide through calculating the possibility between the OBBs. The control signal to endoscope includes both the user intention and collision avoidance strategy. dVRK does not provide real-time position data of its end-effectors, so computer-based simulations through MATLAB® were performed to verify the collision avoidance strategy. As a result, the strategy was assured of safety of surgery, and the range of blending parameter considering a trade-off between the user intention and safety was proposed. The HMD based ECS proposed in this research could reduce surgeons pains in neck, shoulder, and back, so it would lead to more efficient surgery. Additionally, space efficiency could be improved compared with the existing stereo viewer, so it is considered that the proposed system could be used as the control interface of the next-generation surgical robot.