로봇 자동화분야의 최고권위 학술대회인 ICRA 2022에서 공개된 논문입니다. 비강 내시경 촬영 영상을 3D로 복원하는 SLAM 논문입니다.
1. Introduction
- 내시경 수술 분야 중, 비강 내시경 수술(ESS, endoscopic endonasal surgery)에서는 코와 부비동, 두개골, 안와, 기저부와 같은 부위의 구조와 위치 관계를 아는 것이 중요합니다.
- 기형, 이전에 했던 수술, 대량 폴립증 등은 수술을 크게 방해할 수 있어 환자의 시력 상실, 복시, 경동맥 손상 등 큰 위험을 초래할 수 있다고 합니다.
- 연구진은 이러한 문제를 해결하기 위해 해부학적 구조의 표면 형상을 얻기 위한 단안 SLAM 시스템을 개발했습니다. main contribution은 다음과 같습니다.
- 1. 단안 내시경을 위한 Learning-based appearance and geometry priors 기반의 SLAM 시스템
- 2. pair-wise 이미지의 appearance와 geometry prior를 학습하는 pipeline 개발
2. Related Work
- Representation learning for visual tracking and mapping (Reperesentation Learning이란?)
- Simulatneous localization and mapping in endoscopy
3. Representation Learning
A. Network Architecture
- geometry 와 appearance representations를 학습하는 두 개의 분리된 네트워크를 가지고 있습니다.
- 하나의 네트워크로는 잘못된 결과를 출력할 확률이 높기 때문에 appearance 정보를 가지고 있는 네트워크를 추가해 동시에 학습하면서 성능을 높였다고 합니다.
B. Differentiable Optimization
- pair-wise 한 이미지 alignment 문제를 풀기 위해 differentiable non-linear optimization 기법이 필요했고, Levenberg-
Marquardt (LM) algorithm (설명)을 채택했다고 합니다. 해가 멀리떨어져 있을 때는 gradient descent 방법으로 학습하다가, 해 근처에서는 가우스-뉴턴 방식으로 최적화를 한다고 합니다.
C. Loss Design, D. Training Procedure
생략
4. Simultaneous Localization and Mapping
A. Overview
- Camera Tracking 모듈에서 키프레임 이미지를 선정하고, prediction을 진행합니다.
- Keyframe Creation 모듈에서 매 시퀀스마다 키프레임 이미지를 추출하고, Bag-of-Words vector로 변환해 저장해 놓습니다.
- Loop Closure 모듈에서 Local Loop와 Global Loop를 탐지하고, depth 스케일과 pose를 조정합니다.
- Mapping 모듈에서 depth와 scale, pose를 계속해서 최적화합니다.
B. Factor Design
- 연구진은 Mapping 모듈에서 사용할 여러 가지 factor들을 정의해 놓았습니다.
5. Experiments
A. Cross-Subject Evaluation
- SLAM 분야에서 좋은 성능을 보이는 ORB-SLAM v3 와의 성능 비교표입니다. 모든 metric에서 더 우수함을 보였습니다.
B. Ablation Study
C. Evaluation with CT
- CT 모델과 비교를 통해 reconstruction을 수행한 결과, 4개의 동영상 시퀀스에서 Residual Error가 각각 0.83, 0.88, 0.78, 0.86 mm로 측정되었다고 합니다.
6. Conclusion
- 연구진은 본 연구를 통해 learning-based appearance와 optimizable geometric priors를 결합한 monocular 내시경 추적 및 재건 SLAM 시스템을 개발했습니다.
- texture의 부족, illumination 변화, unseen 시나리오에 대해 강건한 모델을 만들었습니다.
- 단, 한번 잘못된 global loop connection을 복원할 수 없는 단점이 있고, 이 논문의 연구를 통해 보정할 수 있을 것이라고 합니다.
Ref.
https://ieeexplore.ieee.org/abstract/document/9812257
SAGE: SLAM with Appearance and Geometry Prior for Endoscopy
In endoscopy, many applications (e.g., surgical navigation) would benefit from a real-time method that can simultaneously track the endoscope and reconstruct the dense 3D geometry of the observed anatomy from a monocular endoscopic video. To this end, we d
ieeexplore.ieee.org
