로봇 자동화분야의 최고권위 학술대회인 ICRA 2022에서 공개된 논문입니다. 비강 내시경 촬영 영상을 3D로 복원하는 SLAM 논문입니다. 1. Introduction - 내시경 수술 분야 중, 비강 내시경 수술(ESS, endoscopic endonasal surgery)에서는 코와 부비동, 두개골, 안와, 기저부와 같은 부위의 구조와 위치 관계를 아는 것이 중요합니다. - 기형, 이전에 했던 수술, 대량 폴립증 등은 수술을 크게 방해할 수 있어 환자의 시력 상실, 복시, 경동맥 손상 등 큰 위험을 초래할 수 있다고 합니다. - 연구진은 이러한 문제를 해결하기 위해 해부학적 구조의 표면 형상을 얻기 위한 단안 SLAM 시스템을 개발했습니다. main contribution은 다음과 같습니다. 1. 단..
MICCAI 2020에서 발표된 monocular 영상을 이용해 부비동을 3D 복원하는 논문입니다. 개인적으로 비슷한 도메인에서 좋은 연구를 하고있는 Xingtong Liu라는 사람의 논문을 찾아보다가 읽게 되었습니다. 1. Introduction sinus anantomy (부비동 해부학)에서는 대부분 환자의 부비동 구조 이상에 따른 후두기관협착증, 폐쇄성 수면 무호흡증, 머리와 목 부위의 비강 폐쇄같은 문제가 발생합니다. 좁아진 airway 때문에 환자들이 고통을 겪습니다. 이런 질병을 치료하기위해 수십억 달러가 사용되어 환자들의 삶의 질을 크게 향상시키지만, 40% 이상의 경우가 단기간만 지속된다고 합니다. 일부 가설에서는 부비동의 해부학적 모양때문이라고 하지만, 객관적인 측정 방법이 없다고 합니다..
2022년 7월 EMBC (IEEE Engineering in Medicine & Biology Society) 콘퍼런스에서 공개된 weakly supervised polyp segmentation 논문입니다. 힘들게 구한 논문인데 4쪽짜리 논문이었고, image-level labeled 데이터만 사용한 줄 알았으나 그게 아니었습니다... 1. Introduction 여타 논문들처럼 대장암(CRC, Colorectal cancer)의 발병률 및 치명율을 언급하면서, 대장내시경을 통한 조기진단이 생존율을 높인다는 이야기로 시작하고, U-net과 같은 encoder-decoder 아키텍처 기반의 모델들이 polyp detection, segmentation, characterization 등에 사용되기 시작..
2022년 Journal of Imaging에 실린 "Weakly Supervised Polyp Segmentation in Colonoscopy Images Using Deep Neural Networks" 논문입니다. 이전에 리뷰했던 image-level label 데이터를 가지고 한건 아니고, Bounding Box 정도의 weak annotation을 이용해서 그 안에서 segmentation을 진행했습니다. 1. Introduction Introduction에서는 암으로 발전 가능한 대장 용종을 전문의가 찾아내지 못함으로 인한 위험과 사망률 등을 통계 수치로 제시하고 있습니다. 이에 따라 대장내시경 검사의 효율을 높이기 위해서 고화질, NBI (Narrow-band Imaging), 확대 내시경..
ECCV 2022 (European Conferences on Computer Vision 2022)에서 발표된 Vision Transformer를 이용한 WSSS입니다. 지난번에 다루었던 MCTformer를 넘어서는 성능을 보여 읽어보았습니다. 1. Introduction introduction에서 WSSS 연구의 평가 방법에 대해 설명해주는 것이 좋았습니다. 기본적으로 WSSS 기법을 평가할 때에는, WSSS로 생성한 pseudo-mask를 DeepLab 같은 supervised segmentation network에 학습시킵니다. 이 과정을 "verification task"라고 합니다. pseudo-mask가 얼마나 잘 만들어졌는지 확인하기 위한 작업입니다. 이 논문에서도 역시 CNN + CAM ..
CVPR2022에서 발표된 WSSS 논문입니다. 특별한 점은 Transformer의 Attention map을 이용해 기존의 CAM 기법과 유사하면서도 높은 성능을 내는 모델을 개발한 점입니다. 특히나 Multi-class token을 이용해 한 이미지에서 여러 class를 분할할 수 있다고 합니다. 1. Introduction 이전에도 언급했듯이, WSSS의 가장 중요한 단계는 더 정확한 pseudo segmentation ground-truth를 생성해내는 것입니다. 이를 해내기 위해 CAM 기반의 기법이 유행을 했고 다양한 확장 기법과 학습 기법이 연구되었지만, 완벽한 segmentation을 하기에는 한계가 있었습니다. 그러나 NLP 분야에서 핫하던 Transformer를 이용한 ViT(Visio..
CVPR 2022에 나온 WSSS 관련 논문인 Weakly Supervised Semantic Segmentation using Out-of-Distribution Data입니다. 저자가 한국 사람들이기도 하고, 최근에 OOD 개념에 대해 들어보기도 해서 관심이 생겨 읽어보았습니다. 추가로 지금까지는 논문 내용을 그저 '정리'만 했는데, 이제는 내용을 모두 담지 않더라도 조금 더 분석적, 비판적으로 읽고 생각한 내용을 적어보려고 합니다. Introduction 본 논문에서는 '간단한 이미지 추가'만으로 WSSS 성능을 올릴 수 있었다고 합니다. 그 이미지는 바로 Out-Of-Distribution(이상치) 데이터입니다. 논문 첫 장부터 간단한 그림을 통해 어떤 novelty를 가지고 있는지 확인시켜줍니다..
CVPR 2022에서 발표된 WSSS (Weakly Supervised Semantic Segmentation) 관련 논문(링크)입니다. 'Semantic' 사전적으로 '의미'라는 뜻을 가지고 있는데, 말 그대로 이미지 안에서 '의미' 단위로 '분할'하는 것이 Semantic Segmentation 이 되겠습니다. 특히나 저는 요즘 의료이미지를 다루고 있기 때문에, Medical Image에 적합한 모델을 찾던 도중 이 논문을 발견했는데요. 코드도 공개했다길래 보니까 지금은 닫혀있네요; Weakly Supervised Learning 이 그 방법상 인류에게 더 도움이 될 거 같다는 생각에 최근에 많이 연구하고 있습니다. Segmentation, Detection을 위해 일일이 사람이 annotation ..
Polyp segmentation에서 SOTA를 기록했던 모델입니다. pyramid Transformer Encoder와 Local Emphasis라는 강조 모듈을 사용한 Progressive Locality Decoder를 사용해 성능을 높였다고 합니다. 여기서 속도를 개선해 real-time task에 알맞게 만든 모델이 ESFPNet입니다. Abstract 대장내시경은 대장암을 조기에 찾아내는 데에 필요한 폴립 탐지에 가장 효율적인 기술 사이즈, 형태가 다 다르고 정상 점막과의 경계도 희미해서 정확한 segmentation이 여전히 도전과제임 폴립 이미지가 매우 다양해서 딥러닝 모델조차 현재 데이터셋에 오버 피팅되기 쉬움 pyramid Transformer encoder를 이용한 SSFormer를 ..
현재 기준 (2022년 10월 24일) paperswithcode Medical Image Segmentation 분야에서 SOTA를 기록한 알고리즘입니다. 최근에 내시경 영상을 이용한 병변 detection & segmentation을 연구하고 있어 읽어보았습니다. Mix Transformer와 feature-pyramid 모델을 결합해 real-time segmentation이 가능한 모델을 제시했습니다. ABSTRACT - 폐암은 세계적으로 가장 치명적인 질병이기때문에 조기에 발견하는 것이 중요함 - 기관지 내시경(bronchoscopy)으로 이를 탐지하는 게 가장 효율적임 - 전문의들은 white-light bronchoscopy (WLB), autofluorescence bronchoscopy ..