2019

Oral Sessions – MICCAI 2019

Real-time 3D reconstruction of colonoscopic surfaces for determining missing regions

解決問題：實時密集重建結腸表面，并顯示缺失區域

方法：用RNN預測深度圖和連續幀的相機姿態，合并到一個帶有局部窗口優化的標準的 SLAM 框架。 使用優化的相機姿態，最終融合成一個全局曲面。

深度學習驅動跟蹤是基于RNN-DP，為視頻中的每個圖像預測深度圖和攝像機姿態（Wang, R., Pizer, S.M., Frahm, J.M.: Recurrent neural network for (un-) supervisedlearning of monocular video visual odometry and depth. In: Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2019)）

Fusion 方法：SurfelMeshing 它以RGB+深度+相機序列作為輸入，生成一個3D曲面。

**Real-time Surface Deformation Recovery from Stereo Videos **

本文提出了一種實時估計立體視頻組織表面變形的方法，首先采用立體匹配方法從立體視頻幀中提取深度信息并生成組織模板，然后通過最小化ICP、ORB特征匹配和盡可能剛性(ARAP)代價來估計得到的模板的變形。

立體匹配方法：Zhou, H., and J. Jagadeesan. :Real-time Dense Reconstruction of Tissue Surface from Stereo Optical Video. IEEE Transactions on Medical Imaging (2019).

2020

MICCAI2020-Detailed-Program.pdf

Deep Multi-View Stereo for Dense 3D Reconstruction from Monocular Endoscopic Video Bae_et_al_MICCAI20_DeepMVS.pdf (cam.ac.uk)

本文提出了一種新的基于深度學習的MVS算法，該算法能夠從單眼內窺鏡圖像序列中產生密集而準確的三維重建。

使用單目深度估計網絡來約束深度候選采樣的搜索空間；提出了一種新的貼片嵌入網絡，與ZNCC等立體匹配算法相比，該算法的精度得到了提高，計算量也更低；在計算序列中相鄰圖像的得分后，選擇最小值，通過加強多視圖的一致性來提高重建質量

方法：三個預處理步驟，然后是一個多視點立體重建。 預處理的三個步驟是：（1）利用SFM進行稀疏重建，(2)利用CNN進行單目深度估計，(3)利用貼片嵌入網絡（patch embedding network）生成嵌入矢量

Deep Learning Assisted Automatic Intra-operative 3D Aortic Deformation Reconstruction

Zhang, Yanhao; Falque, Raphael; Zhao, Liang; Huang, Shoudong; Hu, Boni Centre for Autonomous Systems, University of Technology Sydne

本文提供了一個框架，通過融合術前三維靜態模型和術中二維透視圖像來重建實時三維主動脈形狀

術前操作為靜態模型分割和神經網絡訓練。 術中操作包括特征提取、基于SDF的對應關系計算和主動脈三維變形重建

2021

MICCAI 2021 - Accepted Papers and Reviews

https://link.springer.com/content/pdf/10.1007/978-3-030-87231-1.pdf

E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception

2107.00229v1.pdf (arxiv.org)

提出了一個高效的三維重建pipeline，用于高動態的手術場景，設計了一個基于transformer的立體深度感知器來估計深度，并設計了一個輕量級的刀具分割器來處理刀具遮擋。在此基礎上，提出了一種動態重建算法，該算法能夠估計組織的變形和攝像機的運動，并將信息隨時間的變化聚合起來，用于手術場景的重建。

? EMDQ-SLAM: Real-time High-resolution Reconstruction of Soft Tissue Surface from Stereo Laparoscopy Videos

2022

Categories | MICCAI 2022 - Accepted Papers and Reviews

https://link.springer.com/content/pdf/10.1007/978-3-031-16446-0.pdf

? Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery

提出了一種新的基于神經渲染的單視點雙目圖像動態手術場景重建框架，并解決了復雜的組織變形和工具遮擋問題。

方法：遵循D-NERF[21]中的模型，將可變形的手術場景表示為規范的神經輻射場和隨時間變化的神經位移場，用神經隱式場來表示動態的手術場景；掩模引導光線投射策略來解決刀具遮擋問題；結合了一種深度提示的光線行進和深度監督的優化方案，使采樣點集中在組織表面附近，從而在渲染中施加立體先驗。

實驗：在我們所有的實驗中，工具掩模是通過人工標記獲得的，粗糙的立體深度圖是通過STTR-Light[9]在場景流上預先訓練生成的。實驗數據需要rgb圖像、深度圖、工具掩膜、相機位姿（LLFF格式）。

? Deep Laparoscopic Stereo Matching with Transformers

在本文中，我們全面研究了transformer在立體匹配問題中的應用，并提出了一種新的混合深度立體匹配框架(HybridStereoNet)，該框架將CNN和transformer的優點結合在一個統一的設計中。

? Bayesian dense inverse searching algorithm for real-time stereo matching in minimally invasive surgery

該方法建立在快速LK算法的基礎上，以從粗到細的方式對立體圖像進行視差估計。該方法可以處理由于無紋理表面引起的模糊性和由于非朗伯反射率引起的光度不一致。

? Stereo Depth Estimation via Self-Supervised Contrastive Representation Learning

提出了一個兩階段的訓練過程，包括:(1)執行左右視圖的對比表示學習(CRL)來學習離散立體特征(2)利用訓練好的CRL模型通過基于光度損失的自監督訓練來學習視差