ステレオスコープベースの低侵襲手術(MIS)では、高密度ステレオマッチングは、3D形状回復、AR、VR、およびナビゲーションタスクで不可欠な役割を果たします。多数のディープニューラルネットワーク(DNN)アプローチが提案されていますが、オープンソースの注釈付きデータセットがなく、タスク固有の事前トレーニング済みDNNが制限されているため、従来の事前無料アプローチは依然として業界で人気があります。以前の無料のステレオマッチングアルゴリズムの中で、MIS用のGPU環境では成功したリアルタイムアルゴリズムはありません。この論文は、一般的なMISタスクのための最初のCPUレベルのリアルタイムの事前無料ステレオマッチングアルゴリズムを提案します。手術用画像用のシングルコアCPU(i5-9400)を使用して、640*480画像で平均17Hzを達成します。一方、人気のあるELASよりもわずかに優れた精度を実現します。修正されたステレオ画像には、パッチベースの高速視差探索アルゴリズムが採用されています。さまざまなスケールでパッチ確率を評価するために、粗いベイズ確率から細かいベイズ確率および空間ガウス混合モデルが提案されました。オプションの確率密度関数推定アルゴリズムを採用して、予測分散を定量化しました。広範な実験により、テクスチャのない表面によってもたらされる曖昧さ、および非ランバート反射と暗い照明からの測光の不一致を処理する提案された方法の能力が実証されました。推定された確率は、さまざまなスケールのステレオ画像のパッチの信頼性のバランスをとることができました。 MISのベースラインELASと同等またはそれ以上の精度と外れ値が少なく、4〜5倍高速です。コードと合成データセットは、https://github.com/JingweiSong/BDIS-v2で入手できます。
In stereoscope-based Minimally Invasive Surgeries (MIS), dense stereo matching plays an indispensable role in 3D shape recovery, AR, VR, and navigation tasks. Although numerous Deep Neural Network (DNN) approaches are proposed, the conventional prior-free approaches are still popular in the industry because of the lack of open-source annotated data set and the limitation of the task-specific pre-trained DNNs. Among the prior-free stereo matching algorithms, there is no successful real-time algorithm in none GPU environment for MIS. This paper proposes the first CPU-level real-time prior-free stereo matching algorithm for general MIS tasks. We achieve an average 17 Hz on 640*480 images with a single-core CPU (i5-9400) for surgical images. Meanwhile, it achieves slightly better accuracy than the popular ELAS. The patch-based fast disparity searching algorithm is adopted for the rectified stereo images. A coarse-to-fine Bayesian probability and a spatial Gaussian mixed model were proposed to evaluate the patch probability at different scales. An optional probability density function estimation algorithm was adopted to quantify the prediction variance. Extensive experiments demonstrated the proposed method's capability to handle ambiguities introduced by the textureless surfaces and the photometric inconsistency from the non-Lambertian reflectance and dark illumination. The estimated probability managed to balance the confidences of the patches for stereo images at different scales. It has similar or higher accuracy and fewer outliers than the baseline ELAS in MIS, while it is 4-5 times faster. The code and the synthetic data sets are available at https://github.com/JingweiSong/BDIS-v2.