arXiv reaDer
対になっていない画像から画像への変換における相互に改善された内視鏡画像合成とランドマーク検出
Mutually improved endoscopic image synthesis and landmark detection in unpaired image-to-image translation
CycleGANフレームワークは、ペアになっていないデータの教師なし画像から画像への変換を可能にします。物理的な外科シミュレータでの外科トレーニングのシナリオでは、この方法を使用して、ファントムの内視鏡画像を、同じ外科標的構造の術中の外観により近い画像に変換することができます。これは、前の作業でハイパーリアリズムを作り出した、新しい拡張現実アプローチと見なすことができます。このユースケースでは、スタイルをより組織のような外観に変更しながら、針、縫合糸、器具などのオブジェクトを両方のドメインで一貫して表示することが最も重要です。これらのオブジェクトのセグメンテーションは直接転送を可能にしますが、これらの、部分的に小さくて薄い前景オブジェクトの輪郭は扱いにくく、おそらく不正確です。代わりに、縫合糸が組織に入るときのポイントでランドマーク検出を使用することを提案します。この目的は、事前にトレーニングされた検出器モデルのパフォーマンスを追加の最適化目標として扱うことにより、CycleGANフレームワークに直接組み込まれます。これらのまばらなランドマークラベルで定義されたタスクが、両方のドメインのジェネレータネットワークによる合成の一貫性を向上させることを示します。ベースラインのCycleGANアーキテクチャを提案された拡張機能(DetCycleGAN)と比較すると、平均精度(PPV)が+61.32向上し、平均感度(TPR)が+37.91向上し、平均F1スコアが+0.4743向上しました。さらに、データセットの融合により、生成された術中画像を検出ネットワーク自体の追加のトレーニングデータとして活用できることを示すことができます。データは、アダプターMICCAIチャレンジ2021(https://adaptor2021.github.io/)のスコープ内でリリースされ、コードはhttps://github.com/Cardio-AI/detcyclegan_pytorchでリリースされます。
The CycleGAN framework allows for unsupervised image-to-image translation of unpaired data. In a scenario of surgical training on a physical surgical simulator, this method can be used to transform endoscopic images of phantoms into images which more closely resemble the intra-operative appearance of the same surgical target structure. This can be viewed as a novel augmented reality approach, which we coined Hyperrealism in previous work. In this use case, it is of paramount importance to display objects like needles, sutures or instruments consistent in both domains while altering the style to a more tissue-like appearance. Segmentation of these objects would allow for a direct transfer, however, contouring of these, partly tiny and thin foreground objects is cumbersome and perhaps inaccurate. Instead, we propose to use landmark detection on the points when sutures pass into the tissue. This objective is directly incorporated into a CycleGAN framework by treating the performance of pre-trained detector models as an additional optimization goal. We show that a task defined on these sparse landmark labels improves consistency of synthesis by the generator network in both domains. Comparing a baseline CycleGAN architecture to our proposed extension (DetCycleGAN), mean precision (PPV) improved by +61.32, mean sensitivity (TPR) by +37.91, and mean F1 score by +0.4743. Furthermore, it could be shown that by dataset fusion, generated intra-operative images can be leveraged as additional training data for the detection network itself. The data is released within the scope of the AdaptOR MICCAI Challenge 2021 at https://adaptor2021.github.io/, and code at https://github.com/Cardio-AI/detcyclegan_pytorch.
updated: Wed Jul 14 2021 19:09:50 GMT+0000 (UTC)
published: Wed Jul 14 2021 19:09:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト