arXiv reaDer
シミュレートされた超音波画像から現実的な超音波画像へのコンテンツ保存の対になっていない翻訳
Content-Preserving Unpaired Translation from Simulated to Realistic Ultrasound Images
超音波イメージングのインタラクティブシミュレーションにより、超音波検査のトレーニングが大幅に容易になります。レイトレーシングベースの方法は有望な結果を示していますが、リアルな画像を取得するには、かなりのモデリング作業と手動のパラメータ調整が必要です。さらに、現在の技術では、シミュレートされた画像と実際の臨床スキャンとの間に大きな外観のギャップが生じています。ここでは、シミュレートされた解剖学的レイアウトを維持しながら、この外観のギャップを埋めるために、新しいコンテンツ保存画像翻訳フレームワーク(ConPres)を紹介します。セマンティックセグメンテーションを使用したシミュレーション画像と対になっていない生体内超音波スキャンの両方を活用することで、この目標を達成します。私たちのフレームワークは、最近の対照的な対になっていない翻訳手法に基づいており、コンテンツとスタイルの解きほぐしを促進する、補助的なセグメンテーションから実像への翻訳タスクを学習することにより、正則化アプローチを提案します。さらに、ジェネレーターをクラス条件付きに拡張します。これにより、追加の損失、特に周期的な一貫性の損失を組み込むことができ、翻訳品質がさらに向上します。最先端の対になっていない翻訳方法に対する定性的および定量的比較は、提案されたフレームワークの優位性を示しています。
Interactive simulation of ultrasound imaging greatly facilitates sonography training. Although ray-tracing based methods have shown promising results, obtaining realistic images requires substantial modeling effort and manual parameter tuning. In addition, current techniques still result in a significant appearance gap between simulated images and real clinical scans. Herein we introduce a novel content-preserving image translation framework (ConPres) to bridge this appearance gap, while maintaining the simulated anatomical layout. We achieve this goal by leveraging both simulated images with semantic segmentations and unpaired in-vivo ultrasound scans. Our framework is based on recent contrastive unpaired translation techniques and we propose a regularization approach by learning an auxiliary segmentation-to-real image translation task, which encourages the disentanglement of content and style. In addition, we extend the generator to be class-conditional, which enables the incorporation of additional losses, in particular a cyclic consistency loss, to further improve the translation quality. Qualitative and quantitative comparisons against state-of-the-art unpaired translation methods demonstrate the superiority of our proposed framework.
updated: Thu Sep 30 2021 18:54:17 GMT+0000 (UTC)
published: Tue Mar 09 2021 22:35:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト