arXiv reaDer
3D再構成のためのマルチスケールトポロジカル損失項を使用した形状情報のキャプチャ
Capturing Shape Information with Multi-Scale Topological Loss Terms for 3D Reconstruction
2D画像から3Dオブジェクトを再構築することは、私たちの脳と機械学習アルゴリズムの両方にとって困難です。この空間推論タスクをサポートするには、オブジェクトの全体的な形状に関するコンテキスト情報が重要です。ただし、そのような情報は、確立された損失条件(ダイス損失など)では取得されません。再構成損失に連結成分、サイクル、ボイドなどのマルチスケール位相幾何学的特徴を含めることにより、幾何学的形状情報を補完することを提案します。私たちの方法は、3次複体を使用して3Dボリュームデータの位相的特徴を計算し、最適な輸送距離を使用して再構成プロセスをガイドします。このトポロジー認識損失は、完全に微分可能で、計算効率が高く、任意のニューラルネットワークに追加できます。 2D顕微鏡画像に基づいて個々の細胞の3D細胞形状を予測するためのモデルである、SHAPRに組み込むことにより、損失の有用性を示します。単一オブジェクトの幾何学的情報とトポロジー情報の両方を活用して形状を評価するハイブリッド損失を使用すると、トポロジー情報によって再構成の品質が大幅に向上し、画像データセットからより関連性の高い特徴を抽出できることがわかります。
Reconstructing 3D objects from 2D images is both challenging for our brains and machine learning algorithms. To support this spatial reasoning task, contextual information about the overall shape of an object is critical. However, such information is not captured by established loss terms (e.g. Dice loss). We propose to complement geometrical shape information by including multi-scale topological features, such as connected components, cycles, and voids, in the reconstruction loss. Our method uses cubical complexes to calculate topological features of 3D volume data and employs an optimal transport distance to guide the reconstruction process. This topology-aware loss is fully differentiable, computationally efficient, and can be added to any neural network. We demonstrate the utility of our loss by incorporating it into SHAPR, a model for predicting the 3D cell shape of individual cells based on 2D microscopy images. Using a hybrid loss that leverages both geometrical and topological information of single objects to assess their shape, we find that topological information substantially improves the quality of reconstructions, thus highlighting its ability to extract more relevant features from image datasets.
updated: Fri Sep 16 2022 08:34:15 GMT+0000 (UTC)
published: Thu Mar 03 2022 13:18:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト