arXiv reaDer
拡散モデルは、2D 顕微鏡画像から 3D 形状を予測します
A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images
拡散モデルは生成モデルのクラスであり、自然画像データセットでトレーニングした場合、リアルな画像を作成する際に他の生成モデルと比較して優れたパフォーマンスを示します。 2 次元 (2D) 単一細胞顕微鏡画像からの 3 次元 (3D) 細胞形状予測の逆問題を解決するための拡散ベースのモデルである DISPR を紹介します。事前に 2D 顕微鏡画像を使用して、DISPR は現実的な 3D 形状再構成を予測するように調整されます。機能ベースの単一細胞分類タスクにおけるデータ拡張ツールとしての DISPR の適用性を紹介するために、6 つの非常に不均衡なクラスにグループ化された細胞から形態学的特徴を抽出します。 DISPR の予測から 3 つの少数派クラスに特徴を追加すると、マクロ F1 スコアが F1_macro = 55.2 ±4.6% から F1_macro = 72.2 ±4.9% に改善されました。このコンテキストで拡散ベースのモデルを採用した最初の方法であるこの方法により、拡散モデルを 3D の逆問題に適用できること、および 2D 顕微鏡画像から現実的な形態学的特徴を使用して 3D 形状を再構築することを学習することを示します。
Diffusion models are a class of generative models, showing superior performance as compared to other generative models in creating realistic images when trained on natural image datasets. We introduce DISPR, a diffusion-based model for solving the inverse problem of three-dimensional (3D) cell shape prediction from two-dimensional (2D) single cell microscopy images. Using the 2D microscopy image as a prior, DISPR is conditioned to predict realistic 3D shape reconstructions. To showcase the applicability of DISPR as a data augmentation tool in a feature-based single cell classification task, we extract morphological features from the cells grouped into six highly imbalanced classes. Adding features from predictions of DISPR to the three minority classes improved the macro F1 score from F1_macro = 55.2 ±4.6% to F1_macro = 72.2 ±4.9%. With our method being the first to employ a diffusion-based model in this context, we demonstrate that diffusion models can be applied to inverse problems in 3D, and that they learn to reconstruct 3D shapes with realistic morphological features from 2D microscopy images.
updated: Tue Aug 30 2022 10:21:40 GMT+0000 (UTC)
published: Tue Aug 30 2022 10:21:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト