arXiv reaDer
Developmental Stage Classification of EmbryosUsing Two-Stream Neural Network with Linear-Chain Conditional Random Field
胚の発生過程は単調な順序に従います。胚は、1つの細胞から複数の細胞へと徐々に切断し、最終的に桑実胚と胚盤胞に変化します。胚のタイムラプスビデオの場合、ほとんどの既存の発達段階分類方法は、各タイムステップで画像フレームを使用してフレームごとの予測を実行します。ただし、画像のみを使用した分類では、セル間のオーバーラップやステージ間の不均衡が発生します。時間情報は、隣接するフレーム間の動きをキャプチャすることにより、この問題に対処するのに役立ちます。この作業では、発達段階の分類のための2つのストリームモデルを提案します。以前の方法とは異なり、2ストリームモデルは時間情報と画像情報の両方を受け入れます。両方のモダリティを利用するために、時間ストリームと画像ストリームから抽出されたニューラルネットワークの特徴の上に線形チェーン条件付き確率場(CRF)を開発します。線形チェーンCRFの定式化により、複数のフレームにわたるグローバルシーケンシャルモデルの扱いやすいトレーニングが可能になると同時に、学習プロセスに単調な開発順序の制約を明示的に注入することもできます。 2つのタイムラプス胚ビデオデータセットでアルゴリズムを示します:i)マウスとii)ヒト胚データセット。私たちの方法は、マウスとヒトの胚の段階分類でそれぞれ98.1%と80.6%を達成します。私たちのアプローチは、より深遠な臨床的および生物学的研究を可能にし、時間的情報を利用することによって発達段階分類の新しい方向性を示唆します。
The developmental process of embryos follows a monotonic order. An embryo can progressively cleave from one cell to multiple cells and finally transform to morula and blastocyst. For time-lapse videos of embryos, most existing developmental stage classification methods conduct per-frame predictions using an image frame at each time step. However, classification using only images suffers from overlapping between cells and imbalance between stages. Temporal information can be valuable in addressing this problem by capturing movements between neighboring frames. In this work, we propose a two-stream model for developmental stage classification. Unlike previous methods, our two-stream model accepts both temporal and image information. We develop a linear-chain conditional random field (CRF) on top of neural network features extracted from the temporal and image streams to make use of both modalities. The linear-chain CRF formulation enables tractable training of global sequential models over multiple frames while also making it possible to inject monotonic development order constraints into the learning process explicitly. We demonstrate our algorithm on two time-lapse embryo video datasets: i) mouse and ii) human embryo datasets. Our method achieves 98.1 % and 80.6 % for mouse and human embryo stage classification, respectively. Our approach will enable more profound clinical and biological studies and suggests a new direction for developmental stage classification by utilizing temporal information.
updated: Tue Jul 13 2021 19:56:01 GMT+0000 (UTC)
published: Tue Jul 13 2021 19:56:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト