arXiv reaDer
ASIST: Annotation-free Synthetic Instance Segmentation and Tracking by Adversarial Simulations
背景:顕微鏡ビデオの定量分析では、多くの場合、インスタンスのセグメンテーションと細胞内および細胞内オブジェクトの追跡が必要です。従来の方法は、(1)各フレームのインスタンスオブジェクトセグメンテーションを実行することと、(2)オブジェクトをフレームごとに関連付けることの2つの段階で構成されます。最近、ピクセル埋め込みベースの深層学習は、単一ステージの全体的なソリューションとして、これら2つのステップに同時にアプローチします。コンピュータビジョンでは、一貫したセグメンテーションとトラッキングを備えた注釈付きトレーニングデータはリソースを大量に消費します。その重大度は、(1)高密度のオブジェクト(例、オーバーラップまたはタッチ)、および(2)高いダイナミクス(例、不規則)のために顕微鏡イメージングで倍増します。運動と有糸分裂)。敵対的なシミュレーションは、シミュレーション環境(コンピュータゲームなど)を使用して実際の自動運転システムをトレーニングするなど、コンピュータビジョンのダイナミクスシーンでのこのような注釈の欠如を軽減するための成功したソリューションを提供しました。方法:この論文では、敵対的シミュレーションと単一段階のピクセル埋め込みベースの学習を使用した、注釈のない合成インスタンスのセグメンテーションと追跡(ASIST)方法を提案します。貢献:この論文の貢献は3つあります。(1)提案された方法は、敵対的なシミュレーションと単一段階のピクセル埋め込みベースの深層学習を集約します。 (2)この方法は、細胞(HeLa細胞)と細胞内(微絨毛)の両方のオブジェクトで評価されます。 (3)私たちの知る限り、これは顕微鏡ビデオの注釈なしのインスタンスセグメンテーションと追跡研究を調査した最初の研究です。結果:ASISTメソッドは、完全に監視されたアプローチと比較して、重要な前進を達成しました。ASISTは、完全に監視された方法と比較して、微絨毛で7%から11%高いセグメンテーション、検出および追跡パフォーマンス、およびHela細胞ビデオで同等のパフォーマンスを示します。
Background: The quantitative analysis of microscope videos often requires instance segmentation and tracking of cellular and subcellular objects. The traditional method consists of two stages: (1) performing instance object segmentation of each frame, and (2) associating objects frame-by-frame. Recently, pixel-embedding-based deep learning approaches these two steps simultaneously as a single stage holistic solution. In computer vision, annotated training data with consistent segmentation and tracking is resource intensive, the severity of which is multiplied in microscopy imaging due to (1) dense objects (e.g., overlapping or touching), and (2) high dynamics (e.g., irregular motion and mitosis). Adversarial simulations have provided successful solutions to alleviate the lack of such annotations in dynamics scenes in computer vision, such as using simulated environments (e.g., computer games) to train real-world self-driving systems. Methods: In this paper, we propose an annotation-free synthetic instance segmentation and tracking (ASIST) method with adversarial simulation and single-stage pixel-embedding based learning. Contribution: The contribution of this paper is three-fold: (1) the proposed method aggregates adversarial simulations and single-stage pixel-embedding based deep learning; (2) the method is assessed with both the cellular (i.e., HeLa cells) and subcellular (i.e., microvilli) objects; and (3) to the best of our knowledge, this is the first study to explore annotation-free instance segmentation and tracking study for microscope videos. Results: The ASIST method achieved an important step forward, when compared with fully supervised approaches: ASIST shows 7% to 11% higher segmentation, detection and tracking performance on microvilli relative to fully supervised methods, and comparable performance on Hela cell videos.
updated: Fri May 21 2021 20:09:20 GMT+0000 (UTC)
published: Sun Jan 03 2021 07:04:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト