arXiv reaDer
敵対的シミュレーションによる注釈のないインスタンスのセグメンテーションと追跡に向けて
Towards Annotation-free Instance Segmentation and Tracking with Adversarial Simulations
顕微鏡ビデオの定量分析では、多くの場合、インスタンスのセグメンテーションと細胞および細胞内オブジェクトの追跡が必要です。従来の方法は、(1)各フレームのインスタンスオブジェクトセグメンテーション、および(2)フレームごとにオブジェクトを関連付けるという2つの段階で構成されています。最近、ピクセル埋め込みベースのディープラーニングアプローチは、インスタンスのセグメンテーションと追跡に同時に取り組むための単一段階の全体的なソリューションを提供します。ただし、深層学習の方法では、空間的(セグメンテーション用)だけでなく、時間的(追跡用)にも一貫した注釈が必要です。コンピュータビジョンでは、一貫したセグメンテーションと追跡を備えた注釈付きトレーニングデータはリソースを大量に消費します。これは、(1)高密度のオブジェクト(例、重なり合う、または触れる)、および(2)高いダイナミクス(例、不規則な動き)により、顕微鏡イメージングではより深刻になる可能性がありますおよび有糸分裂)。ダイナミクスシーンでのこのような注釈の欠如を軽減するために、敵対的なシミュレーションは、シミュレーション環境(コンピュータゲームなど)を使用して実際の自動運転システムをトレーニングするなど、コンピュータビジョンで成功するソリューションを提供しました。この論文では、敵対的シミュレーションと単段式ピクセル埋め込みベースの学習を使用した、注釈のない合成インスタンスセグメンテーションおよびトラッキング(ASIST)メソッドを提案しました。貢献は3つあります。(1)提案された方法は、敵対的なシミュレーションと単一段階のピクセル埋め込みベースの深層学習を集約します。 (2)この方法は、細胞(HeLa細胞)と細胞内(微絨毛)の両方のオブジェクトで評価されます。 (3)私たちの知る限り、これは顕微鏡ビデオの注釈なしのインスタンスセグメンテーションと追跡研究を調査した最初の研究です。結果から、私たちのASISTメソッドは、完全に監視されたアプローチと比較して有望な結果を達成しました。
Quantitative analysis of microscope videos often requires instance segmentation and tracking of cellular and subcellular objects. Traditional method is composed of two stages: (1) instance object segmentation of each frame, and (2) associate objects frame by frame. Recently, pixel embedding based deep learning approaches provide single stage holistic solutions to tackle instance segmentation and tracking simultaneously. However, the deep learning methods require consistent annotations not only spatially (for segmentation), but also temporally (for tracking). In computer vision, annotated training data with consistent segmentation and tracking is resource intensive, which can be more severe in microscopy imaging owing to (1) dense objects (e.g., overlapping or touching), and (2) high dynamics (e.g., irregular motion and mitosis). To alleviate the lack of such annotations in dynamics scenes, adversarial simulations have provided successful solutions in computer vision, such as using simulated environments (e.g., computer games) to train real-world self-driving systems. In this paper, we proposed an annotation-free synthetic instance segmentation and tracking (ASIST) method with adversarial simulation and single-stage pixel-embedding based learning. The contribution is three-fold: (1) the proposed method aggregates adversarial simulations and single-stage pixel-embedding based deep learning; (2) the method is assessed with both cellular (i.e., HeLa cells) and subcellular (i.e., microvilli) objects; and (3) to the best of our knowledge, this is the first study to explore annotation-free instance segmentation and tracking study for microscope videos. From the results, our ASIST method achieved promising results compared with fully supervised approaches.
updated: Sun Jan 03 2021 07:04:13 GMT+0000 (UTC)
published: Sun Jan 03 2021 07:04:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト