arXiv reaDer
DyStaB:動的静的ブートストラップによる教師なしオブジェクトセグメンテーション
DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping
ある時点で、オブジェクトと呼ばれる一貫した全体として動いているように見えるライブシーンの画像の一部を検出してセグメント化する教師なし方法について説明します。私たちの方法は、最初にセグメント間の相互情報量を最小化することによってモーションフィールドを分割します。次に、セグメントを使用して、静止画像での検出に使用できるオブジェクトモデルを学習します。静的モデルと動的モデルは、ブートストラップ戦略で共同でトレーニングされたディープニューラルネットワークによって表されます。これにより、これまでに見られなかったオブジェクトへの外挿が可能になります。トレーニングプロセスには動きが必要ですが、結果として得られるオブジェクトセグメンテーションネットワークは、推論時に静止画像またはビデオのいずれかで使用できます。見られるビデオの量が増えるにつれて、ますます多くのオブジェクトが動いているのが見られ、それらの検出をプライミングします。これは、新しいオブジェクトの正則化として機能し、オブジェクトをセグメント化するための教師なし継続学習に変換します。私たちのモデルは、ビデオオブジェクトのセグメンテーションと顕著なオブジェクトの検出の両方で最先端技術と比較されます。テストされた6つのベンチマークデータセットでは、手動の注釈を必要としないにもかかわらず、私たちのモデルはピクセルレベルの監視を使用するモデルと比べても遜色ありません。
We describe an unsupervised method to detect and segment portions of images of live scenes that, at some point in time, are seen moving as a coherent whole, which we refer to as objects. Our method first partitions the motion field by minimizing the mutual information between segments. Then, it uses the segments to learn object models that can be used for detection in a static image. Static and dynamic models are represented by deep neural networks trained jointly in a bootstrapping strategy, which enables extrapolation to previously unseen objects. While the training process requires motion, the resulting object segmentation network can be used on either static images or videos at inference time. As the volume of seen videos grows, more and more objects are seen moving, priming their detection, which then serves as a regularizer for new objects, turning our method into unsupervised continual learning to segment objects. Our models are compared to the state of the art in both video object segmentation and salient object detection. In the six benchmark datasets tested, our models compare favorably even to those using pixel-level supervision, despite requiring no manual annotation.
updated: Sat Apr 03 2021 06:25:46 GMT+0000 (UTC)
published: Sun Aug 16 2020 22:05:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト