arXiv reaDer
Guess What Moves: 動きを予測することによる教師なしビデオと画像のセグメンテーション
Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
オプティカル フローを介して測定されるモーションは、画像やビデオ内のオブジェクトを発見して学習するための強力な手がかりを提供します。ただし、外観を使用する場合と比較して、オブジェクトが動かないと見えなくなるなど、いくつかの盲点があります。この作業では、動きに基づくセグメンテーションと外観に基づくセグメンテーションの長所を組み合わせたアプローチを提案します。単純な動きパターンを含む可能性が高く、したがってオブジェクトに対応する可能性が高い領域を予測する口実タスクを使用して、画像セグメンテーション ネットワークを監視することを提案します。モデルは入力として 1 つの画像のみを使用するため、教師なしビデオ セグメンテーションと教師なし画像セグメンテーションの 2 つの設定でモデルを適用できます。ビデオの最先端の結果を達成し、新しいオブジェクトを含む静止画像に対するアプローチの実行可能性を示します。さらに、さまざまなモーション モデルとオプティカル フロー バックボーンを実験し、これらの変化に対してロバストな方法を見つけました。プロジェクト ページとコードは、https://www.robots.ox.ac.uk/~vgg/research/gwm で入手できます。
Motion, measured via optical flow, provides a powerful cue to discover and learn objects in images and videos. However, compared to using appearance, it has some blind spots, such as the fact that objects become invisible if they do not move. In this work, we propose an approach that combines the strengths of motion-based and appearance-based segmentation. We propose to supervise an image segmentation network with the pretext task of predicting regions that are likely to contain simple motion patterns, and thus likely to correspond to objects. As the model only uses a single image as input, we can apply it in two settings: unsupervised video segmentation, and unsupervised image segmentation. We achieve state-of-the-art results for videos, and demonstrate the viability of our approach on still images containing novel objects. Additionally we experiment with different motion models and optical flow backbones and find the method to be robust to these change. Project page and code available at https://www.robots.ox.ac.uk/~vgg/research/gwm.
updated: Thu Oct 13 2022 18:01:37 GMT+0000 (UTC)
published: Mon May 16 2022 17:55:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト