ビデオシーケンス内のオブジェクトインスタンスを同時に分類、セグメント化、追跡する方法を紹介します。 MaskPropという名前のメソッドは、フレームレベルのオブジェクトインスタンスマスクを各ビデオフレームからビデオクリップ内の他のすべてのフレームに伝播するマスク伝播ブランチを追加することにより、人気のあるMaskR-CNNをビデオに適合させます。これにより、システムは、クリップの中央フレームでセグメント化されたオブジェクトインスタンスに関してクリップレベルのインスタンストラックを予測できます。シーケンス内のフレームごとに密に生成されたクリップレベルのインスタンストラックは、最終的に集約されて、ビデオレベルのオブジェクトインスタンスのセグメンテーションと分類が生成されます。私たちの実験は、クリップレベルのインスタンスセグメンテーションにより、ビデオのモーションブラーやオブジェクトのオクルージョンに対してアプローチが堅牢になることを示しています。 MaskPropは、YouTube-VISデータセットで報告された最高の精度を達成し、ICCV 2019ビデオインスタンスセグメンテーションチャレンジの勝者をはるかに上回りますが、ラベル付けされたデータははるかに単純で、ラベル付けされたデータは桁違いに少なくなっています(130万対1Bの画像および860K対14Mの境界ボックス)。
We introduce a method for simultaneously classifying, segmenting and tracking object instances in a video sequence. Our method, named MaskProp, adapts the popular Mask R-CNN to video by adding a mask propagation branch that propagates frame-level object instance masks from each video frame to all the other frames in a video clip. This allows our system to predict clip-level instance tracks with respect to the object instances segmented in the middle frame of the clip. Clip-level instance tracks generated densely for each frame in the sequence are finally aggregated to produce video-level object instance segmentation and classification. Our experiments demonstrate that our clip-level instance segmentation makes our approach robust to motion blur and object occlusions in video. MaskProp achieves the best reported accuracy on the YouTube-VIS dataset, outperforming the ICCV 2019 video instance segmentation challenge winner despite being much simpler and using orders of magnitude less labeled data (1.3M vs 1B images and 860K vs 14M bounding boxes).