ビデオオブジェクトセグメンテーション(VOS)をさらに進歩させるには、より大きく、より多様で、より挑戦的なデータセットが必要になります。ただし、すべてのフレームにピクセルマスクを密にラベル付けしても、大きなデータセットに対応することはできません。深い畳み込みネットワークを使用して、はるかに安価なバウンディングボックス注釈からピクセルレベルで疑似ラベルを自動的に作成し、そのような疑似ラベルが最先端のVOSアプローチのトレーニングにどれだけ役立つかを調査します。私たちの研究の非常に有望な結果は、各オブジェクトの単一のビデオフレームにのみ手動で注釈を付けたマスクを追加することで、VOSメソッドをトレーニングしてトレーニングする場合とほぼ同じパフォーマンスレベルに到達するために使用できる疑似ラベルを生成するのに十分であるということです。完全にセグメント化されたビデオ。このワークフローを使用して、チャレンジングな追跡データセットTAOのトレーニングセットのピクセル疑似ラベルを作成し、検証セットのサブセットに手動で注釈を付けます。一緒に、新しいTAO-VOSベンチマークを取得します。これは、www.vision.rwth-aachen.de / page / taovosで公開されています。既存のデータセットでの最先端の方法のパフォーマンスは飽和し始めますが、TAO-VOSは現在のアルゴリズムにとって非常に困難なままであり、それらの欠点を明らかにしています。
For further progress in video object segmentation (VOS), larger, more diverse, and more challenging datasets will be necessary. However, densely labeling every frame with pixel masks does not scale to large datasets. We use a deep convolutional network to automatically create pseudo-labels on a pixel level from much cheaper bounding box annotations and investigate how far such pseudo-labels can carry us for training state-of-the-art VOS approaches. A very encouraging result of our study is that adding a manually annotated mask in only a single video frame for each object is sufficient to generate pseudo-labels which can be used to train a VOS method to reach almost the same performance level as when training with fully segmented videos. We use this workflow to create pixel pseudo-labels for the training set of the challenging tracking dataset TAO, and we manually annotate a subset of the validation set. Together, we obtain the new TAO-VOS benchmark, which we make publicly available at www.vision.rwth-aachen.de/page/taovos. While the performance of state-of-the-art methods on existing datasets starts to saturate, TAO-VOS remains very challenging for current algorithms and reveals their shortcomings.