この作業では、ビデオインスタンスセグメンテーション(VIS)の新しいソリューションを紹介します。これは、オブジェクトクラスとともにインスタンスレベルのセグメンテーションマスクを自動的に生成し、それらをビデオで追跡します。私たちの方法は、マスク選択ネットワーク(MSN)を使用して、セグメンテーションおよび伝播ブランチからのマスクをオンラインで改善し、マスク追跡中のノイズの蓄積を制限します。パッチベースの畳み込みニューラルネットワークを使用して、MSNの効果的な設計を提案します。ネットワークは、マスク間の非常に微妙な違いを区別し、関連するマスクからより適切なマスクを正確に選択することができます。さらに、失われたオブジェクトを回復するための後処理ステップとして、時間的一貫性を利用し、ビデオシーケンスを順方向と逆方向の両方で処理します。提案された方法は、VISのタスクに任意のビデオオブジェクトセグメンテーション方法を適合させるために使用できます。私たちの方法は、2021年のYouTube-VISチャレンジで49.1 mAPのスコアを達成し、30を超えるグローバルチームの中で3位にランクされました。私たちのコードはhttps://github.com/SHI-Labs/Mask-Selection-Networksで入手できます。
In this work we present a novel solution for Video Instance Segmentation(VIS), that is automatically generating instance level segmentation masks along with object class and tracking them in a video. Our method improves the masks from segmentation and propagation branches in an online manner using the Mask Selection Network (MSN) hence limiting the noise accumulation during mask tracking. We propose an effective design of MSN by using patch-based convolutional neural network. The network is able to distinguish between very subtle differences between the masks and choose the better masks out of the associated masks accurately. Further, we make use of temporal consistency and process the video sequences in both forward and reverse manner as a post processing step to recover lost objects. The proposed method can be used to adapt any video object segmentation method for the task of VIS. Our method achieves a score of 49.1 mAP on 2021 YouTube-VIS Challenge and was ranked third place among more than 30 global teams. Our code will be available at https://github.com/SHI-Labs/Mask-Selection-Networks.