arXiv reaDer
オクルードされたビデオインスタンスのセグメンテーション
Occluded Video Instance Segmentation
私たちのビデオ理解システムは、シーンに重いオクルージョンが存在するときにオブジェクトを認識できますか?この質問に答えるために、OVISと呼ばれる大規模なデータセットを収集して、オクルージョンされたビデオインスタンスのセグメンテーションを行います。つまり、オクルードされたシーンのインスタンスを同時に検出、セグメント化、追跡します。 OVISは、オブジェクトのオクルージョンが通常発生する25のセマンティックカテゴリからの296kの高品質インスタンスマスクで構成されています。私たちの人間の視覚システムは、文脈的な推論と関連付けによってそれらの閉塞されたインスタンスを理解することができますが、私たちの実験は、現在のビデオ理解システムが満足のいくものではないことを示唆しています。 OVISデータセットでは、最先端のアルゴリズムによって達成される最高のAPはわずか14.4です。これは、実際のシナリオでオブジェクト、インスタンス、およびビデオを理解するための初期段階にあることを示しています。実験では、時間的特徴のキャリブレーションを実行する単純なプラグアンドプレイモジュールが、オクルージョンによって引き起こされた欠落したオブジェクトの手がかりを補完するために提案されています。 MaskTrack R-CNNとSipMaskに基づいて構築され、OVISデータセットで15.1と14.5のAPを取得し、YouTube-VISデータセットでそれぞれ32.1と35.1を達成します。これは、最先端の方法を大幅に上回っています。 OVISデータセットはhttp://songbai.site/ovisでリリースされており、プロジェクトコードはまもなく利用可能になります。
Can our video understanding systems perceive objects when a heavy occlusion exists in a scene? To answer this question, we collect a large-scale dataset called OVIS for occluded video instance segmentation, that is, to simultaneously detect, segment, and track instances in occluded scenes. OVIS consists of 296k high-quality instance masks from 25 semantic categories, where object occlusions usually occur. While our human vision systems can understand those occluded instances by contextual reasoning and association, our experiments suggest that current video understanding systems are not satisfying. On the OVIS dataset, the highest AP achieved by state-of-the-art algorithms is only 14.4, which reveals that we are still at a nascent stage for understanding objects, instances, and videos in a real-world scenario. In experiments, a simple plug-and-play module that performs temporal feature calibration is proposed to complement missing object cues caused by occlusion. Built upon MaskTrack R-CNN and SipMask, we obtain an AP of 15.1 and 14.5 on the OVIS dataset and achieve 32.1 and 35.1 on the YouTube-VIS dataset respectively, a remarkable improvement over the state-of-the-art methods. The OVIS dataset is released at http://songbai.site/ovis , and the project code will be available soon.
updated: Tue Mar 30 2021 04:07:27 GMT+0000 (UTC)
published: Tue Feb 02 2021 15:35:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト