arXiv reaDer
オクルードされたビデオインスタンスのセグメンテーション:ベンチマーク
Occluded Video Instance Segmentation: A Benchmark
私たちのビデオ理解システムは、シーンに重いオクルージョンが存在するときにオブジェクトを認識できますか?この質問に答えるために、OVISと呼ばれる大規模なデータセットを収集して、オクルージョンされたビデオインスタンスのセグメンテーションを行います。つまり、オクルードされたシーンのインスタンスを同時に検出、セグメント化、追跡します。 OVISは、オブジェクトのオクルージョンが通常発生する25のセマンティックカテゴリからの296kの高品質インスタンスマスクで構成されています。私たちの人間の視覚システムは、文脈上の推論と関連付けによってそれらの閉塞されたインスタンスを理解できますが、私たちの実験は、現在のビデオ理解システムが理解できないことを示唆しています。 OVISデータセットでは、最先端のアルゴリズムによって達成される最高のAPはわずか16.3です。これは、実際のシナリオでオブジェクト、インスタンス、およびビデオを理解するための初期段階にあることを示しています。また、オクルージョンによって引き起こされた欠落しているオブジェクトの手がかりを補完するために一時的な特徴のキャリブレーションを実行する単純なプラグアンドプレイモジュールも紹介します。 MaskTrack R-CNNとSipMaskに基づいて構築されており、OVISデータセットでAPが大幅に改善されています。 OVISデータセットとプロジェクトコードはhttp://songbai.site/ovisで入手できます。
Can our video understanding systems perceive objects when a heavy occlusion exists in a scene? To answer this question, we collect a large-scale dataset called OVIS for occluded video instance segmentation, that is, to simultaneously detect, segment, and track instances in occluded scenes. OVIS consists of 296k high-quality instance masks from 25 semantic categories, where object occlusions usually occur. While our human vision systems can understand those occluded instances by contextual reasoning and association, our experiments suggest that current video understanding systems cannot. On the OVIS dataset, the highest AP achieved by state-of-the-art algorithms is only 16.3, which reveals that we are still at a nascent stage for understanding objects, instances, and videos in a real-world scenario. We also present a simple plug-and-play module that performs temporal feature calibration to complement missing object cues caused by occlusion. Built upon MaskTrack R-CNN and SipMask, we obtain a remarkable AP improvement on the OVIS dataset. The OVIS dataset and project code are available at http://songbai.site/ovis .
updated: Mon Nov 15 2021 16:31:44 GMT+0000 (UTC)
published: Tue Feb 02 2021 15:35:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト