arXiv reaDer
閉塞したビデオインスタンスのセグメンテーション
Occluded Video Instance Segmentation
シーンに重いオクルージョンが存在する場合、ビデオ理解システムはオブジェクトを認識できますか?この質問に答えるために、OVISと呼ばれる大規模なデータセットを収集して、オクルージョンされたビデオインスタンスのセグメンテーションを行います。つまり、オクルードされたシーンのインスタンスを同時に検出、セグメント化、追跡します。 OVISは、オブジェクトのオクルージョンが通常発生する25のセマンティックカテゴリからの296kの高品質インスタンスマスクで構成されています。私たちの人間の視覚システムは、文脈上の推論と関連付けによってそれらの閉塞されたインスタンスを理解できますが、私たちの実験は、現在のビデオ理解システムが満足のいくものではないことを示唆しています。 OVISデータセットでは、最先端のアルゴリズムによって達成される最高のAPはわずか14.4です。これは、実際のシナリオでオブジェクト、インスタンス、およびビデオを理解するための初期段階にあることを示しています。さらに、オクルージョンによって引き起こされた欠落したオブジェクトの手がかりを補完するために、時間的特徴キャリブレーションと呼ばれるプラグアンドプレイモジュールを提案します。 MaskTrack R-CNNとSipMaskに基づいて構築されており、それぞれ15.2と15.0のAPを報告します。 OVISデータセットはhttp://songbai.site/ovisでリリースされており、プロジェクトコードはまもなく利用可能になります。
Can our video understanding systems perceive objects when a heavy occlusion exists in a scene? To answer this question, we collect a large scale dataset called OVIS for occluded video instance segmentation, that is, to simultaneously detect, segment, and track instances in occluded scenes. OVIS consists of 296k high-quality instance masks from 25 semantic categories, where object occlusions usually occur. While our human vision systems can understand those occluded instances by contextual reasoning and association, our experiments suggest that current video understanding systems are not satisfying. On the OVIS dataset, the highest AP achieved by state-of-the-art algorithms is only 14.4, which reveals that we are still at a nascent stage for understanding objects, instances, and videos in a real-world scenario. Moreover, to complement missing object cues caused by occlusion, we propose a plug-and-play module called temporal feature calibration. Built upon MaskTrack R-CNN and SipMask, we report an AP of 15.2 and 15.0 respectively. The OVIS dataset is released at http://songbai.site/ovis , and the project code will be available soon.
updated: Mon Feb 08 2021 12:20:37 GMT+0000 (UTC)
published: Tue Feb 02 2021 15:35:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト