arXiv reaDer
Amodal segmentation just like doing a jigsaw
アモーダルセグメンテーションは、インスタンスの可視部分と遮蔽部分のセグメンテーションを考慮した、インスタンスセグメンテーションの新しい方向です。既存の最先端の方法は、マルチタスクブランチを使用して、非モーダル部分と可視部分を別々に予測し、非モーダル部分から可視部分を差し引いて、閉塞部分を取得します。ただし、アモーダル部分には目に見える情報が含まれています。したがって、分離された予測方法は重複した情報を生成します。この方法とは異なり、ジグソーの考え方に基づいたアモーダルセグメンテーションの方法を提案します。この方法では、マルチタスクブランチを使用して、可視と閉塞の2つの自然に分離された部分を予測します。これは、2つの一致するジグソーピースを取得するようなものです。次に、2つのジグソーピースを組み合わせて、アモーダルパーツを取得します。これにより、各ブランチはオブジェクトのモデリングに焦点を合わせます。そして、現実の世界では、咬合関係には一定のルールがあると私たちは信じています。これは一種のオクルージョンコンテキスト情報です。このジグソー法は、オクルージョン関係をより適切にモデル化し、アモーダルセグメンテーションにとって重要なオクルージョンコンテキスト情報を使用できます。 2つの広く使用されているアモーダル注釈付きデータセットでの実験は、私たちの方法が既存の最先端の方法を超えていることを証明しています。この作品のソースコードはまもなく公開されます。
Amodal segmentation is a new direction of instance segmentation while considering the segmentation of the visible and occluded parts of the instance. The existing state-of-the-art method uses multi-task branches to predict the amodal part and the visible part separately and subtract the visible part from the amodal part to obtain the occluded part. However, the amodal part contains visible information. Therefore, the separated prediction method will generate duplicate information. Different from this method, we propose a method of amodal segmentation based on the idea of the jigsaw. The method uses multi-task branches to predict the two naturally decoupled parts of visible and occluded, which is like getting two matching jigsaw pieces. Then put the two jigsaw pieces together to get the amodal part. This makes each branch focus on the modeling of the object. And we believe that there are certain rules in the occlusion relationship in the real world. This is a kind of occlusion context information. This jigsaw method can better model the occlusion relationship and use the occlusion context information, which is important for amodal segmentation. Experiments on two widely used amodally annotated datasets prove that our method exceeds existing state-of-the-art methods. The source code of this work will be made public soon.
updated: Thu Jul 15 2021 17:08:53 GMT+0000 (UTC)
published: Thu Jul 15 2021 17:08:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト