arXiv reaDer
構成的事前分布による弱教師ありアモーダルインスタンスセグメンテーション
Weakly-Supervised Amodal Instance Segmentation with Compositional Priors
生物学的視覚におけるアモーダルセグメンテーションとは、一部しか見えない場合のオブジェクト全体の知覚を指します。咬合者を透視し、咬合について推論するこの能力は、生物学的視覚に固有のものですが、現在のマシンビジョンアプローチでは適切にモデル化されていません。重要な課題は、アモーダルオブジェクトセグメンテーションのグラウンドトゥルース監視を取得することが本質的に難しいことです。この論文では、標準(モーダル)バウンディングボックス注釈で弱く監視された場合に、アモーダル知覚が可能なニューラルネットワークアーキテクチャを紹介します。私たちのモデルは、オブジェクトをパーツの合成として明示的に表すことにより、部分的なオクルージョンに対してロバストであることが示されている合成畳み込みニューラルネットワーク(CompositionalNets)を拡張します。特に、CompositionalNetsを拡張して、バウンディングボックスの監視のみから3つの新しいビジョンタスクを実行します。1)モーダルバウンディングボックスの監視からさまざまな3Dポーズのオブジェクトの構成形状の事前分布を学習します。 2)コンポジションシェイプの事前分布をCompositionalNetsのパーツ投票メカニズムに統合することにより、インスタンスのセグメンテーションを予測します。 3)CompositionalNetsで構成機能の配置を実装することにより、バウンディングボックスとインスタンスセグメンテーションマスクの両方のアモーダル完了を予測します。私たちの広範な実験は、提案されたモデルが、最先端のセグメンテーションアプローチと比較してはるかに改善されたマスク予測品質で、アモーダルマスクをロバストにセグメント化できることを示しています。
Amodal segmentation in biological vision refers to the perception of the entire object when only a fraction is visible. This ability of seeing through occluders and reasoning about occlusion is innate to biological vision but not adequately modeled in current machine vision approaches. A key challenge is that ground-truth supervisions of amodal object segmentation are inherently difficult to obtain. In this paper, we present a neural network architecture that is capable of amodal perception, when weakly supervised with standard (modal) bounding box annotations. Our model extends compositional convolutional neural networks (CompositionalNets), which have been shown to be robust to partial occlusion by explicitly representing objects as a composition of parts. In particular, we extend CompositionalNets to perform three new vision tasks from bounding box supervision only: 1) Learning compositional shape priors of objects in varying 3D poses from modal bounding box supervision; 2) Predicting instance segmentation by integrating the compositional shape priors into the part-voting mechanism in the CompositionalNets; 3) Predicting amodal completion for both the bounding box and the instance segmentation mask by implementing compositional feature alignment in CompositionalNets. Our extensive experiments show that our proposed model can segment amodal masks robustly, with much improved mask prediction qualities compared to state-of-the-art segmentation approaches.
updated: Thu Jan 07 2021 18:20:38 GMT+0000 (UTC)
published: Sun Oct 25 2020 18:01:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト