本論文では、人間の閉塞されたセグメンテーションマスクと目に見えない外観内容を理由とする人間の閉塞解除の問題に取り組む。特に、不可視部分を推定し、内部のコンテンツを復元するために、2段階のフレームワークが提案されています。マスク完成の段階では、一般的なインスタンスセグメンテーションモデルから不正確なマスクを改良し、統合されたマスクを同時に予測するために、スタックネットワーク構造が考案されています。さらに、人間の構文解析と典型的なポーズマスクからのガイダンスを活用して、事前情報を提供します。コンテンツ回復の段階では、新しい解析ガイド付き注意モジュールを適用して、身体の部分を分離し、複数のスケールにわたってコンテキスト情報をキャプチャします。さらに、人間の咬合除去のタスクを解決するために、Amodal Human Perceptionデータセット(AHP)が収集されます。 AHPには、実世界のシーンから注釈を提供するという利点があり、人間の数は他の非モーダル知覚データセットよりも比較的多くなります。このデータセットに基づいて、実験は、私たちの方法がマスクの完了とコンテンツの回復の両方のタスクで最先端の技術を実行することを示しています。 AHPデータセットはhttps://sydney0zq.github.io/ahp/で入手できます。
In this paper, we tackle the problem of human de-occlusion which reasons about occluded segmentation masks and invisible appearance content of humans. In particular, a two-stage framework is proposed to estimate the invisible portions and recover the content inside. For the stage of mask completion, a stacked network structure is devised to refine inaccurate masks from a general instance segmentation model and predict integrated masks simultaneously. Additionally, the guidance from human parsing and typical pose masks are leveraged to bring prior information. For the stage of content recovery, a novel parsing guided attention module is applied to isolate body parts and capture context information across multiple scales. Besides, an Amodal Human Perception dataset (AHP) is collected to settle the task of human de-occlusion. AHP has advantages of providing annotations from real-world scenes and the number of humans is comparatively larger than other amodal perception datasets. Based on this dataset, experiments demonstrate that our method performs over the state-of-the-art techniques in both tasks of mask completion and content recovery. Our AHP dataset is available at https://sydney0zq.github.io/ahp/.