arXiv reaDer
Show, Match and Segment: Joint Weakly Supervised Learning of Semantic Matching and Object Co-segmentation
 画像のコレクション内で同じカテゴリのオブジェクトインスタンスを共同でマッチングおよびセグメント化するためのアプローチを示します。セマンティックマッチングとオブジェクトコセグメンテーションのタスクを分離して取り組む既存のアルゴリズムとは対照的に、この方法は2つのタスクの補完的な性質を利用します。この方法の重要な洞察は2つあります。最初に、セマンティックマッチングから推定された密な対応フィールドは、画像のペアからの予測されたマスク間の整合性を適用することにより、オブジェクトの共同セグメンテーションの監視を提供します。第2に、オブジェクトの共同セグメンテーションから予測されたオブジェクトマスクを使用すると、セマンティックマッチングを改善するための背景の乱雑さによる悪影響を減らすことができます。私たちのモデルはエンドツーエンドのトレーニングが可能であり、手動で注釈を付けた対応やオブジェクトマスクからの監督を必要としません。 5つのベンチマークデータセット(TSS、インターネット、PF-PASCAL、PF-WILLOW、SPair-71k)でのアプローチの有効性を検証し、両方のセマンティックマッチングで最新のメソッドに対してアルゴリズムが有利に機能することを示しますオブジェクトの共同セグメンテーションタスク。
We present an approach for jointly matching and segmenting object instances of the same category within a collection of images. In contrast to existing algorithms that tackle the tasks of semantic matching and object co-segmentation in isolation, our method exploits the complementary nature of the two tasks. The key insights of our method are two-fold. First, the estimated dense correspondence fields from semantic matching provide supervision for object co-segmentation by enforcing consistency between the predicted masks from a pair of images. Second, the predicted object masks from object co-segmentation in turn allow us to reduce the adverse effects due to background clutters for improving semantic matching. Our model is end-to-end trainable and does not require supervision from manually annotated correspondences and object masks. We validate the efficacy of our approach on five benchmark datasets: TSS, Internet, PF-PASCAL, PF-WILLOW, and SPair-71k, and show that our algorithm performs favorably against the state-of-the-art methods on both semantic matching and object co-segmentation tasks.
updated: Sun Mar 29 2020 08:58:13 GMT+0000 (UTC)
published: Thu Jun 13 2019 17:59:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト