arXiv reaDer
Dynamic Context Correspondence Network for Semantic Alignment
  セマンティック対応を確立することは、コンピュータービジョンの中心的な問題であり、クラス内の大きなバリエーションと注釈付きデータの不足により、依然として課題となっています。この論文では、ローカルな意味表現に依存する従来の作業の制限を克服するために、グローバルな意味コンテキストを柔軟な方法で組み込むことを目指しています。この目的のために、最初に、ローカルなあいまいさに対するロバストなマッチングのための空間レイアウトを組み込んだコンテキスト認識セマンティック表現を提案します。次に、複数のスケールからのセマンティックキューを統合することにより、ローカルおよびコンテキスト機能の両方の利点を織り込むために、注意メカニズムに基づいた新しい動的融合戦略を開発します。 Dynamic Context Correspondence Network(DCCNet)という名前のエンドツーエンドの学習可能なディープネットワークを設計することにより、戦略をインスタンス化します。ネットワークをトレーニングするために、マルチ補助タスク損失を採用して、弱教師付き学習手順の効率を改善します。私たちのアプローチは、PF-Pascal、PF-Willow、TSSを含むいくつかの挑戦的なデータセットで以前の方法よりも優れた、または競争力のあるパフォーマンスを達成し、その有効性と一般性を示しています。
Establishing semantic correspondence is a core problem in computer vision and remains challenging due to large intra-class variations and lack of annotated data. In this paper, we aim to incorporate global semantic context in a flexible manner to overcome the limitations of prior work that relies on local semantic representations. To this end, we first propose a context-aware semantic representation that incorporates spatial layout for robust matching against local ambiguities. We then develop a novel dynamic fusion strategy based on attention mechanism to weave the advantages of both local and context features by integrating semantic cues from multiple scales. We instantiate our strategy by designing an end-to-end learnable deep network, named as Dynamic Context Correspondence Network (DCCNet). To train the network, we adopt a multi-auxiliary task loss to improve the efficiency of our weakly-supervised learning procedure. Our approach achieves superior or competitive performance over previous methods on several challenging datasets, including PF-Pascal, PF-Willow, and TSS, demonstrating its effectiveness and generality.
updated: Sun Sep 08 2019 12:21:08 GMT+0000 (UTC)
published: Sun Sep 08 2019 12:21:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト