arXiv reaDer
GLU-Net:密なフローと通信のためのグローバルローカルユニバーサルネットワーク
GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences
 1組の画像間で密な対応を確立することは、幾何学的マッチング、オプティカルフロー、および意味的な対応をカバーする重要かつ一般的な問題です。これらのアプリケーションは、大きな変位、ピクセル精度、外観の変更などの基本的な課題を共有していますが、現在、特定の1つのタスクのみのために設計された特殊なネットワークアーキテクチャで対処されています。これは、そのようなネットワークの一般化機能を新しいシナリオに厳しく制限します。より大きな変位またはより高い精度に対する堅牢性が必要です。この作業では、前述のすべての高密度対応問題に直接適用できるユニバーサルネットワークアーキテクチャを提案します。グローバル相関レイヤーとローカル相関レイヤーの組み合わせ使用を調査することにより、大きな変位に対する高精度と堅牢性の両方を実現します。さらに、適応型の解像度戦略を提案します。これにより、ネットワークがほぼすべての入力画像解像度で動作できるようになります。提案されたGLU-Netは、同じネットワークと重みを使用すると、幾何学的および意味論的マッチングとオプティカルフローの最先端のパフォーマンスを実現します。コードとトレーニング済みモデルは、https://github.com/PruneTruong/GLU-Netで入手できます。
Establishing dense correspondences between a pair of images is an important and general problem, covering geometric matching, optical flow and semantic correspondences. While these applications share fundamental challenges, such as large displacements, pixel-accuracy, and appearance changes, they are currently addressed with specialized network architectures, designed for only one particular task. This severely limits the generalization capabilities of such networks to new scenarios, where e.g. robustness to larger displacements or higher accuracy is required. In this work, we propose a universal network architecture that is directly applicable to all the aforementioned dense correspondence problems. We achieve both high accuracy and robustness to large displacements by investigating the combined use of global and local correlation layers. We further propose an adaptive resolution strategy, allowing our network to operate on virtually any input image resolution. The proposed GLU-Net achieves state-of-the-art performance for geometric and semantic matching as well as optical flow, when using the same network and weights. Code and trained models are available at https://github.com/PruneTruong/GLU-Net.
updated: Mon Apr 05 2021 13:31:38 GMT+0000 (UTC)
published: Wed Dec 11 2019 18:47:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト