arXiv reaDer
PRISE: マルチモデル画像アライメントのための強力なスターコンベックス制約によるディープ ルーカス カナデの謎解き
PRISE: Demystifying Deep Lucas-Kanade with Strongly Star-Convex Constraints for Multimodel Image Alignment
Lucas-Kanade (LK) 法は、画像の位置合わせのための古典的な反復型ホモグラフィ推定アルゴリズムですが、特に画像ペアに大きな歪みがある場合は、局所最適性が不十分になることがよくあります。この課題に対処するために、この論文では、最適化問題に強力な星凸制約を導入することにより、マルチモデル画像位置合わせのための新しい Deep Star-Convexified Lucas-Kanade (PRISE) 法を提案します。私たちの基本的な考え方は、ネットワークによって定義された高次元空間を通じて、グラウンド トゥルースの周りの星形の損失ランドスケープを近似的に学習するようにニューラル ネットワークを強化し、あらゆるデータを提供して、LK 法のグラウンド トゥルースへの収束を促進することです。これは、訓練のための元の損失に追加される強いスターコンベクシティの定義による対照的な (ヒンジ) 損失を伴う、ミニマックス学習問題につながります。また、トレーニング コストを活用するための効率的なサンプリング ベースのアルゴリズムと、PRISE のソリューションの品質に関する分析も提供します。さらに、MSCOCO、GoogleEarth、GoogleMap などのベンチマーク データセットでアプローチを評価し、特に小さなピクセル エラーについて最先端の結果を示します。コードは https://github.com/Zhang-VISLab からダウンロードできます。
The Lucas-Kanade (LK) method is a classic iterative homography estimation algorithm for image alignment, but often suffers from poor local optimality especially when image pairs have large distortions. To address this challenge, in this paper we propose a novel Deep Star-Convexified Lucas-Kanade (PRISE) method for multimodel image alignment by introducing strongly star-convex constraints into the optimization problem. Our basic idea is to enforce the neural network to approximately learn a star-convex loss landscape around the ground truth give any data to facilitate the convergence of the LK method to the ground truth through the high dimensional space defined by the network. This leads to a minimax learning problem, with contrastive (hinge) losses due to the definition of strong star-convexity that are appended to the original loss for training. We also provide an efficient sampling based algorithm to leverage the training cost, as well as some analysis on the quality of the solutions from PRISE. We further evaluate our approach on benchmark datasets such as MSCOCO, GoogleEarth, and GoogleMap, and demonstrate state-of-the-art results, especially for small pixel errors. Code can be downloaded from https://github.com/Zhang-VISLab.
updated: Tue Mar 21 2023 01:19:35 GMT+0000 (UTC)
published: Tue Mar 21 2023 01:19:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト