arXiv reaDer
Jointly Aligning Millions of Images with Deep Penalised Reconstruction Congealing
  位置合わせされていない多数の画像から完全に監視されない方法できめの細かいピクセルレベルの対応を外挿すると、いくつかのコンピュータービジョンとグラフィックスの問題に役立ちます。同時セグメンテーション、超解像、画像編集の伝播、構造からの動き、および3D再構成。この問題に取り組むために、いくつかの画像の位置合わせと凝固の手法が提案されていますが、初期化に対する堅牢性、大規模なデータセットへのスケーリング能力、および位置合わせの正確性が幅広い適用性を妨げているようです。これらの制限を克服するために、密に融合された空間変換器ネットワークを活用して各画像のワーピングパラメーターを推定する教師なしジョイントアライメント方法と、再構成エラーがジョイントアライメントの補助測定値として使用される低容量オートエンコーダーを提案します。 MNISTの複数のバージョン(つまり、オリジナル、摂動、affNIST、およびinfiMNIST)からの数字とLFWからの顔に関する実験結果は、さまざまなレベルとタイプの摂動に対して、このアプローチが何百万もの画像を高い精度と堅牢性で整列できることを示しています。さらに、定性的および定量的な結果は、提案された方法が、アライメントの品質と初期化に対する堅牢性の両方の点で最先端のアプローチよりも優れていることを示唆しています。
Extrapolating fine-grained pixel-level correspondences in a fully unsupervised manner from a large set of misaligned images can benefit several computer vision and graphics problems, e.g. co-segmentation, super-resolution, image edit propagation, structure-from-motion, and 3D reconstruction. Several joint image alignment and congealing techniques have been proposed to tackle this problem, but robustness to initialisation, ability to scale to large datasets, and alignment accuracy seem to hamper their wide applicability. To overcome these limitations, we propose an unsupervised joint alignment method leveraging a densely fused spatial transformer network to estimate the warping parameters for each image and a low-capacity auto-encoder whose reconstruction error is used as an auxiliary measure of joint alignment. Experimental results on digits from multiple versions of MNIST (i.e., original, perturbed, affNIST and infiMNIST) and faces from LFW, show that our approach is capable of aligning millions of images with high accuracy and robustness to different levels and types of perturbation. Moreover, qualitative and quantitative results suggest that the proposed method outperforms state-of-the-art approaches both in terms of alignment quality and robustness to initialisation.
updated: Mon Oct 14 2019 10:24:31 GMT+0000 (UTC)
published: Mon Aug 12 2019 12:55:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト