arXiv reaDer
Cross-MPI:マルチプレーン画像を使用した画像超解像のためのクロススケールステレオ
Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images
さまざまなカメラの組み合わせにより、計算写真の方法が充実しています。その中でも、リファレンスベースの超解像(RefSR)は、マルチスケールイメージングシステムで重要な役割を果たしています。ただし、既存のRefSRアプローチでは、シーン構造の下での考慮が少ないため、大きな解像度ギャップ(8倍のアップスケーリングなど)で高忠実度の超解像を実現できません。この論文では、マルチプレーン画像(MPI)表現に触発された(実際のマルチスケールカメラシステムにおける)RefSR問題の解決を目指しています。具体的には、クロスMPI、新しい平面認識注意ベースのMPIメカニズム、マルチスケールガイド付きアップサンプリングモジュール、および超解像(SR)合成および融合モジュールで構成されるエンドツーエンドのRefSRネットワークを提案します。クロススケールステレオ間で直接かつ徹底的なマッチングを使用する代わりに、提案された平面認識注意メカニズムは、効率的な注意ベースの対応検索のために隠されたシーン構造を完全に利用します。さらに、穏やかな粗いものから細かいものへのガイド付きアップサンプリング戦略と組み合わせることで、提案されたCross-MPIは、堅牢で正確な詳細伝送を実現できます。デジタル合成と光学ズームの両方のクロススケールデータの実験結果は、Cross-MPIフレームワークが既存のRefSRメソッドに対して優れたパフォーマンスを達成でき、大きなスケールの違いがあっても実際のマルチスケールカメラシステムに最適であることを示しています。
The combination of various cameras is enriching the way of computational photography, among which referencebased super-resolution (RefSR) plays a critical role in multiscale imaging systems. However, existing RefSR approaches fail to accomplish high-fidelity super-resolution under a large resolution gap, e.g., 8x upscaling, due to the less consideration of underneath scene structure. In this paper, we aim to solve the RefSR problem (in actual multiscale camera systems) inspired by multiplane images (MPI) representation. Specifically, we propose Cross-MPI, an end-to-end RefSR network composed of a novel planeaware attention-based MPI mechanism, a multiscale guided upsampling module as well as a super-resolution (SR) synthesis and fusion module. Instead of using a direct and exhaustive matching between the cross-scale stereo, the proposed plane-aware attention mechanism fully utilizes the concealed scene structure for efficient attention-based correspondence searching. Further combined with a gentle coarse-to-fine guided upsampling strategy, the proposed Cross-MPI is able to achieve a robust and accurate detail transmission. Experimental results on both digital synthesized and optical zoomed cross-scale data show the Cross- MPI framework can achieve superior performance against the existing RefSR methods, and is a real fit for actual multiscale camera systems even with large scale differences.
updated: Mon Nov 30 2020 09:14:07 GMT+0000 (UTC)
published: Mon Nov 30 2020 09:14:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト