arXiv reaDer
クロスデバイス実世界画像超解像のための二重敵対的適応
Dual Adversarial Adaptation for Cross-Device Real-World Image Super-Resolution
高度なイメージングプロセスにより、異なるカメラでキャプチャされた同一のシーンは、異なるイメージングパターンを示し、異なるデバイスからの画像でトレーニングされた超解像(SR)モデルに異なる熟練度をもたらす可能性があります。この論文では、1台のカメラでキャプチャされたペア画像でトレーニングされた実世界のSRモデルを、任意のターゲットデバイスでキャプチャされた低解像度(LR)画像に適合させることを目的とした、斬新で実用的なタスクコード化クロスデバイスSRを調査します。提案されたタスクは、さまざまなイメージングデバイスからのペアデータがないため、非常に困難です。この問題に対処するために、Dual ADversarial Adaptation(DADA)という名前の実世界SRの教師なしドメイン適応メカニズムを提案します。これは、ソースカメラからの利用可能な実際のペアデータを含むターゲットドメインのLR画像のみを必要とします。 DADAは、ドメイン不変アテンション(DIA)モジュールを使用して、HRの監督がなくてもターゲットモデルトレーニングの基礎を確立します。さらに、DADAのデュアルフレームワークは、2つのドメインからの2つのLR入力画像の1つのブランチでのドメイン間敵対的適応(InterAA)と、LR入力画像の2つのブランチでのドメイン内敵対的適応(IntraAA)を容易にします。 InterAAとIntraAAは一緒になって、ソースドメインからターゲットへのモデルの転送可能性を向上させます。 3つの異なるカメラ間で6つのRealtoReal適応設定の下で実験を経験的に実施し、既存の最先端のアプローチと比較して優れたパフォーマンスを実現します。また、ビデオカメラへの適応に対処するために提案されたDADAを評価します。これは、現実世界の超解像の幅広いアプリケーションを促進するための有望な研究トピックを提示します。ソースコードはhttps://github.com/lonelyhope/DADA.gitで公開されています。
Due to the sophisticated imaging process, an identical scene captured by different cameras could exhibit distinct imaging patterns, introducing distinct proficiency among the super-resolution (SR) models trained on images from different devices. In this paper, we investigate a novel and practical task coded cross-device SR, which strives to adapt a real-world SR model trained on the paired images captured by one camera to low-resolution (LR) images captured by arbitrary target devices. The proposed task is highly challenging due to the absence of paired data from various imaging devices. To address this issue, we propose an unsupervised domain adaptation mechanism for real-world SR, named Dual ADversarial Adaptation (DADA), which only requires LR images in the target domain with available real paired data from a source camera. DADA employs the Domain-Invariant Attention (DIA) module to establish the basis of target model training even without HR supervision. Furthermore, the dual framework of DADA facilitates an Inter-domain Adversarial Adaptation (InterAA) in one branch for two LR input images from two domains, and an Intra-domain Adversarial Adaptation (IntraAA) in two branches for an LR input image. InterAA and IntraAA together improve the model transferability from the source domain to the target. We empirically conduct experiments under six Real to Real adaptation settings among three different cameras, and achieve superior performance compared with existing state-of-the-art approaches. We also evaluate the proposed DADA to address the adaptation to the video camera, which presents a promising research topic to promote the wide applications of real-world super-resolution. Our source code is publicly available at https://github.com/lonelyhope/DADA.git.
updated: Sat May 07 2022 02:55:39 GMT+0000 (UTC)
published: Sat May 07 2022 02:55:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト