arXiv reaDer
SOSR: Wavelet Augmentation Transformer を使用したソースフリー画像の超解像度
SOSR: Source-Free Image Super-Resolution with Wavelet Augmentation Transformer
異なる劣化カーネルを使用して異なるカメラで撮影された現実世界の画像は、多くの場合、画像の超解像度にクロスデバイス ドメイン ギャップをもたらします。この問題に対する一般的な試みは、ソース データにアクセスする必要がある教師なしドメイン適応 (UDA) です。多くの実用的なアプリケーションでのプライバシー ポリシーまたはデータの送信制限を考慮して、この問題に対処するためのソースフリー画像超解像度フレームワーク (SOSR) を提案します。ラベル付けされていないターゲット データ。 SOSR はソース モデルを活用して、教師と生徒の学習用に洗練された疑似ラベルを生成します。疑似ラベルをより有効に利用するために、このペーパーでは、既存のネットワークに柔軟に組み込むことができる Wavelet Augmentation Transformer (WAT) という名前の新しいウェーブレットベースの拡張方法を提案し、有用な拡張データを暗黙的に生成します。 WAT は、さまざまなサンプルにわたってさまざまなレベルの低周波情報を学習し、変形可能なアテンションによって効率的に集約されます。さらに、疑似ラベルの精度を向上させるために、不確実性を認識するセルフトレーニングメカニズムが提案され、不正確な予測は不確実性の推定によって修正されます。より良い SR 結果を取得し、疑似ラベルのオーバーフィッティングを回避するために、ターゲット LR 画像と SR 画像の間の周波数情報を制約するために、いくつかの正則化損失が提案されています。実験では、ソース データにアクセスしなくても、SOSR は最先端の UDA メソッドよりも優れた結果を達成することが示されています。
Real-world images taken by different cameras with different degradation kernels often result in a cross-device domain gap in image super-resolution. A prevalent attempt to this issue is unsupervised domain adaptation (UDA) that needs to access source data. Considering privacy policies or transmission restrictions of data in many practical applications, we propose a SOurce-free image Super-Resolution framework (SOSR) to address this issue, i.e., adapt a model pre-trained on labeled source data to a target domain with only unlabeled target data. SOSR leverages the source model to generate refined pseudo-labels for teacher-student learning. To better utilize the pseudo-labels, this paper proposes a novel wavelet-based augmentation method, named Wavelet Augmentation Transformer (WAT), which can be flexibly incorporated with existing networks, to implicitly produce useful augmented data. WAT learns low-frequency information of varying levels across diverse samples, which is aggregated efficiently via deformable attention. Furthermore, an uncertainty-aware self-training mechanism is proposed to improve the accuracy of pseudo-labels, with inaccurate predictions being rectified by uncertainty estimation. To acquire better SR results and avoid overfitting pseudo-labels, several regularization losses are proposed to constrain the frequency information between target LR and SR images. Experiments show that without accessing source data, SOSR achieves superior results to the state-of-the-art UDA methods.
updated: Fri Mar 31 2023 03:14:44 GMT+0000 (UTC)
published: Fri Mar 31 2023 03:14:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト