ディープ ネットワークは、元の高解像度 (HR) 画像を再構築するために、最適な縮小表現、つまり低解像度 (LR) 画像を学習しようとする画像再スケーリング (IR) タスクで大きな成功を収めました。バイキュービックなどの固定ダウンスケーリング スキームを考慮する超解像手法と比較して、IR は、学習したダウンスケーリング表現のおかげで、多くの場合、大幅に優れた再構成パフォーマンスを実現します。これは、画像再構成タスクにおける適切な縮小表現の重要性を強調しています。既存の IR メソッドは、主にダウンスケーリング モデルとアップスケーリング モデルを共同で最適化することにより、ダウンスケーリングされた表現を学習します。それらとは異なり、ダウンスケール/アップスケーリング モデルの代わりに、ダウンスケーリングされた画像自体を最適化するという、別のより直接的な方法でダウンスケーリングされた表現を改善しようとします。具体的には、IRプロセスに利益をもたらすために、それらの再構成損失に対して勾配を下げることにより、協調的なLRの例を直接生成する協調的なダウンスケーリングスキームを提案します。さらに、LR 画像は対応する HR 画像から縮小されているため、HR ドメインでより良い表現があれば、縮小された表現を改善することもできます。これに触発されて、ダウンスケールされた表現を改善するために、HR ドメインと LR ドメインの両方で勾配降下を実行する Hierarchical Collaborative Downscaling (HCD) メソッドを提案します。広範な実験により、HCDが再構成パフォーマンスを定量的および定性的に大幅に改善することが示されています。さらに、HCD はさまざまな IR モデルにわたって一般化できるため、HCD の柔軟性も強調しています。
Deep networks have achieved great success in image rescaling (IR) task that seeks to learn the optimal downscaled representations, i.e., low-resolution (LR) images, to reconstruct the original high-resolution (HR) images. Compared with super-resolution methods that consider a fixed downscaling scheme, e.g., bicubic, IR often achieves significantly better reconstruction performance thanks to the learned downscaled representations. This highlights the importance of a good downscaled representation in image reconstruction tasks. Existing IR methods mainly learn the downscaled representation by jointly optimizing the downscaling and upscaling models. Unlike them, we seek to improve the downscaled representation through a different and more direct way: optimizing the downscaled image itself instead of the down-/upscaling models. Specifically, we propose a collaborative downscaling scheme that directly generates the collaborative LR examples by descending the gradient w.r.t. the reconstruction loss on them to benefit the IR process. Furthermore, since LR images are downscaled from the corresponding HR images, one can also improve the downscaled representation if we have a better representation in the HR domain. Inspired by this, we propose a Hierarchical Collaborative Downscaling (HCD) method that performs gradient descent in both HR and LR domains to improve the downscaled representations. Extensive experiments show that our HCD significantly improves the reconstruction performance both quantitatively and qualitatively. Moreover, we also highlight the flexibility of our HCD since it can generalize well across diverse IR models.