現代の画像再スケーリングは、高解像度 (HR) 画像を、HR 画像再構成用の埋め込み情報を含む低解像度 (LR) サムネイル画像に埋め込むことを目的としています。従来の画像の超解像とは異なり、これにより、LR サムネイルに埋め込まれた情報を考慮して、元の画像に忠実な高忠実度の HR 画像の復元が可能になります。しかし、最先端の画像再スケーリング方法は、効率的な共有のためにLR画像ファイルサイズを最適化しておらず、超高解像度(6Kなど)の画像再構成のためのリアルタイム性能に達していません。これら 2 つの課題に対処するために、リアルタイム 6K レート歪みを意識した画像再スケーリングのための新しいフレームワーク (HyperThumbnail) を提案します。私たちのフレームワークは、最初に、提案された量子化予測モジュールを使用してエンコーダーによって HR 画像を JPEG LR サムネイルに埋め込みます。次に、効率的な周波数認識デコーダーがリアルタイムで LR 画像から忠実度の高い HR 画像を再構成します。広範な実験により、フレームワークが以前の画像再スケーリングのベースラインよりもレート歪みのパフォーマンスが優れており、リアルタイムで 6K 画像再構成を実行できることが実証されています。
Contemporary image rescaling aims at embedding a high-resolution (HR) image into a low-resolution (LR) thumbnail image that contains embedded information for HR image reconstruction. Unlike traditional image super-resolution, this enables high-fidelity HR image restoration faithful to the original one, given the embedded information in the LR thumbnail. However, state-of-the-art image rescaling methods do not optimize the LR image file size for efficient sharing and fall short of real-time performance for ultra-high-resolution (e.g., 6K) image reconstruction. To address these two challenges, we propose a novel framework (HyperThumbnail) for real-time 6K rate-distortion-aware image rescaling. Our framework first embeds an HR image into a JPEG LR thumbnail by an encoder with our proposed quantization prediction module, which minimizes the file size of the embedding LR JPEG thumbnail while maximizing HR reconstruction quality. Then, an efficient frequency-aware decoder reconstructs a high-fidelity HR image from the LR one in real time. Extensive experiments demonstrate that our framework outperforms previous image rescaling baselines in rate-distortion performance and can perform 6K image reconstruction in real time.