任意の高解像度画像(10000x10000ピクセルなど)のスタイル転送を初めて柔軟に処理する、URSTと呼ばれる非常にシンプルな超解像度スタイル転送フレームワークを紹介します。超高解像度の画像を処理する場合、メモリコストが高く、ストロークサイズが小さいため、既存の最先端の方法のほとんどは不十分です。 URSTは、1)画像を小さなパッチに分割し、2)新しいサムネイルインスタンス正規化(TIN)を使用してパッチごとのスタイル転送を実行することにより、超高解像度画像によって引き起こされるメモリの問題を完全に回避します。具体的には、TINはサムネイルの正規化統計を抽出して小さなパッチに適用し、さまざまなパッチ間でスタイルの一貫性を確保できます。全体として、URSTフレームワークには従来技術と比較して3つのメリットがあります。 1)入力画像を小さなパッチに分割してTINを採用し、任意の高解像度で画像スタイルを正常に転送します。 2)実験によると、私たちのURSTは、ストロークサイズを拡大する際に提案されたストローク知覚損失の有効性の恩恵を受けて、超高解像度画像で既存のSOTAメソッドを上回っています。 3)当社のURSTは、ほとんどの既存のスタイル転送方法に簡単にプラグインでき、トレーニングなしでもパフォーマンスを直接向上させることができます。コードはhttps://github.com/czczup/URSTで入手できます。
We present an extremely simple Ultra-Resolution Style Transfer framework, termed URST, to flexibly process arbitrary high-resolution images (e.g., 10000x10000 pixels) style transfer for the first time. Most of the existing state-of-the-art methods would fall short due to massive memory cost and small stroke size when processing ultra-high resolution images. URST completely avoids the memory problem caused by ultra-high resolution images by 1) dividing the image into small patches and 2) performing patch-wise style transfer with a novel Thumbnail Instance Normalization (TIN). Specifically, TIN can extract thumbnail's normalization statistics and apply them to small patches, ensuring the style consistency among different patches. Overall, the URST framework has three merits compared to prior arts. 1) We divide input image into small patches and adopt TIN, successfully transferring image style with arbitrary high-resolution. 2) Experiments show that our URST surpasses existing SOTA methods on ultra-high resolution images benefiting from the effectiveness of the proposed stroke perceptual loss in enlarging the stroke size. 3) Our URST can be easily plugged into most existing style transfer methods and directly improve their performance even without training. Code is available at https://github.com/czczup/URST.