arXiv reaDer
リアルタイムでの高解像度のフォトリアリスティックな画像翻訳:ラプラシアンピラミッド翻訳ネットワーク
High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network
既存の画像から画像への変換(I2IT)手法は、高解像度の特徴マップの畳み込みに大きな計算負荷がかかるため、低解像度の画像または長い推論時間に制約されます。この論文では、閉形式のラプラシアンピラミッド分解と再構成に基づく高解像度のフォトリアリスティックI2ITタスクの高速化に焦点を当てています。具体的には、照明や色の操作などの属性変換が低周波成分に関連している一方で、コンテンツの詳細は高周波成分に適応的に調整できることを明らかにします。その結果、これら2つのタスクを同時に実行するラプラシアンピラミッド変換ネットワーク(LPTN)を提案します。ここでは、低周波数成分を低解像度で変換するための軽量ネットワークと、高周波数成分を効率的に改良するためのプログレッシブマスキング戦略を設計します。私たちのモデルは、高解像度の特徴マップを処理することによって消費される重い計算のほとんどを回避し、画像の詳細を忠実に保持します。さまざまなタスクに関する広範な実験結果は、提案された方法が、既存の方法と同等の変換パフォーマンスを達成しながら、1つの通常のGPUを使用してリアルタイムで4K画像を変換できることを示しています。データセットとコードはhttps://github.com/csjliang/LPTNで入手できます。
Existing image-to-image translation (I2IT) methods are either constrained to low-resolution images or long inference time due to their heavy computational burden on the convolution of high-resolution feature maps. In this paper, we focus on speeding-up the high-resolution photorealistic I2IT tasks based on closed-form Laplacian pyramid decomposition and reconstruction. Specifically, we reveal that the attribute transformations, such as illumination and color manipulation, relate more to the low-frequency component, while the content details can be adaptively refined on high-frequency components. We consequently propose a Laplacian Pyramid Translation Network (LPTN) to simultaneously perform these two tasks, where we design a lightweight network for translating the low-frequency component with reduced resolution and a progressive masking strategy to efficiently refine the high-frequency ones. Our model avoids most of the heavy computation consumed by processing high-resolution feature maps and faithfully preserves the image details. Extensive experimental results on various tasks demonstrate that the proposed method can translate 4K images in real-time using one normal GPU while achieving comparable transformation performance against existing methods. Datasets and codes are available: https://github.com/csjliang/LPTN.
updated: Wed May 19 2021 15:05:22 GMT+0000 (UTC)
published: Wed May 19 2021 15:05:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト