arXiv reaDer
高解像度のフォトリアリスティックな画像変換のためのマルチカーブトランスレータ
Multi-Curve Translator for High-Resolution Photorealistic Image Translation
主要な画像から画像への変換方法は、完全に畳み込みネットワークに基づいており、画像の特徴を抽出して変換し、画像を再構築します。ただし、高解像度の画像を操作する場合、許容できない計算コストがかかります。この目的のために、対応する入力ピクセルだけでなく、隣接するピクセルの変換されたピクセルも予測するMulti-Curve Translator(MCT)を紹介します。また、高解像度の画像が低解像度のバージョンにダウンサンプリングされた場合、失われたピクセルは残りのピクセルの隣接ピクセルになります。そのため、MCTを使用すると、ダウンサンプリングされた画像のみをネットワークにフィードして、フル解像度の画像のマッピングを実行できます。これにより、計算コストを大幅に削減できます。さらに、MCTは、既存の基本モデルを利用するプラグインアプローチであり、出力レイヤーを置き換えるだけで済みます。実験は、MCTバリアントがリアルタイムで4K画像を処理し、さまざまなフォトリアリスティックな画像から画像への変換タスクでベースモデルと同等またはそれ以上のパフォーマンスを達成できることを示しています。
The dominant image-to-image translation methods are based on fully convolutional networks, which extract and translate an image's features and then reconstruct the image. However, they have unacceptable computational costs when working with high-resolution images. To this end, we present the Multi-Curve Translator (MCT), which not only predicts the translated pixels for the corresponding input pixels but also for their neighboring pixels. And if a high-resolution image is downsampled to its low-resolution version, the lost pixels are the remaining pixels' neighboring pixels. So MCT makes it possible to feed the network only the downsampled image to perform the mapping for the full-resolution image, which can dramatically lower the computational cost. Besides, MCT is a plug-in approach that utilizes existing base models and requires only replacing their output layers. Experiments demonstrate that the MCT variants can process 4K images in real-time and achieve comparable or even better performance than the base models on various photorealistic image-to-image translation tasks.
updated: Sat Jul 09 2022 09:25:11 GMT+0000 (UTC)
published: Tue Mar 15 2022 10:06:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト