arXiv reaDer
DCCF:高解像度画像調和のための深く理解可能なカラーフィルター学習フレームワーク
DCCF: Deep Comprehensible Color Filter Learning Framework for High-Resolution Image Harmonization
画像の色調和アルゴリズムは、さまざまな条件でキャプチャされた前景画像と背景画像の色分布を自動的に一致させることを目的としています。以前の深層学習ベースのモデルは、実際のアプリケーションにとって重要な2つの問題、つまり高解像度(HR)画像処理とモデルの理解可能性を無視しています。本論文では、高解像度画像調和のための新しい深理解可能カラーフィルタ(DCCF)学習フレームワークを提案する。具体的には、DCCFは最初に元の入力画像を低解像度(LR)カウンターパートにダウンサンプリングし、次に4つの人間が理解できるニューラルフィルター(つまり、色相、彩度、値、および注意深いレンダリングフィルター)をエンドツーエンドで学習します。これらのフィルターを元の入力画像に適用して、調和のとれた結果を取得します。わかりやすいニューラルフィルターの恩恵を受けて、ユーザーがディープモデルと連携して、必要なときに非常に少ない労力で目的の結果を取得できるように、シンプルでありながら効率的なハンドラーを提供できます。広範な実験により、DCCF学習フレームワークの有効性が実証され、MSEとPSNRでそれぞれ7.63%と1.69%の相対的な改善を達成することにより、画像のフル解像度でiHarmony4データセットの最先端の後処理方法を上回ります。
Image color harmonization algorithm aims to automatically match the color distribution of foreground and background images captured in different conditions. Previous deep learning based models neglect two issues that are critical for practical applications, namely high resolution (HR) image processing and model comprehensibility. In this paper, we propose a novel Deep Comprehensible Color Filter (DCCF) learning framework for high-resolution image harmonization. Specifically, DCCF first downsamples the original input image to its low-resolution (LR) counter-part, then learns four human comprehensible neural filters (i.e. hue, saturation, value and attentive rendering filters) in an end-to-end manner, finally applies these filters to the original input image to get the harmonized result. Benefiting from the comprehensible neural filters, we could provide a simple yet efficient handler for users to cooperate with deep model to get the desired results with very little effort when necessary. Extensive experiments demonstrate the effectiveness of DCCF learning framework and it outperforms state-of-the-art post-processing method on iHarmony4 dataset on images' full-resolutions by achieving 7.63% and 1.69% relative improvements on MSE and PSNR respectively.
updated: Mon Jul 11 2022 11:42:10 GMT+0000 (UTC)
published: Mon Jul 11 2022 11:42:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト