arXiv reaDer
カスケード畳み込み時間色覚恒常
Cascading Convolutional Temporal Colour Constancy
計算色覚恒常(CCC)は、シーン内の1つまたは複数の光源の色を推定し、それらを使用して不要な色の歪みを除去することで構成されます。多くの研究は、単一画像のCCCの光源推定に焦点を当てており、相関画像のシーケンス(ビデオのフレームなど)に固有の時間情報を活用する試みはほとんどありません。これは、時間色覚恒常(TCC)として知られるタスクです。 TCCの最先端技術はTCCNetです。これは、ConvLSTMを使用して、シーケンス内の各画像のCNNサブモジュールによって生成されたエンコーディングを集約するディープラーニングアーキテクチャです。このアーキテクチャを、(i)TCCNetサブモジュールをCCCターゲティング画像の最先端の方法であるC4に置き換えることによって得られるさまざまなモデルで拡張します。 (ii)カスケード戦略を追加して、光源の推定値の反復的な改善を実行します。最近リリースされたTCCベンチマークでモデルをテストし、最先端を超える結果を達成しました。光源推定に含まれるフレーム数がパフォーマンスに与える影響を分析し、同等の精度を維持しながら、シーケンスから選択したいくつかのフレームでモデルをトレーニングすることにより、推論時間を短縮できることを示します。
Computational Colour Constancy (CCC) consists of estimating the colour of one or more illuminants in a scene and using them to remove unwanted chromatic distortions. Much research has focused on illuminant estimation for CCC on single images, with few attempts of leveraging the temporal information intrinsic in sequences of correlated images (e.g., the frames in a video), a task known as Temporal Colour Constancy (TCC). The state-of-the-art for TCC is TCCNet, a deep-learning architecture that uses a ConvLSTM for aggregating the encodings produced by CNN submodules for each image in a sequence. We extend this architecture with different models obtained by (i) substituting the TCCNet submodules with C4, the state-of-the-art method for CCC targeting images; (ii) adding a cascading strategy to perform an iterative improvement of the estimate of the illuminant. We tested our models on the recently released TCC benchmark and achieved results that surpass the state-of-the-art. Analyzing the impact of the number of frames involved in illuminant estimation on performance, we show that it is possible to reduce inference time by training the models on few selected frames from the sequences while retaining comparable accuracy.
updated: Tue Jun 15 2021 08:17:30 GMT+0000 (UTC)
published: Tue Jun 15 2021 08:17:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト