複数のカメラからの画像でトレーニングされた学習ベースの方法である「クロスカメラコンボリューショナルカラーコンスタンシー」(C5)を紹介します。これは、トレーニング中に以前は見られなかった新しいカメラによってキャプチャされた生の画像からシーンの照明色を正確に推定します。 C5は、畳み込み色恒常性(CCC)アプローチのハイパーネットワークのような拡張です。C5は、CCCモデルの重みを生成することを学習します。この重みは、入力画像で評価され、CCCの重みはさまざまな入力コンテンツに動的に適合されます。通常、観測されていないカメラからのテストセット画像のスペクトル特性に依存しないように設計されている以前のクロスカメラ色恒常性モデルとは異なり、C5はトランスダクティブ推論のレンズを通してこの問題にアプローチします。追加のラベルなし画像がモデルへの入力として提供されます。テスト時に、モデルが推論中にテストセットカメラのスペクトルプロパティに合わせて自身を調整できるようにします。 C5は、複数のデータセットでカメラ間の色の恒常性について最先端の精度を実現し、評価が高速で(GPUまたはCPUの画像あたりそれぞれ約7ミリ秒と約90ミリ秒)、必要なメモリはほとんどありません(約2 MB)。 )、したがって、モバイル写真用のキャリブレーション不要の自動ホワイトバランスの問題に対する実用的なソリューションです。
We present "Cross-Camera Convolutional Color Constancy" (C5), a learning-based method, trained on images from multiple cameras, that accurately estimates a scene's illuminant color from raw images captured by a new camera previously unseen during training. C5 is a hypernetwork-like extension of the convolutional color constancy (CCC) approach: C5 learns to generate the weights of a CCC model that is then evaluated on the input image, with the CCC weights dynamically adapted to different input content. Unlike prior cross-camera color constancy models, which are usually designed to be agnostic to the spectral properties of test-set images from unobserved cameras, C5 approaches this problem through the lens of transductive inference: additional unlabeled images are provided as input to the model at test time, which allows the model to calibrate itself to the spectral properties of the test-set camera during inference. C5 achieves state-of-the-art accuracy for cross-camera color constancy on several datasets, is fast to evaluate (~7 and ~90 ms per image on a GPU or CPU, respectively), and requires little memory (~2 MB), and, thus, is a practical solution to the problem of calibration-free automatic white balance for mobile photography.