写真整合性のある画像変換を生成するための、完全にデータ駆動型の新しいアプローチを提案します。変換領域で動作する単純な古典的アルゴリズムが、照明の変化に対して非常に回復力があることを示します。これにより、マッチングの精度が大幅に向上し、最先端の不変表現や深い特徴に基づく新しいマッチング方法の使用を上回ります。変換は、照明の変化を減衰させながら実際のシーンの変化を強調するように設計された、特殊なトリプレット損失を使用してニューラルネットワークをトレーニングすることによって取得されます。変換により、イメージマップとして構造化された照明不変表現が生成されます。これは、柔軟性が高く、さまざまなタスクに簡単に使用できます。
We propose a new and completely data-driven approach for generating a photo-consistent image transform. We show that simple classical algorithms which operate in the transform domain become extremely resilient to illumination changes. This considerably improves matching accuracy, outperforming the use of state-of-the-art invariant representations as well as new matching methods based on deep features. The transform is obtained by training a neural network with a specialized triplet loss, designed to emphasize actual scene changes while attenuating illumination changes. The transform yields an illumination invariant representation, structured as an image map, which is highly flexible and can be easily used for various tasks.