最近の顕著性モデルは、畳み込みニューラルネットワーク(CNN)からのマルチスケールのコンテキスト情報を組み込むために広範囲に調査しています。直接的な融合戦略に加えて、多くのアプローチではメッセージパッシングを導入してCNN機能または予測を強化します。ただし、メッセージは主に、機能から機能への受け渡しと、予測から予測への受け渡しの2つの方法で送信されます。この論文では、特徴と予測の間にメッセージの受け渡しを追加し、深い統一されたCRF顕著性モデルを提案します。各スケールで深い特徴と予測を共同で洗練し、最終的な洗練された顕著性マップを段階的に計算するために、CNNで新しいカスケードCRFアーキテクチャを設計します。特徴と対応する予測を更新するために、粗いスケールから細かいスケールまで、特徴と機能、予測と予測予測のメッセージ受け渡しを含むCRFグラフィカルモデルを定式化します。また、逆伝播によるCNNとのエンドツーエンドの共同モデルトレーニングの平均場更新を定式化します。提案されたディープユニファイドCRF顕著性モデルは、6つのデータセットで評価され、最新技術の中で非常に競争力のあるパフォーマンスを示しています。
Recent saliency models extensively explore to incorporate multi-scale contextual information from Convolutional Neural Networks (CNNs). Besides direct fusion strategies, many approaches introduce message-passing to enhance CNN features or predictions. However, the messages are mainly transmitted in two ways, by feature-to-feature passing, and by prediction-to-prediction passing. In this paper, we add message-passing between features and predictions and propose a deep unified CRF saliency model . We design a novel cascade CRFs architecture with CNN to jointly refine deep features and predictions at each scale and progressively compute a final refined saliency map. We formulate the CRF graphical model that involves message-passing of feature-feature, feature-prediction, and prediction-prediction, from the coarse scale to the finer scale, to update the features and the corresponding predictions. Also, we formulate the mean-field updates for joint end-to-end model training with CNN through back propagation. The proposed deep unified CRF saliency model is evaluated over six datasets and shows highly competitive performance among the state of the arts.