2014年以降、転移学習は空間的顕著性予測を改善するための主要な推進力になりました。ただし、過去3〜5年で進歩が停滞しています。 DeepGaze IIから採用された同じ読み出しアーキテクチャと学習プロトコルを常に使用して、さまざまなImageNetバックボーンをテストする大規模な転移学習研究を実施します。 DeepGaze IIのVGG19バックボーンをResNet50機能に置き換えることで、顕著性予測のパフォーマンスが78%から85%に向上します。ただし、バックボーンとしてより優れたImageNetモデル(EfficientNetB5など)を引き続きテストしているため、顕著性の予測に追加の改善は見られません。バックボーンをさらに分析することにより、他のデータセットへの一般化が大幅に異なり、モデルが固定予測に一貫して自信過剰であることがわかります。原則的に複数のバックボーンを組み合わせることにより、目に見えないデータセットの信頼性の高いキャリブレーションを実現できることを示します。これにより、ドメイン内外のベンチマークパフォーマンスが大幅に向上し、MIT1003ではDeepGaze IIよりも15%ポイント向上して93%になり、利用可能なすべてのメトリック(AUC)でMIT / Tuebingen SaliencyBenchmarkの新しい最先端をマークします。 :88.3%、sAUC:79.4%、CC:82.4%)。
Since 2014 transfer learning has become the key driver for the improvement of spatial saliency prediction; however, with stagnant progress in the last 3-5 years. We conduct a large-scale transfer learning study which tests different ImageNet backbones, always using the same read out architecture and learning protocol adopted from DeepGaze II. By replacing the VGG19 backbone of DeepGaze II with ResNet50 features we improve the performance on saliency prediction from 78% to 85%. However, as we continue to test better ImageNet models as backbones (such as EfficientNetB5) we observe no additional improvement on saliency prediction. By analyzing the backbones further, we find that generalization to other datasets differs substantially, with models being consistently overconfident in their fixation predictions. We show that by combining multiple backbones in a principled manner a good confidence calibration on unseen datasets can be achieved. This yields a significant leap in benchmark performance in and out-of-domain with a 15 percent point improvement over DeepGaze II to 93% on MIT1003, marking a new state of the art on the MIT/Tuebingen Saliency Benchmark in all available metrics (AUC: 88.3%, sAUC: 79.4%, CC: 82.4%).