arXiv reaDer
クラスター化された顕著性予測
Clustered Saliency Prediction
画像顕著性予測の新しい方法であるクラスター化顕著性予測を提示します。この方法では、個人の特徴と既知の顕著性マップに基づいて個人をクラスターに分割し、クラスターごとに個別の画像顕著性モデルを生成します。パーソナライズされた顕著性マップの公開データセットでアプローチをテストし、個人の特徴要因の重要度の重みを変えて、クラスターへの影響を観察します。各クラスターについて、画像から画像への変換方法、主にPix2Pixモデルを使用して、ユニバーサル顕著性マップをそのクラスターの顕著性マップに変換します。 DeepGaze II、ML-Net、SalGANの3つの最先端のユニバーサル顕著性予測手法を試し、それらが結果に与える影響を確認します。 Clustered Saliency Prediction手法が、最先端のユニバーサル顕著性予測モデルよりも優れていることを示します。また、サブジェクト類似性クラスタリングアルゴリズムによって取得されたクラスターを使用したクラスター化顕著性予測の結果を2つのベースライン手法と比較することにより、クラスタリング手法の有効性を示します。私たちは、新しい人々を、彼らの個人的な特徴と既知の顕著性マップに基づいて、最も適切なクラスターに割り当てるアプローチを提案します。私たちの実験では、新しい人々をクラスターに割り当てるこの方法は、平均して、より高い顕著性スコアを与えるクラスターを選択することがわかります。
We present a new method for image salience prediction, Clustered Saliency Prediction. This method divides individuals into clusters based on their personal features and their known saliency maps, and generates a separate image salience model for each cluster. We test our approach on a public dataset of personalized saliency maps, with varying importance weights for personal feature factors and observe the effects on the clusters. For each cluster, we use an image-to-image translation method, mainly Pix2Pix model, to convert universal saliency maps to saliency maps of that cluster. We try three state-of-the-art universal saliency prediction methods, DeepGaze II, ML-Net and SalGAN, and see their impact on the results. We show that our Clustered Saliency Prediction technique outperforms the state-of-the-art universal saliency prediction models. Also we demonstrate the effectiveness of our clustering method by comparing the results of Clustered Saliency Prediction using clusters obtained by Subject Similarity Clustering algorithm with two baseline methods. We propose an approach to assign new people to the most appropriate cluster, based on their personal features and any known saliency maps. In our experiments we see that this method of assigning new people to a cluster on average chooses the cluster that gives higher saliency scores.
updated: Tue Jul 05 2022 17:59:37 GMT+0000 (UTC)
published: Tue Jul 05 2022 17:59:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト